🤖 AI

What Objects Enable, Not What They Are: Functional Latent Spaces for Affordance Reasoning

L'article introduit A4D, une approche novatrice qui fait passer la planification robotique d'un raisonnement basé sur l'apparence à un raisonnement par affordance fonctionnelle en projetant les observations visuelles dans un espace latent partagé organisé autour des capacités des objets, améliorant ainsi considérablement la généralisation aux interactions inédites et permettant la découverte rapide d'affordances non perçues.

Auteurs originaux : Rohan Siva, Neel P. Bhatt, Yunhao Yang, Seoyoung Lee, Nishant Gadde, Christian Ellis, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rohan Siva, Neel P. Bhatt, Yunhao Yang, Seoyoung Lee, Nishant Gadde, Christian Ellis, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment ranger une chambre en désordre.

L'ancienne méthode : Juger par la couverture
Actuellement, la plupart des cerveaux de robots fonctionnent comme un bibliothécaire qui ne connaîtrait les livres que par l'illustration de leur couverture. Si le robot voit une boîte rouge avec des roues, il se dit : « Ah, c'est un chariot. » Mais savoir que c'est un « chariot » ne dit pas au robot ce qu'il peut en faire. Est-il lourd ? Puis-je le pousser ? Est-il assez robuste pour qu'on puisse se tenir dessus ? Les anciens systèmes peinent ici car ils se concentrent sur ce à quoi l'objet ressemble, et non sur ce qu'il peut faire. Si le robot voit un objet étrange, au look inédit, qui agit comme un chariot, il est confus parce qu'il ne ressemble pas aux photos de « chariots » qu'il a mémorisées.

La nouvelle méthode (A4D) : Le dictionnaire de « super-pouvoirs »
La publication présente un nouveau système appelé A4D. Au lieu de demander « Qu'est-ce que c'est ? », A4D demande : « Qu'est-ce que cela peut faire ? »

Considérez A4D comme un robot qui transporte un dictionnaire spécial de super-pouvoirs (appelés « affordances »). Ces super-pouvoirs ne sont pas des noms comme « chaise » ou « tasse » ; ce sont des actions comme « déplaçable », « supportable » (puis-je me tenir dessus ?) ou « traversable » (puis-je marcher dessus ?).

Voici comment fonctionne A4D, en utilisant une analogie simple :

1. Le curseur « Déplaçable » vs « Fixe »

Imaginez une longue règle invisible flottant dans le cerveau du robot.

Sur l'extrémité gauche de la règle se trouve le mot « Fixe » (quelque chose qu'on ne peut pas déplacer).
Sur l'extrémité droite se trouve le mot « Déplaçable ».
Le milieu est la zone grise où l'on n'est pas sûr.

Quand le robot voit un objet, il ne se contente pas de prendre une photo ; il projette cet objet sur cette règle.

S'il voit un rocher lourd, la projection atterrit près de « Fixe ».
S'il voit une voiture jouet, la projection atterrit près de « Déplaçable ».
S'il voit quelque chose qu'il n'a jamais vu auparavant, la projection peut atterrir pile au milieu.

2. L'alarme d'« Incertitude »

C'est là que A4D devient intelligent. Le robot sait à quelle distance sa projection se trouve des extrémités « Déplaçable » ou « Fixe ».

Signal clair : Si la projection est juste à côté de « Déplaçable », le robot se dit : « Je suis sûr à 100 % que je peux pousser ceci. » Il agit immédiatement.
L'alarme : Si la projection atterrit au milieu (la zone grise), l'alarme interne du robot se déclenche : « Je ne suis pas sûr ! C'est risqué. »

3. Le bouton « Demander à l'expert » (Découverte)

Quand l'alarme se déclenche, A4D ne se contente pas de deviner. Il utilise une astuce spéciale. Il fait appel à un « Expert » très intelligent, mais lent (un grand modèle d'IA appelé VLM) pour l'aider.

L'Expert regarde l'objet et dit : « Hé, ce n'est pas seulement "déplaçable" ou "fixe". Cet objet est en fait "Traversable" (tu peux marcher dessus). »
A4D écoute, crée une nouvelle règle pour « Traversable » et l'ajoute à son dictionnaire.
Désormais, le robot a appris un nouveau super-pouvoir sans avoir besoin qu'un humain lui enseigne des milliers d'exemples. Il avait juste besoin de quelques vérifications rapides auprès de l'Expert.

Pourquoi est-ce une avancée majeure ?

La publication revendique trois victoires principales pour ce système :

C'est rapide : L'ancienne méthode consistant à demander à l'« Expert » pour chaque objet prend beaucoup de temps (comme attendre une connexion internet lente). A4D fait ses propres calculs en un clin d'œil (22 millisecondes), ne faisant appel à l'Expert que lorsqu'il est véritablement confus. C'est 100 fois plus rapide que les meilleures méthodes précédentes.
Il apprend rapidement : Si le robot rencontre un tout nouveau type de super-pouvoir (comme « empilable »), il peut apprendre à le reconnaître avec moins de 16 exemples. C'est comme apprendre un nouveau mot après l'avoir entendu seulement quelques fois.
C'est précis : Sur les choses qu'il connaît déjà, il réussit 94 % du temps, surpassant largement les meilleurs systèmes précédents.

En résumé :
A4D empêche les robots d'être obsédés par ce à quoi les choses ressemblent et les pousse à réfléchir à ce que les choses font. Il utilise un ingénieux système de « règle » pour faire des suppositions rapides, sait exactement quand il est incertain, et possède un mécanisme intégré pour apprendre de nouveaux « super-pouvoirs » à la volée, ce qui le rend bien meilleur pour planifier des tâches dans un monde désordonné et imprévisible.

Résumé Technique : A4D – Espaces Latents Fonctionnels pour le Raisonnement sur l'Affordance

Énoncé du Problème

Les systèmes de planification robotique existants reposent principalement sur un raisonnement basé sur l'apparence, où les observations visuelles sont encodées dans des espaces latents organisés autour de catégories d'objets (par exemple, identifier un « chariot »). Bien qu'efficace pour la reconnaissance, cette approche ne parvient pas à capturer les fonctionnalités pertinentes pour la tâche (affordances), telles que le fait qu'un objet soit « déplaçable », « soulevable » ou « supportable ». Par conséquent, ces systèmes peinent à se généraliser aux nouvelles interactions robot-objet, car des objets visuellement distincts peuvent partager la même fonctionnalité, tandis que des objets visuellement similaires peuvent ne pas l'être.

Les solutions actuelles tentant de combler cette lacune font face à des limitations significatives :

Les méthodes basées sur l'interaction (ex. : AffordanceNet, SayCan) nécessitent souvent des données spécifiques au domaine, sont liées à des plateformes robotiques spécifiques et sont coûteuses à adapter à de nouvelles tâches.
Les modèles de vision-langage (VLM) permettent un raisonnement en vocabulaire ouvert mais souffrent d'une latence d'inférence élevée (secondes à minutes) et de sorties grossières, ce qui les rend inadaptés à une planification en temps réel et à grain fin.
Les approches zero-shot manquent des distinctions fonctionnelles requises pour une inférence d'affordance fiable.

Le défi central est de développer un système capable d'inférer des affordances directement à partir d'observations visuelles avec une grande précision, une faible latence et la capacité de se généraliser à des objets inconnus et à de nouvelles affordances sans réentraînement intensif.

Méthodologie : Cadre A4D

Les auteurs introduisent A4D, un cadre qui projette les observations visuelles dans un espace latent fonctionnel partagé structuré autour des affordances plutôt que de l'apparence des objets. Le système fonctionne via quatre composants interconnectés :

1. Construction de l'Espace Latent Fonctionnel

A4D exploite un modèle de vision-langage pré-entraîné (CLIP) pour créer un espace latent partagé $Z$ .

Axes d'Affordance : Pour chaque affordance $a$ (ex. : « déplaçable »), le système définit un axe sémantique en reliant les plongements textuels (embeddings) de l'affordance ( $z_a$ ) et de son antonyme ( $z_{\bar{a}}$ , ex. : « fixe »). Le vecteur de direction $u_a = z_a - z_{\bar{a}}$ capture le contraste sémantique entre la présence et l'absence de la fonctionnalité.
Affinage (Fine-tuning) : Pour améliorer l'alignement entre les plongements visuels et ces axes sémantiques, les encodeurs sont affinés sur un petit ensemble de paires image-affordance étiquetées à l'aide d'une perte contrastive. Cela remodèle l'espace latent de sorte que les projections visuelles le long de l'axe d'affordance deviennent plus discriminantes tout en préservant la structure globale.

2. Inférence d'Affordance via la Proximité de Projection

Étant donné une image $x$ , son plongement $z_{img}$ est projeté sur l'axe sémantique de l'affordance.

Règle de Décision : La coordonnée de projection scalaire $\lambda_a(z_{img})$ détermine la position relative de l'objet le long de l'axe. Une décision binaire est prise sur la base du point milieu : si la projection est plus proche de l'embedding de l'affordance que de son antonyme, l'affordance est inférée comme présente.
Efficacité : Cette règle de décision géométrique permet une inférence en environ 22 ms, permettant une planification en temps réel.

3. Quantification de l'Incertitude

Pour gérer les scénarios où le modèle est incertain, A4D quantifie l'incertitude en utilisant le score de projection.

Calibration : Le score de projection brut est normalisé et calibré à l'aide d'une régression isotonique sur un ensemble de validation pour estimer la probabilité $\eta(x, a)$ de la présence de l'affordance.
Mécanisme de Déclenchement : Si la probabilité calibrée tombe dans un seuil d'incertitude défini par l'utilisateur (ex. : $0,3 < \eta < 0,7$ ), le système signale la prédiction comme incertaine. Cette métrique d'incertitude sert de déclencheur pour le mécanisme de découverte.

4. Découverte et Étiquetage d'Affordances

Lorsque les affordances existantes sont insuffisantes ou que l'incertitude est élevée, A4D étend dynamiquement sa mémoire :

Génération : Un modèle de vision-langage (VLM) est interrogé avec le contexte de la tâche et l'observation actuelle pour proposer des affordances candidates (ex. : suggérer « Traversable » pour un escalier).
Étiquetage : Une seconde requête à un VLM oracle étiquette un petit ensemble d'exemples pour ces nouveaux candidats.
Intégration : Ces échantillons étiquetés sont utilisés pour construire de nouveaux axes d'affordance ou pour affiner l'espace latent, permettant au système d'apprendre de nouvelles fonctionnalités avec des données few-shot (aussi peu que 16 exemples) sans oubli catastrophique des affordances précédemment apprises.

Contributions Clés

Espaces Latents Fonctionnels pour le Raisonnement sur l'Affordance : A4D déplace la représentation de l'apparence de l'objet vers les fonctionnalités pertinentes pour la tâche, permettant une planification basée sur ce qu'un objet peut faire plutôt que sur ce qu'il est.
Inférence Précise et Efficace : Le cadre atteint une précision de 94,2 % sur les affordances existantes (surpassant les lignes de base VLM de plus de 15 points de pourcentage) tout en maintenant une inférence 100 fois plus rapide (22 ms contre des secondes ou des minutes pour les VLM).
Découverte Sensible à l'Incertitude : Le système introduit un mécanisme pour étendre sélectivement la mémoire des affordances. Il utilise la proximité dans l'espace latent pour quantifier l'incertitude et déclenche la découverte assistée par VLM uniquement lorsque cela est nécessaire, améliorant l'inférence de nouvelles affordances d'environ 70 % à plus de 90 % avec moins de 10 % des données d'entraînement originales.

Résultats Expérimentaux

Les auteurs ont évalué A4D à travers diverses tâches de planification impliquant des classes d'objets et des affordances connues et inconnues :

Performance sur les Affordances Connues : A4D a atteint 94,2 % de précision sur les affordances vues et les classes d'objets vues (Configuration A), surpassant de manière significative le zero-shot CLIP (48 %) et les lignes de base GPT-5 de taille moyenne (78,9 %).
Généralisation : Le modèle s'est bien généralisé aux classes d'objets non vues (86,3 % de précision) mais a montré une baisse sur les affordances non vues (59–61 %) sans le mécanisme de découverte.
Efficacité d'Échantillonnage : Avec le mécanisme de découverte, le système a récupéré la performance sur les affordances mises de côté, atteignant plus de 92 % de précision avec seulement 16 exemples étiquetés (~10 % du jeu de données original).
Robustesse : Le système a démontré une robustesse au bruit d'étiquetage des VLM (jusqu'à 15 % de taux d'erreur), avec seulement une dégradation marginale de la précision d'inférence.
Repli Guidé par l'Incertitude : En invoquant le raisonnement VLM uniquement pour les 20 % de prédictions les plus incertaines, le système hybride a atteint 93 % de précision, équilibrant efficacement vitesse et fiabilité.

Signification et Revendications

L'article affirme qu'A4D fournit un pont pratique entre le raisonnement sur l'affordance en vocabulaire ouvert et la planification robotique en temps réel. En s'éloignant du raisonnement basé sur l'apparence, le cadre offre une base plus généralisable pour la planification, robuste aux objets et interactions nouveaux.

Les auteurs soulignent que leur approche permet un raisonnement sur l'affordance sensible à l'incertitude, permettant aux robots de s'adapter à des scénarios inconnus avec un minimum de données étiquetées tout en respectant les exigences de faible latence du contrôle en boucle fermée. Ce travail met en évidence que les représentations latentes fonctionnelles constituent une direction prometteuse pour une planification robotique scalable et robuste, déplaçant l'accent de « ce qu'un objet est » vers « ce qu'un objet permet ».

L'article reconnaît modestement certaines limites, notant que l'intégration avec les planificateurs en aval est actuellement ad hoc, que les axes d'affordance sont fixes après l'entraînement (limitant l'adaptation en ligne aux retours d'interaction), et que l'estimation de l'incertitude repose sur une calibration empirique plutôt que sur des garanties probabilistes formelles. Des travaux futurs sont proposés pour intégrer A4D dans des piles d'autonomie complètes et explorer l'adaptation en ligne.