💻 computer science

AFUN: Towards an Affordance Foundation Model for Functionality Understanding

Cet article introduit AFUN, un modèle de fondation d'affordance qui prédit des masques fonctionnels conditionnés par la tâche et des courbes de mouvement 3D post-contact à partir d'observations RGB-D et de descriptions textuelles, atteignant des performances de pointe en segmentation, prédiction de points de contact et planification de mouvement, tout en permettant un déploiement zero-shot pour la manipulation robotique réelle à travers divers environnements ouverts du monde.

Auteurs originaux : Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoning Wang, Yi Zhong, Jiawei Fu, Henrik I. Christensen, Jun Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans une cuisine flambant neuve. Vous n'avez pas besoin d'un manuel pour savoir que la poignée du placard sert à tirer, que le bouton de la cuisinière sert à tourner et que le couvercle de la casserole sert à soulever. Vous comprenez instantanément non seulement ce qu'est un objet, mais aussi comment l'utiliser. Dans le monde de la robotique, cette compréhension intuitive est appelée « affordance » (ou capacité d'action).

Pendant longtemps, les robots ont lutté avec cela. Ils pouvaient savoir qu'un tiroir existe, mais ils ne savaient pas exactement où le saisir ou comment le tirer sans le casser. Les modèles d'IA existants étaient comme des étudiants qui ne pouvaient répondre qu'à la moitié de la question : certains pouvaient pointer la poignée mais ne savaient pas comment tirer, tandis que d'autres pouvaient deviner le mouvement mais ne savaient pas quel objet toucher.

Voici AFUN (Affordance Foundation Model for Functionality Understanding). Considérez AFUN comme le « sens super-intuitif » d'un robot qui combine la vision, le langage et le mouvement physique en un seul ensemble.

Voici comment fonctionne AFUN, décomposé en parties simples :

1. La « Grande Bibliothèque » d'expérience

Pour apprendre à utiliser des objets, il faut voir beaucoup de personnes et de robots le faire. Les chercheurs ont construit une « bibliothèque » massive de données en rassemblant des vidéos de partout :

Des robots réels accomplissant des tâches.
Des humains se filmant en vue à la première personne (comme des images de GoPro).
Des simulations dans des jeux vidéo.
Des scans 3D de pièces réelles.

Ils ont pris toutes ces données disparates et désordonnées pour les nettoyer en un format unique et standardisé. C'est comme prendre des recettes de chefs français, italiens et chinois et les traduire toutes dans un livre de cuisine universel afin que le robot puisse apprendre de tout le monde à la fois.

2. Le « Tour de Magie » en deux étapes

Lorsque vous donnez à AFUN l'image d'une pièce et une commande comme « Ouvre le micro-ondes », il ne se contente pas de deviner. Il exécute deux tâches spécifiques simultanément :

Étape A : Le « Où » (Le Masque) : Il dessine un surligneur numérique sur la partie exacte du micro-ondes que vous devez toucher (la poignée ou la porte). Il ignore les boutons ou le dessus de la machine.
Étape B : Le « Comment » (La Courbe 3D) : Il ne s'arrête pas à la poignée. Il dessine une ligne 3D fluide dans l'air montrant exactement comment la porte doit bouger. Est-ce une traction droite ? Une rotation ? Un soulèvement ? AFUN prédit ce chemin sous la forme d'une courbe fluide, comme une piste de montagnes russes que la main du robot peut suivre.

3. Comment il apprend (Le « Professeur » et l'« Étudiant »)

Le modèle utilise une astuce ingénieuse pour apprendre. Il utilise un immense « cerveau » pré-entraîné (un Modèle de Langage-Vision) qui sait déjà comprendre les images et les mots.

Le Professeur : Ce grand cerveau lit l'instruction (« Ouvre le micro-ondes ») et regarde l'image.
L'Étudiant : AFUN utilise des « jetons de requête » spéciaux (pensez à des post-it) pour demander au grand cerveau : « Montre-moi la poignée ! » et « Montre-moi le mouvement ! »
Le Résultat : Le grand cerveau guide AFUN pour dessiner le masque et la courbe 3D.

4. Tests en conditions réelles

Les chercheurs n'ont pas testé cela uniquement sur un ordinateur ; ils l'ont installé sur un vrai bras robotique (un robot Franka).

Le Test : Ils ont demandé au robot d'effectuer des actions telles que « Prends le tournevis », « Retire le couvercle de la casserole » et « Ouvre le micro-ondes ».
Le Résultat : Le robot a réussi à comprendre où saisir et comment déplacer l'objet sans avoir besoin d'une programmation spéciale pour ce robot ou cette tâche spécifique. Il a simplement regardé, écouté et agi.

Pourquoi cela est important (selon l'article)

L'article affirme qu'AFUN est une étape majeure car :

Il est Général : Il fonctionne sur des objets et des tâches qu'il n'a jamais vus auparavant, et pas seulement sur ceux qu'il a mémorisés.
Il est Complet : Il résout à la fois le problème du « où toucher » et du « comment bouger » en même temps.
Il est Prêt : Il peut être déployé sur de vrais robots immédiatement, sans avoir besoin d'être réappris pour chaque nouvelle machine.

En résumé, AFUN donne aux robots la capacité de regarder un nouvel objet, de comprendre une demande humaine et de déterminer physiquement la meilleure façon d'interagir avec lui, tout comme le ferait un humain.

Résumé Technique : AFUN : Vers un modèle de fondation d'affordance pour la compréhension de la fonctionnalité

Énoncé du problème
La compréhension de l'affordance sert d'interface critique entre la perception visuelle et l'action physique, permettant aux robots d'opérer dans des environnements ouverts et non structurés. Cependant, la construction d'un modèle de fondation capable de généraliser simultanément à travers divers environnements, objets et tâches demeure un défi majeur. Les méthodes existantes ne traitent généralement qu'un aspect partiel de ce problème : certaines localisent les régions pertinentes pour la tâche (où interagir) sans spécifier le mouvement exécutable, tandis que d'autres prédisent le mouvement mais manquent d'extensibilité ou nécessitent une localisation heuristique. De plus, les approches actuelles échouent souvent à caractériser comment un objet doit bouger après interaction (par exemple, la trajectoire spécifique pour ouvrir un tiroir versus soulever un couvercle), et la plupart des modèles d'apprentissage profond souffrent d'une généralisation limitée au monde ouvert en raison de jeux de données de petite échelle et peu diversifiés.

Méthodologie
Les auteurs présentent AFUN, un modèle de fondation unifié conçu pour prédire à la fois où interagir et comment interagir à partir d'une seule observation RGB-D et d'une description de tâche en langage naturel.

Pipeline de données unifié : Pour soutenir la généralisation en monde ouvert, les auteurs ont construit un pipeline de données à grande échelle et standardisé. Ils ont agrégé 321 190 vidéos brutes provenant de 10 sources publiques, incluant la téléopération robotique, des vidéos égocentrées humaines, des simulations et des scans du monde réel. Le pipeline convertit ces sources hétérogènes en un schéma partagé contenant :
- Description de la tâche : Instructions en langage naturel.
- Masque fonctionnel : Un masque de segmentation identifiant la partie manipulable.
- Mouvement 3D : Une trajectoire 3D post-contact représentée par une courbe de Bézier.
- Innovation clé : Contrairement aux travaux antérieurs qui utilisent les trajectoires de la main/du préhenseur (qui incluent du bruit de pré-contact), AFUN suit le mouvement de l'objet lui-même. Il utilise un modèle de langage-vision (Qwen3-VL) pour générer des requêtes au niveau des parties et SAM3 pour suivre l'objet manipulé, puis rétro-projette le masque pour récupérer une courbe de mouvement 3D fluide.
Architecture du modèle : AFUN emploie une architecture à double branche conditionnée par un modèle de langage-vision gelé (Qwen3-VL-8B) et un modèle de segmentation gelé (SAM3).
- Conditionnement par MetaQuery : Le modèle utilise des jetons « MetaQuery » apprenables pour faire le pont entre le VLM et les tâches en aval. Un ensemble de jetons ($mqs$) se connecte au modèle de segmentation, et un autre ($mqm$) se connecte au décodeur de mouvement. Cela permet au modèle de partager les capacités de raisonnement du VLM dans une seule passe avant (forward pass).
- Branche de segmentation : Utilise SAM3 pour prédire des masques fonctionnels conditionnés par la tâche basés sur les jetons sémantiques.
- Branche de mouvement : Utilise un encodeur de caractéristiques 3D (Sonata) pour extraire les caractéristiques géométriques de l'entrée de profondeur. Un décodeur transformer prédit les paramètres d'une courbe de Bézier 3D. La courbe est ancrée au centroïde de contact ( $P_0$ ) et définie par des points de contrôle prédits en coordonnées 3D relatives.
Schéma d'entraînement : Le modèle est entraîné en trois étapes pour assurer la stabilité :
1. Alignement : Alignement des jetons MetaQuery avec l'espace de conditionnement textuel de SAM3 en utilisant le jeu de données Visual Genome.
2. Segmentation : Entraînement de bout en bout de la branche de segmentation sur des ensembles de données d'affordance agrégés (HOVA-500K, RAGNet, InstructPart, ReasonAFF).
3. Entraînement conjoint : Entraînement conjoint de la segmentation et de la prédiction de mouvement sur le jeu de données curaté AFUN, en utilisant une fonction de perte combinée de mise en correspondance de segmentation et d'ajustement de courbe (perte d'échantillonnage de points).

Contributions clés

Modèle AFUN : Un modèle de fondation qui prédit conjointement des masques fonctionnels conditionnés par la tâche et des courbes de mouvement 3D post-contact, comblant le fossé entre « où » et « comment » dans la manipulation robotique.
Jeu de données standardisé à grande échelle : Création de l'un des plus grands jeux de données d'affordance publics à ce jour, comprenant 59 867 échantillons d'entraînement de haute qualité avec des étiquettes de langage, de masques et de mouvement 3D centrées sur l'objet, dérivées de sources hétérogènes.
Suivi de mouvement centré sur l'objet : Une stratégie de traitement de données novatrice qui suit le mouvement de l'objet plutôt que celui du préhenseur, évitant le bruit de pré-contact et fournissant une représentation directe de l'interaction fonctionnelle.
Déploiement Zero-Shot : Capacité de déployer le modèle sur de vrais robots sans heuristiques spécifiques à la tâche ou ajustement (finetuning) spécifique à l'incarnation.

Résultats expérimentaux
AFUN a été évalué sur 8 benchmarks de segmentation et 3 benchmarks de mouvement, démontrant une performance supérieure sur tous les indicateurs :

Segmentation d'affordance : AFUN a atteint un gIoU moyen de 69,3 % et un cIoU de 67,2 %, surpassant la base de référence la plus forte (Affordance-R1) de +23,9/+26,3 points. Il a également surpassé les bases de référence sur des régions complexes dépendantes de l'intention (par exemple, distinguer une lame de pelle pour « contenir » versus un manche pour « utiliser »).
Prédiction du point de contact : En utilisant le pôle d'inaccessibilité du masque prédit, AFUN a obtenu un gain de taux de réussite (hit rate) de 12,7 % à 61,3 % par rapport aux meilleures bases de référence (ex: 96,5 % sur InstructPart contre 35,2 % pour VRB).
Prédiction de mouvement 3D : AFUN a obtenu l'erreur de déplacement moyenne (ADE) et l'erreur de déplacement finale (FDE) les plus basses sur les trois ensembles de test (ensemble de test AFUN, SceneFun3D et RoboMIND2). Il a nettement surpassé les bases de référence en termes de taux de réussite Contact-in-Mask (CIM) (ex: 81,0 % sur l'ensemble de test AFUN contre 11,0 % pour VRB).
Déploiement sur robot réel : Le modèle a été déployé sur un bras Franka Research 3 pour des tâches telles que l'ouverture d'un micro-ondes, le retrait d'un couvercle de casserole et l'ouverture d'un tiroir. Il a atteint un taux de succès moyen de 90 % sans aucun ajustement spécifique au robot.

Signification et affirmations
L'article affirme qu'AFUN représente une étape significative vers un modèle de fondation d'affordance en monde ouvert. En unifiant la perception de la fonctionnalité (masque) avec l'action exécutable (mouvement 3D) et en exploitant un jeu de données massif et standardisé, AFUN démontre sa capacité à s'adapter à des tâches en monde ouvert sans dépendre de données de domaines étroits ou d'heuristiques manuelles. Les auteurs soulignent que la capacité du modèle à prédire des trajectoires 3D fluides et orientées (via des courbes de Bézier) permet des manipulations complexes (comme l'ouverture rotationnelle) qui sont difficiles pour les approches de mouvement par lignes ou discrètes antérieures. Ce travail suggère une voie pratique pour que les robots comprennent et exécutent diverses interactions physiques dans des environnements non structurés.