Imaginez que vous marchiez dans une pièce remplie d'objets aléatoires : un poivron, une chaussure, une lampe et un rocher évidé. Un humain ne voit pas simplement un « truc rouge » ou un « truc brillant ». Il sait instantanément qu'un poivron pourrait contenir de l'eau, qu'une chaussure pourrait servir de marteau et qu'un rocher pourrait servir de siège. Ce super-pouvoir s'appelle le raisonnement d'affordance. C'est la capacité de regarder un objet et de comprendre ce que l'on peut en faire en fonction de son apparence et de son toucher. Pour que les robots puissent faire quoi que ce soit d'utile dans notre monde réel et désordonné — comme préparer un sandwich ou nettoyer une pièce — ils ont besoin de ce même super-pouvoir. Ils ne peuvent pas simplement recevoir l'ordre : « Prends la tasse. » Ils doivent être capables de comprendre : « Oh, ce truc là-bas est une tasse, donc je peux l'utiliser pour boire de l'eau », même si la tasse est à moitié cachée ou semble un peu étrange.

Le gros problème est que les cerveaux des robots actuels sont soit trop stupides pour comprendre cela par eux-mêmes, soit si gigantesques et complexes (comme les modèles d'IA géants) qu'ils ne peuvent pas tenir dans la tête d'un robot pour fonctionner rapidement. Soit ils se perdent dans les mots, soit ils mettent trop de temps à réfléchir. Ce document présente une nouvelle solution appelée Afford-X. Considérez cela comme un « cerveau de robot intelligent et mince » qui est spécifiquement entraîné pour regarder une image et une tâche (comme « sécher ton corps ») et pointer instantanément le meilleur outil (une serviette), en ignorant les distractions. Il est conçu pour être assez petit pour s'exécuter sur un ordinateur local, assez rapide pour fonctionner en temps réel, et assez intelligent pour gérer de nouvelles situations qu'il n'a jamais vues auparavant.

Le Problème : Les Robots Distraits par les Noms

Pour comprendre pourquoi ce document est important, imaginez que vous jouez à un jeu de « Jacques a dit » avec un robot. Vous dites : « Nettoie la bouteille avec quelque chose. » Un robot standard pourrait regarder l'image, voir une bouteille brillante, et immédiatement saisir la bouteille. Il échoue car il est resté bloqué sur le nom « bouteille » au lieu de comprendre l'action « nettoyer ». Il pense que la bouteille est l'outil, et non l'objet à nettoyer. C'est comme un étudiant qui lit le mot « pomme » dans un problème de mathématiques sur la salade de fruits et oublie de résoudre les mathématiques proprement dites.

Les modèles d'IA actuels sont souvent trop gros pour fonctionner sur l'ordinateur local d'un robot (ils nécessitent de serveurs massifs), et les plus petits sont souvent trop stupides pour faire la différence entre un outil et une cible. Ils manquent de « bon sens » pour savoir qu'une serviette nettoie une bouteille, mais qu'une bouteille ne se nettoie pas elle-même.

La Solution : Afford-X et l'Astuce du « Professeur-Élève »

Les auteurs ont construit un nouveau système appelé Afford-X. C'est comme un modèle d'IA « mince » qui tient sur un appareil local mais qui est étonnamment intelligent. Pour le rendre intelligent sans le rendre énorme, ils ont utilisé une astuce d'entraînement ingénieuse appelée distillation de connaissances.

Imaginez un chef cuisinier expert (le Professeur) qui sait exactement comment cuisiner un repas parfait. Le chef connaît le nom de chaque ingrédient (comme « canapé » ou « tasse »). Maintenant, imaginez un chef apprenti (l'Élève) qui essaie d'apprendre mais à qui on n'est pas encore autorisé à donner les noms spécifiques des ingrédients ; il connaît seulement des instructions comme « asseyez-vous confortablement sur quelque chose ».

La méthode des auteurs fonctionne ainsi :

1. Le Professeur apprend en utilisant des noms spécifiques (ex : « s'asseoir sur un canapé »).
2. L'Élève apprend en utilisant des mots vagues (ex : « s'asseoir sur quelque chose »).
3. Le Professeur ne se contente pas de donner la réponse à l'Élève ; il montre à l'Élève comment réfléchir. Il dit : « Quand tu vois cette forme et que tu entends 's'asseoir', pense à un 'canapé' même si tu ne connais pas encore le mot. »

Cela permet à l'Élève (le modèle de robot final) de comprendre le concept d'un outil sans avoir besoin d'une base de données géante de tous les noms d'objets. Il apprend le « ressenti » du bon objet.

La Recette Secrète : L'Attention au Verbe et la Bi-Fusion

Pour s'assurer que le robot se concentre sur l'action et non seulement sur l'objet, les auteurs ont ajouté deux outils spéciaux au cerveau de l'IA :

• L'Attention au Verbe (VA - Verb Attention) : C'est comme un surligneur pour les mots d'action. Quand le robot lit « nettoie la bouteille », le module VA projette une lumière vive sur le mot « nettoie ». Il dit au robot : « Hé, ne regarde pas seulement la bouteille ! Cherche quelque chose qui nettoie ! » Cela empêche le robot d'être distrait par l'objet le plus évident de l'image.
• La Bi-Fusion (BF - Bi-Fusion) : C'est une conversation à double sens entre les yeux du robot (la vision) et son cerveau (le langage). Au lieu de simplement coller l'image et les mots ensemble, ce module leur permet de discuter l'un avec l'autre. Les yeux disent : « Je vois une chose douce et rectangulaire », et le cerveau dit : « Cela ressemble à une serviette pour se sécher ». Ils combinent leurs notes pour prendre une décision parfaite.

Le Terrain d'Entraînement : COCO-Aff et LVIS-Aff

On ne peut pas apprendre l'intelligence à un robot sans lui donner une bibliothèque massive d'exemples. Les auteurs ont créé deux nouvelles bibliothèques géantes de données appelées COCO-Aff et LVIS-Aff.

Considérez ces bases de données comme de massifs « examens blancs » pour les robots. Au lieu de simplement montrer l'image d'une tasse et de demander « Qu'est-ce que c'est ? », ces jeux de données montrent une image et une tâche comme « boire de l'eau avec », et le robot doit trouver la tasse.

• COCO-Aff contient environ 112 000 images et 1 144 tâches différentes.
• LVIS-Aff est encore plus grand, avec 119 000 images et 1 496 tâches, couvrant plus de 1 000 types d'objets différents.

Ils ont utilisé une IA géante (GPT-4) pour aider à rédiger automatiquement ces questions d'examen, en vérifiant que les réponses étaient cohérentes. Cela a donné au robot une gamme d'expériences beaucoup plus large pour apprendre, l'aidant à mieux gérer les nouvelles situations étranges.

Les Résultats : Rapide, Petit et Précis

Les auteurs ont testé Afford-X dans des mondes de robots simulés (en utilisant un environnement virtuel qui ressemble à une vraie pièce). Voici ce qu'ils ont trouvé :

• Vitesse : Afford-X est incroyablement rapide. Il peut traiter des images à 2,38 images par seconde (FPS). Pour donner un ordre de grandeur, il est presque 50 fois plus rapide que de demander à une IA géante basée sur le cloud (comme GPT-4V) de faire le même travail.
• Taille : Le modèle est très petit, avec seulement 187 millions de paramètres. Cela signifie qu'il peut fonctionner sur un ordinateur local sans avoir besoin d'une immense ferme de serveurs.
• Précision : Lors des tests, Afford-X a amélioré les performances de 12,1 % par rapport aux meilleures méthodes précédentes qui n'utilisaient pas d'IA géantes. Il a également battu le propre travail précédent des auteurs de 1,2 %.
• Généralisation : Lorsque le robot était confronté à des tâches qu'il n'avait jamais vues (utilisant des objets qu'il ne connaissait pas), il se comportait toujours bien. Par exemple, sur de nouvelles tâches, il a amélioré sa précision d'environ 24 % par rapport aux modèles entraînés sur des ensembles de données plus petits.

La Journée Type du Robot

Pour prouver que cela fonctionne, les auteurs ont placé Afford-X sur un bras robotique simulé. Ils lui ont donné une tâche comme « boire de l'eau avec ».

1. Le robot a regardé une table encombrée avec une bouteille, un verre, une tasse et une cuillère.
2. Afford-X a instantanément identifié la tasse comme le meilleur outil, ignorant la bouteille (qui sert à contenir, pas à boire directement) et la cuillère.
3. Le robot a ensuite planifié son mouvement et a saisi la tasse avec succès.

Dans un test complexe où le robot devait « construire un espace de travail », le système a décomposé la grande tâche en étapes plus petites (trouver une table, trouver une chaise, trouver une lampe) et les a exécutées une par une. Dans ces simulations, le robot a réussi à trouver le bon objet 86 % du temps, et a réussi à le saisir 45 % du temps. (Les échecs survenaient généralement parce que le bras du robot avait du mal à tenir des objets fins et plats comme des cuillères, et non parce qu'il choisissait le mauvais objet).

Pourquoi Cela Importe

Ce document démontre que vous n'avez pas besoin d'une IA géante et lente basée sur le cloud pour donner du bon sens à un robot. En utilisant un modèle mince et intelligent entraîné sur les bonnes données, les robots peuvent comprendre comment utiliser des outils dans le monde réel, de manière rapide et efficace. C'est une étape cruciale vers des robots qui pourront réellement nous aider dans nos maisons et nos lieux de travail, plutôt que de rester coincés dans un laboratoire en attendant qu'un supercalculateur leur dise quoi faire.

Les auteurs admettent que le robot éprouve encore quelques difficultés dans des situations très délicates, comme faire la différence entre une tasse et un porte-brosse à dents s'ils se ressemblent exactement, ou gérer des objets cachés derrière d'autres. Mais pour l'instant, Afford-X prouve qu'un cerveau de robot petit, rapide et intelligent est possible.