UNITAS: A 3D-Native World Action Model for Embodied Manipulation
UNITAS est un modèle d'action de monde natif en 3D pionnier de 1,7 milliard de paramètres qui unifie les actions des robots et des mains humaines avec la dynamique de la scène dans un espace 3D métrique partagé, atteignant des performances de pointe tant dans la prédiction de scène conditionnée par l'action que dans les tâches de manipulation en conditions réelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les robots ont longtemps lutté pour comprendre le monde physique non pas seulement comme une collection d'images, mais comme un espace où les choses bougent, entrent en collision et changent. Pendant des décennies, les chercheurs ont tenté d'apprendre aux machines à prédire ce qui arrive ensuite en leur montrant des vidéos. Ces systèmes apprennent à deviner la prochaine image d'un film, espérant que s'ils peuvent prédire le futur visuel, ils pourront également comprendre comment déplacer un bras de robot pour faire en sorte que ce futur se réalise. Cependant, il existe une faille fondamentale dans cette approche : une vidéo n'est qu'une projection plate d'un monde tridimensionnel. Dans une photographie, un petit objet éloigné peut paraître de la même taille qu'un objet volumineux proche, et quelques pixels de mouvement peuvent représenter un décalage infime ou un bond massif selon l'angle de la caméra. Cela rend extrêmement difficile pour un robot de savoir exactement jusqu'où tendre ou avec quelle force pousser, car le langage visuel d'une caméra ne parle pas le langage de la distance physique.
Pour combler ce fossé, une équipe de chercheurs a développé un nouveau type de modèle qui contourne totalement les images plates pour travailler directement dans l'espace tridimensionnel. Au lieu d'essayer de prédire l'image suivante, ce système prédit comment les points dans l'espace vont se déplacer. Il traite le monde comme une collection de coordonnées qui se déplacent et circulent, permettant au robot de comprendre les conséquences physiques de ses actions d'une manière cohérente, quel que soit l'endroit où la caméra regarde. Ce passage du visionnage d'un film à la cartographie d'un espace physique représente une étape significative vers l'attribution d'un véritable sens du fonctionnement du monde aux robots, les rapprochant de la capacité d'accomplir des tâches complexes comme organiser une étagère ou emballer un sac avec la même fiabilité qu'un humain.
Les chercheurs derrière ce travail, nommant leur création UNITAS, ont cherché à résoudre un problème spécifique : comment unifier ce que le robot voit, ce qu'il fait et la façon dont le monde change en réponse, le tout au sein d'un cadre unique et partagé. Les tentatives précédentes reposaient souvent sur des générateurs de vidéos pré-entraînés, qui sont excellents pour créer des images réalistes mais échouent souvent à respecter les lois de la physique. Un modèle vidéo pourrait prédire qu'une tasse glisse sur une table, mais il pourrait aussi prédire qu'elle s'étire ou se déforme de manières impossibles dans la réalité, ou que l'arrière-plan dérive alors qu'il devrait rester immobile. Le nouveau modèle, UNITAS, rejette cette approche axée sur le visuel. Au lieu de cela, il construit un monde « natif 3D » où chaque observation, chaque mouvement de robot et chaque changement de l'environnement est décrit en utilisant le même langage métrique des coordonnées tridimensionnelles.
Dans ce système, le robot ne se contente pas de regarder un flux de caméra ; il construit une carte mentale de l'espace qui l'entoure. Lorsque le robot déplace sa main ou sa pince, le modèle suit la trajectoire de points spécifiques de cette main lorsqu'ils traversent l'air. Simultanément, il suit la façon dont les points d'un objet proche, comme un vase ou un livre, se déplacent en réponse. Les chercheurs ont entraîné le modèle sur un vaste mélange de données, incluant des enregistrements de vrais robots, des simulations de tâches bimanuelles et des vidéos de mains humaines effectuant des actions similaires. En traitant le mouvement d'une main humaine et d'une pince de robot comme le même type de trajectoire tridimensionnelle, le modèle a appris un langage universel du mouvement. Il a appris que, qu'il s'agisse d'un doigt humain ou d'une griffe métallique, la physique de la façon dont ils poussent un objet reste la même.
Le cœur de ce système est une méthode de représentation du temps et du mouvement qui s'aligne sur la façon dont les humains expérimentent le monde physique. Plutôt que de compter les images vidéo, dont la vitesse peut varier selon la caméra, le modèle mesure le temps en secondes réelles. Il décompose un mouvement en un jeton (token) unique et continu qui représente l'ensemble du chemin parcouru par un point sur une durée spécifique. Cela permet au système de gérer des données provenant de différentes sources, certaines enregistrées à haute vitesse et d'autres à basse vitesse, sans être confondu. Lorsqu'on donne une tâche au modèle, telle que « insérer la fleur dans le vase », il ne génère pas seulement une vidéo de l'action. Il calcule la trajectoire tridimensionnelle précise que la pince doit suivre et prédit exactement comment les points de la fleur et du vase se déplaceront pour accommoder cette action.
Les résultats de cette approche sont frappants. Lors d'une série de tests rigoureux, le modèle a démontré un niveau de précision que les systèmes précédents ne pouvaient égaler. Lorsqu'on lui a demandé de prédire comment une scène changerait après le mouvement d'un robot, UNITAS a réduit l'erreur de ses prédictions de près de moitié par rapport aux meilleurs modèles 3D existants. Dans des environnements de simulation conçus pour tester des compétences de manipulation complexes, le système a atteint un taux de réussite de 99,8 % sur un benchmark standard nommé LIBERO, surpassant des modèles plus larges qui reposent sur la génération de vidéos. Plus important encore, lorsque les chercheurs ont testé le modèle sur de vrais robots dans le monde physique, il a maintenu des performances élevées. Sur des tâches telles que l'organisation de livres sur une étagère et l'emballage d'une balle dans un sac, le robot a réussi 90 % et 80 % du temps respectivement, surpassant de manière significative les autres méthodes de pointe.
Les chercheurs ont également testé la capacité du système à gérer les changements dans l'environnement, tels que des angles de caméra différents ou des obstacles imprévus. Parce que le modèle est ancré dans un espace tridimensionnel fixe plutôt que dans une vue de caméra changeante, il est resté robuste face aux changements de l'entrée visuelle. Il pouvait toujours déterminer comment déplacer le bras du robot correctement, même si la caméra était déplacée ou si l'éclairage changeait. Cela suggère que le modèle a véritablement appris la géométrie de la tâche, plutôt que de simplement mémoriser un motif visuel spécifique. La capacité de prédire le résultat physique d'une action, plutôt que l'apparence visuelle, semble être la clé de cette robustesse.
L'un des aspects les plus fascinants de ce travail est sa capacité à transférer des connaissances entre différents types de robots et même entre les humains et les machines. Le modèle a été entraîné sur des données de mains humaines, de robots à un seul bras et de robots à deux bras, pourtant il a pu appliquer de manière fluide ce qu'il a appris à n'importe lequel de ces corps. Lorsqu'une main humaine démontrait une tâche, le modèle pouvait traduire ce mouvement en un plan pour une pince de robot, et vice versa. Cette unification suggère que les règles physiques de la manipulation sont universelles et qu'en se concentrant sur le flux tridimensionnel de la matière, une machine peut apprendre à interagir avec le monde indépendamment de la forme spécifique de son corps.
Les implications de cette recherche s'étendent au-delà de la simple amélioration des performances robotiques. En traitant le monde comme un espace métrique partagé où les actions et les conséquences sont directement liées, les chercheurs ont fourni un nouveau fondement à l'intelligence incarnée. Cette approche s'éloigne de l'idée qu'un robot doit « voir » le monde de la même manière qu'un humain, avec toutes les ambiguïtés de perspective et d'éclairage. Au lieu de cela, elle donne au robot une compréhension directe de l'espace physique. Le modèle n'a pas besoin d'imaginer une vidéo du futur ; il calcule simplement la trajectoire des points dans l'espace. Cette clarté permet une prise de décision plus rapide et plus fiable, car le système n'a pas à perdre de temps à interpréter des illusions visuelles ou à corriger des artefacts de caméra.
En fin de compte, le succès de UNITAS réside dans la simplicité de son concept, même si les mathématiques sous-jacentes sont complexes. Il reconnaît que pour qu'un robot manipule le monde, il doit comprendre le monde en trois dimensions, et non en deux. En ancrant ses prédictions dans des coordonnées physiques et en mesurant le temps en secondes plutôt qu'en images, le modèle atteint un niveau d'exactitude et de fiabilité qui était auparavant hors de portée. Les chercheurs ont démontré que lorsqu'on cesse d'essayer de faire regarder un film à un robot pour commencer à lui apprendre à cartographier l'espace physique, il peut apprendre à se déplacer avec une confiance et une précision qui nous rapprochent du rêve de robots polyvalents capables de nous aider dans notre vie quotidienne. La voie à suivre est claire : l'avenir de la manipulation robotique ne réside pas dans de meilleures caméras, mais dans une compréhension plus profonde et plus directe du monde tridimensionnel que nous partageons tous.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.