Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization
Zero-WAM est un modèle de vidéo-action causal qui parvient à une généralisation inter-tâches zero-shot dans la manipulation robotique en exploitant des vidéos humaines en contexte comme spécifications de tâches, soutenu par un ensemble de données synthétiques de 74,2K paires humain-robot et un objectif de prédiction de segments futurs pour imposer la dépendance aux invites visuelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les robots sont confrontés depuis longtemps à une limitation fondamentale : ils sont excellents pour répéter ce qu'on leur a explicitement enseigné, mais ils faiblissent face à une situation nouvelle qu'ils n'ont jamais pratiquée. Si un robot apprend à empiler des blocs rouges, il ne parvient souvent pas à comprendre comment empiler des blocs bleus, ou comment ouvrir un micro-ondes, à moins qu'un programmeur humain ne réécrive son code pour cette tâche spécifique. Cette incapacie à généraliser est un obstacle majeur à la création de machines capables d'aider dans nos foyers ou nos lieux de travail. Pendant des années, les chercheurs ont tenté de résoudre ce problème en enseignant aux robots par le langage, en leur donnant des instructions verbales comme « ramasse la tasse ». Cependant, les mots sont souvent trop vagues pour capturer les détails physiques complexes d'une tâche, comme la force exacte avec laquelle il faut presser un objet ou la séquence précise de mouvements requise pour démêler un nœud. Une manière plus naturelle pour les humains de montrer à un robot quoi faire est simplement de le lui démontrer, mais apprendre à un robot à partir de l'observation d'une vidéo humaine s'est avéré difficile car le robot et l'humain bougent différemment et voient le monde sous des angles différents.
Une équipe de chercheurs a développé une nouvelle approche qui permet à un robot d'apprendre des tâches entièrement nouvelles en regardant une courte vidéo d'un humain les accomplissant, sans nécessiter d'entraînement préalable sur cette tâche spécifique ou de modifications du logiciel interne du robot. Ils ont nommé leur système Zero-WAM. L'idée centrale est de traiter une vidéo humaine non pas seulement comme une référence, mais comme une instruction directe. Lorsqu'un robot doit accomplir un nouveau travail, il regarde une vidéo d'un humain effectuant un travail similaire et utilise ce guide visuel pour déterminer ses propres mouvements suivants. Pour que cela fonctionne, les chercheurs ont dû résoudre un problème de données massif. Ils avaient besoin de milliers d'exemples où une vidéo humaine montrant une tâche correspondait parfaitement aux propres mouvements du robot pour cette même tâche. Comme la collecte de tels couples manuellement est lente et coûteuse, ils ont construit un système automatisé qui prend des enregistrements existants de robots travaillant et utilise l'intelligence artificielle pour générer des vidéos humaines correspondantes. Ce processus a créé une bibliothèque massive de 74 200 exemples appariés couvrant près de 9 000 tâches différentes, allant de simples actions de saisie et de placement à des manipulations complexes à plusieurs étapes.
Les chercheurs ont entraîné leur modèle sur cette bibliothèque diversifiée, lui apprenant à prédire ce qu'un robot devrait faire ensuite en se basant sur l'historique de ses propres mouvements et sur la vidéo humaine qu'il regarde. Un élément clé de leur méthode consistait à s'assurer que le modèle portait réellement attention à la vidéo humaine plutôt que de simplement deviner en fonction de ce qu'il avait vu auparavant. Ils ont ajouté une étape de formation spéciale où le modèle devait prédire non pas seulement l'instant suivant, mais plusieurs étapes dans le futur. Cela a forcé le système à comprendre l'objectif à long terme montré dans la vidéo humaine, plutôt que de simplement réagir au passé immédiat. Lorsqu'ils ont testé ce système dans un environnement simulé avec sept tâches totalement nouvelles que le robot n'avait jamais vues pendant l'entraînement, il a réussi dans près de la moitié des tentatives. C'est une amélioration spectaculaire par rapport aux méthodes précédentes, qui ne réussissaient que dans moins d'un cas sur cinq. Le système a réussi à gérer des défis difficiles comme ouvrir un micro-ondes, empiler des blocs et déplacer une agrafeuse, tout cela en regardant simplement une vidéo de démonstration humaine.
Le succès ne s'est pas arrêté à la simulation. L'équipe a emmené le modèle entraîné dans un cadre réel avec un bras robotique physique et l'a testé sur des tâches impliquant le placement d'objets dans des récipients, le déplacement de plusieurs articles dans un ordre spécifique, et l'insertion de pieds de table dans des trous avec une grande précision. Lors de ces tests en conditions réelles, le robot a de nouveau utilisé des instructions vidéo humaines pour naviguer dans des configurations inédites, comme l'utilisation d'objets de couleurs différentes ou de configurations de table différentes de celles vues durant l'entraînement. Bien que le taux de réussite soit inférieur à celui de la simulation en raison des difficultés physiques du monde réel, le robot a tout de même réussi à accomplir des tâches qu'un système basé uniquement sur le langage ne pouvait pas du tout résoudre. Par exemple, lorsqu'on lui a demandé d'insérer des pieds de table dans des trous spécifiques en se basant sur un guide vidéo, le robot a réussi une proportion significative d'essais, alors que le système basé uniquement sur le langage a échoué complètement.
Les résultats suggèrent que le goulot d'étranglement de l'adaptabilité des robots n'est pas nécessairement la capacité du robot à bouger, mais la manière dont nous lui donnons des instructions. En passant de commandes textuelles à des démonstrations vidéo, et en utilisant un ensemble de données massif généré automatiquement pour apprendre au robot comment traduire les actions humaines en ses propres mouvements, les chercheurs ont montré une voie viable vers des machines plus flexibles. Le système ne nécessite pas que le robot apprenne une nouvelle compétence pour chaque nouveau travail ; il apprend plutôt une capacité générale à interpréter des démonstrations visuelles. Cela signifie qu'à l'avenir, un robot pourrait potentiellement recevoir une vidéo d'un humain réparant un robinet qui fuit ou organisant une étagère, et il serait capable de tenter la même tâche par lui-même, en adaptant ses mouvements physiques à son propre corps et aux objets spécifiques devant lui. Ce travail démontre qu'avec les bonnes données et les bonnes méthodes d'entraînement, les robots peuvent commencer à combler le fossé entre l'intuition humaine et l'exécution par la machine, se rapprochant ainsi de l'objectif de véritables assistants polyvalents.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.