-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight est un modèle de fondation robotique unifié qui intègre le contrôle vision-langage-action avec une modélisation de monde latente en prédisant les futurs jetons spatiaux et les actions directement dans l'espace de jetons natif du VLM, atteignant des performances de pointe sur divers benchmarks sans dépendre de la reconstruction de pixels ou d'encodeurs externes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les robots ont longtemps lutté pour se déplacer dans le monde avec l'intuition fluide d'un être humain. Bien qu'ils puissent être programmés pour répéter un mouvement spécifique de manière parfaite, ils échouent souvent lorsque l'environnement change légèrement ou lorsqu'une tâche nécessite une séquence d'étapes qui doivent s'adapter en temps réel. Pour combler ce fossé, les scientifiques ont développé des systèmes qui combinent la vision, le langage et l'action. Ces systèmes permettent à un robot de comprendre une commande telle que « pose la tasse sur la table » et de déterminer ensuite comment bouger son bras pour le faire. Cependant, un obstacle important demeure : la plupart de ces systèmes ne regardent que le moment présent. Ils voient la scène actuelle et décident du mouvement suivant, mais ils n'anticipent pas réellement ce qui va se passer ensuite. Sans cette capacité à prévoir l'avenir immédiat, les robots peuvent trébucher lorsqu'une tâche nécessite la coordination de mouvements complexes, comme marcher en portant un objet ou naviguer autour d'obstacles qui se déplacent pendant leur mouvement.
Une nouvelle approche appelée Z-sight, développée par des chercheurs de Maven Robotics et de l'Université de Californie du Sud, tente de résoudre ce problème en donnant au robot une forme de « prévoyance ». Au lieu de simplement réagir à ce qu'il voit maintenant, le système apprend à prédire à quoi ressemblera le monde visuel une fraction de seconde dans le futur, et il utilise cette prédiction pour guider ses actions. Il ne s'agit pas de générer une vidéo complète du futur, ce qui serait coûteux en termes de calcul et lent. Au lieu de cela, le système prédit les motifs visuels essentiels que le cerveau du robot utilise pour comprendre la scène. En apprenant à imaginer le moment suivant tout en décidant simultanément du mouvement suivant, le robot peut planifier son chemin plus fluidement, gérant des tâches complexes qui faisaient auparavant stagner ou échouer d'autres systèmes.
Les chercheurs ont construit ce système en l'entraînant sur une vaste collection de données, comprenant des milliers d'heures de vidéos montrant des humains accomplissant des tâches quotidiennes et des enregistrements de divers robots. Le processus d'entraînement a été divisé en plusieurs étapes. D'abord, le système a appris à comprendre les mouvements humains et le langage à partir de vidéos de personnes faisant des choses comme ouvrir des portes ou plier des vêtements. Ensuite, il a été exposé à des données provenant de différents types de robots, apprenant à traduire ces observations de type humain en la mécanique spécifique du mouvement robotique. Enfin, le système a été affiné sur un robot spécifique, une machine humanoïde appelée Unitree G1, pour maîtriser des tâches comme pousser une chaise sous une table ou jeter des déchets dans une poubelle. Tout au long de ce processus, le système a été enseigné pour faire deux choses à la fois : prédire l'état visuel futur du monde et générer les actions physiques nécessaires pour atteindre cet état.
L'innovation centrale réside dans la manière dont le système gère ces prédictions. De nombreuses tentatives précédentes pour donner de la prévoyance aux robots reposaient sur la génération de cadres vidéo complets du futur ou sur l'utilisation de systèmes distincts et figés pour deviner ce qui allait se passer. Ces méthodes étaient soit trop lentes, soit déconnectées de la propre façon dont le robot perçoit le monde. Z-sight évite ces pièges en prédisant le futur directement dans le même « langage visuel » que le robot utilise pour comprendre le présent. Il ne cherche pas à recréer une vidéo parfaite au pixel près ; il prédit plutôt les jetons (tokens) visuels abstraits qui représentent la scène. Cela permet au robot de voir le futur comme un ensemble de possibilités qui sont étroitement intégrées à sa compréhension actuelle, lui permettant d'ajuster ses actions à la volée à mesure que le futur prédit se déroule.
Les résultats de cette approche ont été testés à la fois dans des simulations informatiques et lors d'expériences en conditions réelles. Dans un environnement simulé conçu pour tester la coordination de l'ensemble du corps, le système a atteint un taux de réussite de 81,9 % sur une variété de tâches complexes, surpassant de manière significative les méthodes existantes les plus performantes. Lorsqu'il a été testé sur le robot physique Unitree G1 dans une pièce réelle, il a réussi dans 73,3 % des essais à travers six tâches différentes, qui comprenaient le déplacement d'objets, la navigation autour de meubles et l'exécution de tâches ménagères à plusieurs étapes. En comparaison, le système suivant de meilleur niveau a réussi dans seulement 53,3 % de ces tentatives en conditions réelles. Les chercheurs ont constaté que la capacité du système à anticiper le futur était cruciale pour les tâches exigeant une séquence de mouvements, comme marcher vers une chaise, la pousser, puis y placer un objet. Sans cette prévoyance, le robot aurait souvent terminé la première partie de la tâche, mais se serait ensuite bloqué lors de la tentative de transition vers l'étape suivante.
Pour s'assurer que les améliorations provenaient bien du mécanisme de prévoyance lui-même et non simplement d'un modèle plus large ou plus complexe, les chercheurs ont mené plusieurs expériences contrôlées. Ils ont testé des versions du système qui ne pouvaient pas prédire le futur et ont constaté que ces versions étaient nettement moins performantes, même avec la même puissance de calcul. Ils ont également testé si le système dépendait du contenu spécifique de ses prédictions ou simplement du fait qu'il faisait une prédiction. Lorsqu'ils ont remplacé la prédiction future par du bruit aléatoire ou par l'image statique actuelle, les performances du robot se sont effondrées, indiquant qu'il utilisait réellement les détails spécifiques de sa prédiction future pour guider ses mouvements. De plus, le système a réussi à effectuer ces prédictions et décisions complexes de manière incroyablement rapide, traitant un bloc de 30 étapes en seulement 110 millisecondes, ce qui est assez rapide pour contrôler un robot en temps réel sans latence.
L'étude a également exploré le comportement du système lorsque les choses tournent mal. En perturbant intentionnellement le flux de prédiction lors des tests, les chercheurs ont observé que le robot pouvait s'adapter. Si le système recevait l'information que sa prédiction n'était pas fiable, il s'appuyait davantage sur ce qu'il pouvait voir à l'instant présent, plutôt que de deviner ce qui pourrait arriver. Cette flexibilité suggère que le système a appris une manière robuste de doser la planification et la réaction. Les chercheurs ont noté que, bien que le système soit hautement efficace, il prédit actuellement le futur uniquement sur la base de ce qu'il voit, sans tester explicitement différentes options d'action avant de s'engager dans l'une d'elles. Cela laisse la possibilité que des versions futures comparent différents résultats potentiels avant d'agir, renforçant davantage sa capacité de planification.
En fin de compte, Z-sight démontre qu'un robot n'a pas besoin de générer des vidéos complètes du futur pour comprendre ce qui vient ensuite. En apprenant à prédire le futur dans le même espace visuel abstrait qu'il utilise pour comprendre le présent, le système atteint un niveau de coordination et d'adaptabilité qui était auparavant difficile à obtenir. Cette approche permet au robot de se déplacer avec un sentiment de continuité, comblant le fossé entre voir le monde et agir en son sein. Le succès de cette méthode sur des robots humanoïdes, tant simulés que réels, suggère que cette façon de combiner perception, prédiction et action pourrait devenir un fondement standard pour des machines plus capables et autonomes à l'avenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.