Flex-: A Multi-Stream World-Action Model with Compute Flexibility
Flex- est un modèle d'action de monde à 6 milliards de paramètres qui exploite un VAE de génération vidéo gelé pour encoder implicitement la géométrie 3D et la sémantique des objets aux côtés du RGB, permettant une approche d'entraînement multi-flux flexible qui atteint une généralisation et une efficacité supérieures dans les tâches de manipulation bimanuelle en conditions réelles sans nécessiter de nouveaux capteurs ou de pré-entraînement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un robot essayant d'apprendre à plier un vêtement ou à réparer un jouet cassé. Pendant longtemps, les scientifiques ont enseigné aux robots en leur montrant des milliers de vidéos d'humains accomplissant la tâche, espérant que le robot se contenterait de « copier » les mouvements. Mais c'est comme essayer d'apprendre à conduire une voiture en regardant seulement les voyants du tableau de bord ; vous voyez le compteur de vitesse grimper, mais vous ne comprenez pas la route, les virages ou les autres voitures. Une approche plus récente et plus intelligente appelée « Modèles Monde-Action » (World-Action Models) tente de corriger cela. Au lieu de simplement copier, ces modèles tentent de prédire ce qui se passera ensuite dans le futur. Ils se demandent : « Si je déplace mon bras de cette façon, à quoi ressemblera le monde dans une seconde ? » En devinant l'avenir, le robot apprend les règles de la physique et la manière dont les objets interagissent, ce qui le rend bien meilleur pour résoudre de nouvelles tâches sans avoir besoin d'un million d'exemples. Cependant, la plupart de ces robots intelligents ne regardent que des images 2D plates (comme une caméra standard), ce qui peut être déroutant lorsqu'on essaie de saisir un objet 3D qui pourrait être caché derrière autre chose.
Entrez en scène FLEX-π, un nouveau cerveau robotique qui résout ce casse-tête avec une astuce ingénieuse. Considérez FLEX-π comme un chef cuisinier expert capable de goûter une soupe et de savoir instantanément quelles épices s'y trouvent, quelle est sa température et quelle est sa consistance, même s'il n'a qu'une seule cuillerée de liquide. Par le passé, pour qu'un robot comprenne les formes 3D (comme la profondeur) ou le sens des objets (comme « ceci est une tasse, pas une balle »), les scientifiques devaient doter le robot de caméras 3D coûteuses ou lui enseigner des manières de voir le monde entièrement nouvelles. FLEX-π, cependant, a découvert un « repas gratuit ». Il a réalisé que le même cerveau qu'il utilise pour comprendre les images plates pouvait aussi comprendre les formes 3D et la signification des objets presque parfaitement, sans entraînement supplémentaire ni nouveau matériel.
Les chercheurs ont construit un modèle de 6 milliards de paramètres (un cerveau numérique très vaste) qui apprend à prédire trois choses à la fois : à quoi ressemblera l'image suivante, quelle sera la forme 3D de la scène, et quels sont les objets importants dans la scène. La magie opère parce qu'ils ont entraîné le robot à imaginer ces trois choses ensemble. Si le robot voit l'image d'une tasse, il ne voit pas seulement une image plate ; il imagine simultanément la profondeur 3D de la tasse et sait qu'il s'agit d'une « tasse ». Mieux encore, ils ont appris au robot à être flexible. Pendant l'entraînement, ils ont parfois caché les données 3D ou les noms des objets, forçant le robot à les deviner en utilisant uniquement l'image plate. Cela signifie que lorsque le robot travaille réellement, il peut fonctionner en « mode rapide » en utilisant seulement la caméra (en ignorant les données 3D et d'objets) et rester incroyablement intelligent, ou il peut fonctionner en « mode super » en utilisant toutes les données s'il en a le temps.
Les résultats sont impressionnants. Lorsqu'il a été testé sur de vrais robots accomplissant des tâches complexes — comme utiliser un tournevis pour réparer son propre effecteur avec une précision millimétrique, ou fermer la fermeture éclair d'une trousse souple et molle — FLEX-π a battu les meilleurs cerveaux robotiques existants par une marge considérable, étant parfois 2 à 7 fois plus performant. Il a appris ces compétences complexes avec très peu de démonstrations, ce qui signifie qu'il n'avait pas besoin de regarder les humains accomplir la tâche des centaines de fois. Peut-être plus surprenant encore, même lorsque FLEX-π était configuré en « mode rapide » et n'utilisait que la caméra (ignorant les données 3D et d'objets supplémentaires qu'il avait apprises), il était toujours plus rapide et plus efficace que les autres robots de pointe. L'article montre qu'en apprenant à un robot à imaginer le futur en 3D et avec la signification des objets, nous pouvons le rendre beaucoup plus intelligent et adaptable, tout cela sans nouveaux capteurs ni ralentissement de sa cadence.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.