Imaginez que vous essayez d'apprendre à un robot à effectuer une tâche complexe, comme empiler des blocs ou verser une boisson. Vous ne pouvez pas simplement laisser le robot courir partout dans votre maison un million de fois pour apprendre ; il casserait des choses, se fatiguerait ou cela prendrait une éternité. Au lieu de cela, les scientifiques construisent des « modèles de monde ». Considérez cela comme des moteurs de jeux vidéo super intelligents capables de prédire exactement ce qui se passera ensuite si le robot bouge son bras d'une certaine manière. C'est comme avoir une boule de cristal qui montre l'avenir des actions d'un robot sans avoir besoin d'un vrai robot. Mais voici la partie délicate : pour que ces boules de cristal soient utiles, elles doivent être parfaites. Elles doivent respecter les lois de la physique (pour que les objets ne flottent pas), elles doivent écouter exactement les commandes données (si vous dites « bouge à gauche », il ne doit pas bouger à droite), et la vidéo qu'elles montrent doit paraître assez réelle pour qu'un humain puisse la comprendre. Si le modèle se trompe sur l'un de ces points, c'est comme un GPS qui vous dit de conduire dans le vide parce qu'il a oublié l'existence de la gravité.

Le gros problème est que la plupart de ces modèles sont entraînés sur des exemples « parfaits » — des vidéos de robots accomplissant des tâches exactement comme il faut. Ils deviennent très bons pour copier ces mouvements spécifiques, mais si vous leur demandez d'essayer quelque chose d'un peu différent ou de faire une erreur, ils hallucinent souvent n'importe quoi. Ils n'ont pas appris à gérer les aspects désordonnés et imprévisibles du monde réel. Ce document, intitulé PAVXploreRL, introduit une nouvelle façon d'entraîner ces modèles de monde pour qu'ils deviennent plus robustes, plus intelligents et plus fiables. Les chercheurs ont construit un système qui ne se contente pas de mémoriser des vidéos parfaites ; il s'entraîne activement en essayant des mouvements « bizarres » ou imparfaits dans un environnement simulé sécurisé. En récompensant le modèle pour être physiquement réaliste, pour écouter les commandes et pour avoir un aspect net, ils ont créé un outil qui est bien meilleur pour prédire ce que les robots feront réellement, même quand les choses ne se passent pas comme prévu.

L'aventure PAVXploreRL

Les auteurs de ce document, Han Wang et son équipe, ont cherché à corriger une faiblesse spécifique dans la façon dont nous enseignons aux robots à imaginer le futur. Ils appellent leur solution PAVXploreRL, un nom qui signifie Physical, Action, and Visual Exploration Reinforcement Learning (Apprentissage par renforcement par exploration physique, d'action et visuelle). Considérez cela comme un camp d'entraînement pour l'imagination d'un robot.

Par le passé, l'entraînement de ces modèles revenait à enseigner à un étudiant en ne lui montrant que le corrigé. Les modèles regardaient des milliers de vidéos de robots accomplissant des tâches parfaitement et essayaient de les copier. Le problème ? Si vous demandiez au modèle d'imaginer un robot faisant quelque chose d'un peu différent — comme bouger un peu plus vite ou lâcher un objet — il échouait souvent, produisant des vidéos qui semblaient fausses ou qui brisaient les lois de la physique. Les chercheurs soutiennent que pour créer une véritable « boule de cristal » utile, le modèle doit comprendre trois choses spécifiques, qu'ils appellent les objectifs PAV :

1. La plausibilité physique (P) : La vidéo doit obéir aux lois de la physique. Si un robot fait tomber une tasse, la tasse doit tomber, et non flotter vers le haut.
2. L'adhérence à l'action (A) : La vidéo doit faire exactement ce que le robot a été chargé de faire. Si la commande est « attrape le bloc rouge », la vidéo ne doit pas montrer le robot en train d'attraper le bleu.
3. La fidélité visuelle (V) : La vidéo doit être nette et réelle, et non floue ou étrange, afin que les humains puissent lui faire confiance.

Le document soutient que les méthodes précédentes ont échoué car elles ne regardaient que des données « In-Distribution » (ID) — ce qui signifie qu'elles s'entraînaient uniquement sur des vidéos d'experts parfaites. Elles n'ont pas appris au modèle ce qui se passe lorsque les choses tournent mal ou lorsque le robot essaie quelque chose de nouveau. Pour corriger cela, PAVXploreRL introduit une méthode d'entraînement « ludique ». Au lieu de simplement copier des vidéos parfaites, le système prend ces vidéos parfaites et les dégrade intentionnellement un peu. Il ajoute du « bruit » aux commandes du robot, créant ainsi des actions Out-of-Distribution (OOD) (hors distribution). Ce sont des scénarios de type « et si » : Et si le robot bougeait trop vite ? Et s'il glissait ?

La magie opère parce que le système n'a pas besoin d'une vraie vidéo de ces scénarios désordonnés pour apprendre. Il utilise un « juge » spécial (basé sur un modèle appelé VJEPA-2) qui peut regarder un futur prédit et dire : « Hé, cela ne semble pas physiquement possible » ou « Cela ne correspond pas à la commande ». Le système utilise ensuite ces scores comme récompenses, de la même manière qu'un jeu vidéo donne des points pour de bons mouvements. Si le modèle prédit un futur qui semble réaliste et respecte les règles, il obtient un score élevé. S'il prédit une tasse flottante ou un robot ignorant ses commandes, il obtient un score faible et réessaie.

Les résultats de cette approche sont très prometteurs. Les chercheurs ont testé leur nouvelle méthode sur deux ensembles de données de robots différents : Agibot (un robot à deux mains) et Droid (un robot à une main). Ils ont constaté que leur modèle, après cet entraînement spécial, surpassait systématiquement les modèles standards. En moyenne, ils ont observé une amélioration de 5,6 % sur divers benchmarks. Cela peut sembler peu, mais dans le monde de l'entraînement des robots, c'est un bond significatif. Le nouveau modèle était meilleur pour maintenir les objets au sol (Plausibilité Physique), suivre les instructions (Adhérence à l'Action) et paraître réaliste (Fidélité Visuelle).

La découverte la plus importante concerne peut-être la façon dont le modèle gère l'« évaluation de la politique » (policy evaluation). C'est une façon sophistiquée de dire : « Pouvons-nous utiliser ce modèle pour tester si le cerveau d'un robot est bon avant de le laisser évoluer dans le monde réel ? » Le document montre que les anciens modèles deviennent souvent trop confiants, surestimant les capacités d'un robot. Ils peuvent penser qu'un robot réussira une tâche 90 % du temps alors qu'en réalité, il ne réussit que 60 %. PAVXploreRL, cependant, donne des estimations plus honnêtes et fiables. Il ne se laisse pas tromper par les « rêves de succès » du robot ; il dit la vérité sur ce qui est susceptible de se produire.

L'équipe a également réalisé des « études d'ablation », qui consistent à démonter une machine pour voir quels engrenages font le plus gros du travail. Ils ont testé leur système en supprimant différentes parties de la recette d'entraînement, telles que les récompenses « axées sur l'incarnation » (qui se concentrent spécifiquement sur le corps du robot) ou la « régularisation statique » (qui empêche le modèle de simplement prédire une image figée et parfaite). Ils ont découvert que chaque partie de leur recette était nécessaire. Lorsqu'ils ont supprimé la partie qui vérifie la plausibilité physique, le modèle s'est dégradé. Lorsqu'ils ont supprimé la partie qui gère les actions désordonnées hors distribution, le modèle est devenu moins fiable. Cela suggère que c'est la combinaison de tous ces éléments qui fait l'efficacité du système.

En fin de compte, PAVXploreRL ne vise pas seulement à produire de plus belles vidéos de robots. Il s'agit de construire une manière plus sûre et plus fiable d'entraîner les robots. En apprenant à ces modèles à explorer des scénarios de type « et si » et en les récompensant pour être physiquement précis et obéissants, les chercheurs ont créé un outil qui peut aider les robots à apprendre plus rapidement et plus sûrement dans le monde réel. Le document suggère que cette approche pourrait être une étape majeure pour l'IA incarnée, rendant possible l'entraînement de robots complexes sans avoir besoin de les faire s'écraser un million de fois dans un vrai laboratoire. Bien que le document ne prétende pas avoir résolu tous les problèmes de la robotique, il constitue un pas en avant, solide et mesuré, vers des simulations robotiques auxquelles nous pouvons réellement faire confiance.