💻 computer science

Vid2WAM: Distilling Video Diffusion Priors into World Action Models

Vid2WAM est un cadre de distillation hors ligne qui améliore l'apprentissage de politiques robotiques en transférant des priors de diffusion visuelle issus de grands modèles de fondation vidéo vers des modèles de monde-action (World Action Models) compacts, améliorant ainsi la généralisation et l'efficacité des données sans dépendre de démonstrations d'experts extensives.

Auteurs originaux : Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chenhao Qiu, Ruixiang Wang, Runyi Zhao, Sixu Lin, Songen Gu, Shufeng Nan, Guiliang Liu, Kui Jia, Yanwei Fu, Simo Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à cuisiner un repas. Traditionnellement, vous devriez lui tenir la main et le guider physiquement à travers chaque étape — couper les oignons, remuer la marmite, retourner la crêpe — en enregistrant des milliers d'heures de démonstrations d'« experts » juste pour qu'il réussisse une omelette parfaite. C'est l'ancienne façon d'enseigner aux robots : leur montrer exactement quoi faire, encore et encore, jusqu'à ce qu'ils mémorisent. Mais et si le robot pouvait apprendre en imaginant ? Et si, au lieu de simplement regarder un humain cuisiner, le robot pouvait fermer les yeux, visualiser tout le processus de cuisson dans son esprit, puis déterminer les mouvements musculaires nécessaires pour faire de cette vision une réalité ? C'est la frontière passionnante des « Modèles d'Action du Monde » (World Action Models). Ce sont des cerveaux robotiques spéciaux qui ne se contentent pas de réagir au moment présent ; ils prédisent l'avenir. Ils demandent : « Si je fais cela, à quoi ressemblera le monde dans cinq secondes ? » En apprenant à prédire l'avenir, ils comprennent bien mieux la relation de cause à effet de leurs actions que les robots qui se contentent de copier-coller les mouvements humains. Cependant, il y a un bémol : ces robots intelligents capables de « prédire le futur » ont généralement toujours besoin d'une immense bibliothèque d'enregistrements humains réels pour apprendre à imaginer correctement.

Entrez en scène Vid2WAM, une nouvelle méthode qui agit comme un raccourci magique pour l'entraînement des robots. Les chercheurs ont posé une question audacieuse : « Avons-nous vraiment besoin d'un humain pour nous montrer le futur, ou pouvons-nous simplement demander à une IA vidéo super intelligente de l'inventer pour nous ? » Ils ont pris un modèle vidéo pré-entraîné géant (pensez à une IA qui a regardé des millions d'heures de films et sait comment les objets bougent, tombent ou interagissent) et l'ont utilisé comme « enseignant ». Cet enseignant n'a pas besoin de voir le robot spécifique ; il a juste besoin d'une image de la scène de départ et d'une phrase comme « faire un sandwich ». L'enseignant génère alors une vidéo imaginaire parfaite de ce qui se passe ensuite.

C'est ici que la magie opère. Les chercheurs n'ont pas seulement utilisé ces vidéos imaginaires pour montrer au robot quoi faire ; ils les ont utilisées pour lui apprendre comment penser. Ils ont construit un système qui prend le futur imaginaire de l'enseignant et le décompose en deux leçons. Premièrement, il enseigne au « cerveau futuriste » du robot à prédire les changements visuels (le pain qui grille, le fromage qui fond). Deuxièmement, il utilise un outil de « rétro-ingénierie » ingénieux (appelé Modèle de Dynamique Inverse) pour deviner quels mouvements de bras robotique seraient nécessaires pour créer cette vidéo imaginaire. Cela crée un ensemble de « pseudo-actions » — des suppositions fausses mais hautement éduquées sur ce que le robot devrait faire.

Pour s'assurer que le robot ne soit pas confus par ces fausses suppositions, l'équipe a ajouté un filtre spécial de « réduction de bruit ». Ils ont réalisé que bien que la vidéo de l'enseignant soit excellente, l'outil de « rétro-ingénierie » puisse commettre de petites erreurs. Ils ont donc construit un système qui apprend les règles générales du mouvement à partir de données humaines réelles, tout en ajoutant une petite « couche de correction » personnalisée pour les données fictives. De cette façon, le robot apprend les bases solides grâce aux humains et les compétences créatives et généralisables grâce à l'imagination de l'IA, sans laisser les erreurs imaginaires perturber ses performances dans le monde réel.

Les résultats sont impressionnants. Dans des simulations et des tests en conditions réelles avec des bras robotiques, cette nouvelle méthode a permis aux robots d'apprendre de nouvelles tâches beaucoup plus rapidement et avec beaucoup moins de démonstrations humaines réelles. Face à une tâche totalement nouvelle qu'ils n'avaient jamais vue — comme ramasser un type spécifique de mouchoir ou manipuler un nouvel objet — les robots Vid2WAM ont réussi nettement plus souvent que les méthodes précédentes. Ils pouvaient mieux généraliser, ce qui signifie qu'ils ne se contentaient pas de mémoriser un chemin spécifique ; ils comprenaient l'idée de la tâche. Mieux encore, une fois que le robot a appris de cette manière, il n'avait plus besoin du géant enseignant vidéo ni de l'outil de rétro-ingénierie. Il est devenu un robot compact, rapide et efficace qui peut simplement regarder une scène et agir, portant la « sagesse » de l'IA vidéo à l'intérieur de son propre cerveau. L'article suggère qu'en utilisant ces puissants modèles vidéo comme enseignants hors ligne, nous pouvons apprendre aux robots à être plus créatifs et adaptables sans avoir besoin de filmer des millions d'heures de démonstrations humaines coûteuses.

Résumé Technique : Vid2WAM

Problématique

Les Modèles d'Action de Monde (WAM - World Action Models) améliorent l'apprentissage de politiques robotiques en modélisant conjointement la dynamique visuelle future et les actions, fournissant ainsi une supervision spatio-temporelle dense au-delà des étiquettes sémantiques statiques. Cependant, les WAM actuels sont confrontés à un goulot d'étranglement critique en matière de scalabilité : leur supervision future dépend strictement de démonstrations d'experts coûteuses et spécifiques à la tâche. Cette dépendance limite la généralisation aux distributions couvertes par les trajectoires enregistrées et entrave l'adaptation à de nouvelles tâches où de telles données sont indisponibles. Bien que les modèles de fondation vidéo possèdent des connaissances riches concernant le mouvement des objets et la dynamique à long terme, les méthodes existantes traitent souvent les déroulements générés simplement comme des sources de pseudo-étiquettes d'action via des Modèles de Dynamique Inverse (IDM). Cette approche crée un goulot d'étranglement informationnel, écartant la richesse des connaissances prédictives du processus de génération de vidéo et soumettant la politique aux erreurs provenant d'une récupération d'action imparfaite.

Méthodologie : Vid2WAM

Les auteurs proposent Vid2WAM, un cadre de distillation hors ligne qui transfère les priors de diffusion visuelle d'un grand modèle de fondation vidéo vers un étudiant WAM compact. Le cadre opère en trois étapes :

1. Adaptation de l'Enseignant et Génération de Déroulement

Un grand modèle de diffusion vidéo pré-entraîné (l'« enseignant ») est affiné sur un ensemble limité de vidéos de démonstration spécifiques à l'incarnation. Cette adaptation spécialise l'enseignant aux contraintes physiques et à l'apparence du robot tout en préservant ses capacités générales de prédiction de mouvement. Étant donné une observation initiale et une instruction textuelle, l'enseignant gelé génère des déroulements visuels futurs conditionnés par la tâche ( $\hat{v}_{1:T}$ ).

2. Supervision à Double Canal

Vid2WAM distille la connaissance de l'enseignant dans l'étudiant via deux canaux complémentaires :

Dynamique Visuelle Future : Les déroulements vidéo générés sont décodés en pixels et ré-encodés dans l'espace latent de l'étudiant ( $\hat{z}_{1:T}$ ). Ces latents fournissent une supervision directe pour la branche de prédiction future de l'étudiant, lui permettant d'apprendre l'évolution temporelle de la scène sans dépendre de véritables images futures.
Actions Spécifiques à l'Incarnation : Un Modèle de Dynamique Inverse (IDM), entraîné sur des trajectoires étiquetées par des actions, récupère des pseudo-actions ( $\hat{a}_{1:H}$ ) et des séquences d'états à partir des déroulements générés. Ceux-ci servent de supervision pour la branche de prédiction d'action de l'étudiant.

3. Adaptation Résiduelle Sensible à la Source

Pour traiter le bruit inhérent aux pseudo-actions synthétiques (provenant des artefacts de génération vidéo et des erreurs d'IDM), Vid2WAM introduit des adaptateurs d'action résiduels sensibles à la source.

L'étudiant partage un squelette commun de vidéo et d'action pour les démonstrations réelles et les données pseudo-étiquetées.
Des adaptateurs résiduels légers sont placés avant et après le squelette d'action partagé, avec des paramètres distincts pour les domaines « réel » et « pseudo ».
Ces adaptateurs apprennent des corrections spécifiques à la source autour de la représentation partagée. Lors de l'inférence, seul l'adaptateur du domaine réel est conservé, filtrant efficacement le bruit associé à la distribution des pseudo-actions tout en préservant la connaissance partagée.

Inférence

Au déploiement, le professeur vidéo, l'IDM, la tête de prédiction future et les adaptateurs de source pseudo sont écartés. Le système repose uniquement sur l'étudiant WAM compact, qui prend une observation actuelle et une instruction textuelle pour générer directement des blocs d'actions exécutables, garantissant une inférence à faible latence.

Contributions Clés

Repenser les Sources de Supervision : L'article remet en question l'hypothèse selon laquelle la supervision future pour les WAM doit provenir des trajectoires d'experts de la tâche cible. Il formule un cadre de distillation utilisant les futurs générés par les modèles de fondation vidéo comme supervision directe.
Transfert à Double Canal et Sensible à la Source : Les auteurs introduisent une stratégie qui distille conjointement la dynamique visuelle future et les actions déduites par l'IDM. Crucialement, ils emploient des adaptateurs résiduels pour atténuer l'interférence des pseudo-actions bruitées, permettant au modèle de tirer parti des données synthétiques sans compromettre la robustesse.
Déploiement Efficace : Le cadre démontre que des priors futurs de haute qualité peuvent être distillés hors ligne, permettant à l'étudiant d'atteindre une forte généralisation et une grande efficacité des données tout en maintenant une inférence à faible latence requise pour le contrôle robotique en temps réel.

Résultats Expérimentaux

Les auteurs évaluent Vid2WAM sur des benchmarks de simulation (RoboTwin 2.0, LIBERO, LIBERO-Plus) et sur une plateforme bimanuelle réelle.

Généralisation aux Nouvelles Tâches : Dans le « régime novel » (où aucune trajectoire d'expert n'existe pour les tâches cibles), Vid2WAM surpasse significativement les lignes de base. Sur RoboTwin 2.0, il a amélioré les taux de réussite sur les nouvelles tâches de 9,7 et 12,5 points de pourcentage par rapport à Fast-WAM dans des conditions propres et aléatoires, respectivement. Sur LIBERO, il a atteint le taux de réussite moyen le plus élevé parmi toutes les méthodes.
Efficacité des Données : Dans un régime de faibles données (démonstrations d'experts limitées), Vid2WAM a systématiquement surpassé les modèles VLA pré-entraînés (ex: $\pi0.5$ , Motus) et les autres bases WAM, démontrant une capacité supérieure à apprendre à partir de données réelles rares augmentées par une supervision synthétique.
Robustesse : Vid2WAM a montré une robustesse améliorée face aux perturbations des vues de caméra, des états initiaux du robot, du langage, de l'éclairage et du bruit de fond, particulièrement dans les benchmarks LIBERO-Plus.
Performance en Réel : Sur un robot bi-bras réel, Vid2WAM a exécuté avec succès des tâches inédites (ex: prendre un tube à essai, prendre un tissu) pour lesquelles il n'avait aucune trajectoire étiquetée par des actions réelles, s'appuyant plutôt sur la supervision générée par l'enseignant.
Latence d'Inférence : Le modèle étudiant distillé maintient une latence d'inférence comparable à Fast-WAM (~212ms sur RTX 4090) et est nettement plus rapide que les politiques d'enseignants en ligne ou les modèles plus larges comme Motus.

Signification et Revendications

L'article affirme que Vid2WAM établit un paradigme scalable pour transférer les capacités prédictives des grands modèles multimodaux de fondation vers des politiques robotiques efficaces. En découplant la supervision future de la nécessité d'exhaustives démonstrations de la tâche cible, la méthode permet aux robots de s'adapter à de nouvelles tâches et environnements avec des données réelles limitées. Les auteurs soulignent que leur approche ne nécessite pas de génération vidéo en ligne lors du déploiement, ce qui la rend pratique pour les systèmes robotiques réels. Les résultats suggèrent que les grands modèles pré-entraînés peuvent servir de sources de connaissances hors ligne efficaces, comblant le fossé entre la compréhension visuelle générale et le contrôle robotique spécifique.