💻 computer science

Flash-WAM: Modality-Aware Distillation for World Action Models

Flash-WAM est un cadre de distillation par étapes sensible à la modalité qui permet une inférence en temps réel et en une seule étape pour les modèles d'action du monde (World Action Models) en employant des paramétrages de cohérence distincts adaptés aux différents régimes de bruit des flux vidéo et d'action, atteignant ainsi une accélération de 23× tout en préservant des taux de réussite aux tâches élevés.

Auteurs originaux : Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arman Akbari, Ci Zhang, Arash Akbari, Lin Zhao, Yixiao Chen, Weiwei Chen, Xuan Zhang, Geng Yuan, Yanzhi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à effectuer une tâche complexe, comme ramasser une bouteille et la mettre dans une tasse. Pour ce faire, le robot utilise un « Modèle Monde-Action » (WAM - World-Action Model). Considérez ce modèle comme un réalisateur hautement qualifié qui doit faire deux choses simultanément :

Prédire le film du futur : Il imagine à quoi ressemblera la vidéo de la scène dans les prochaines secondes.
Écrire le scénario : Il décide exactement quels mouvements physiques (actions) les bras du robot doivent effectuer pour créer cette vidéo.

Le problème : Le robot est trop lent

Actuellement, ce « réalisateur » est incroyablement minutieux mais douloureusement lent. Pour générer seulement une fraction de seconde de vidéo et un mouvement, le modèle doit exécuter un processus mathématique complexe appelé « débruitage » environ 75 fois (25 fois pour la vidéo, 50 fois pour l'action).

L'analogie : Imaginez essayer de dessiner un tableau parfait en partant d'un gribouillage désordonné, puis en effaçant lentement les erreurs. Faire cela 75 fois pour chaque image signifie qu'il faut 8,1 secondes pour planifier un seul instant minuscule.
La conséquence : Le contrôle en temps réel doit se produire en environ 0,5 seconde. À 8,1 secondes, le robot est essentiellement figé, incapable de réagir au monde qui bouge autour de lui.

L'échec du raccourci : Le « taille unique »

Des scientifiques ont tenté d'accélérer ce processus en utilisant une technique appelée « distillation ». C'est comme prendre un étudiant et l'entraîner à imiter la réponse finale du professeur en seulement une étape au lieu de 75.

Cependant, lorsqu'ils ont essayé d'utiliser le raccourci standard « taille unique » sur la vidéo et l'action en même temps, cela a complètement échoué.

Pourquoi ? La vidéo et les actions sont fondamentalement différentes.
- La vidéo est comme une peinture floue et haute résolution. Elle possède beaucoup de détails mais elle est indulgente ; vous pouvez faire de petites erreurs et toujours reconnaître l'image.
- Les actions sont comme le mouvement de la main d'un chirurgien. Elles sont minuscules, précises et critiques. Si vous déviez d'un millimètre, la tâche échoue.
L'erreur : Le raccourci standard traitait la main du chirurgien de la même manière que la peinture floue. Il utilisait une formule mathématique qui fonctionnait très bien pour la « peinture » (la vidéo), mais qui ignorait complètement le « chirurgien » (l'action). Le résultat ? Le robot a appris à créer de belles vidéos de choses en train de se passer, mais il a oublié comment bouger ses bras. Le taux de réussite est passé de 91 % à 24 %.

La solution : Flash-WAM (Le coach spécialisé)

Les auteurs ont créé Flash-WAM, une nouvelle méthode d'entraînement qui agit comme un coach spécialisé qui sait que la vidéo et l'action nécessitent des styles d'enseignement différents.

Au lieu d'utiliser une seule règle pour les deux, Flash-WAM utilise deux règles différentes :

Pour la Vidéo (La peinture) : Il utilise une méthode conçue pour les données complexes à haut niveau de bruit. Cela permet de garder la vidéo esthétique et stable.
Pour l'Action (La chirurgie) : Il utilise une formule mathématique complètement différente, conçue pour les données de haute précision à faible bruit. Cela garantit que le robot apprend les détails de mouvement minuscules et critiques sans perdre son « signal ».

En adaptant l'entraînement aux besoins spécifiques de chaque « flux », Flash-WAM permet au robot d'apprendre les compétences du professeur en seulement une étape, tant pour la vidéo que pour l'action.

Les résultats : De l'immobilisme au temps réel

L'impact de ce changement est massif :

Vitesse : Le temps nécessaire pour planifier un mouvement est passé de 8,1 secondes à 0,35 seconde (348 millisecondes). C'est une accélération de 23x, permettant enfin au robot de bouger en temps réel.
Performance :
- Dans les simulations informatiques, le robot a conservé son taux de réussite élevé (autour de 85-95 %), alors que la méthode « taille unique » s'est effondrée à 24 %.
- Sur un vrai robot de taille humaine (Unitree G1), Flash-WAM a atteint un taux de réussite de 60 % sur des tâches réelles. En revanche, le simple fait d'accélérer l'ancien modèle sans ce traitement spécial a fait chuter le taux de réussite à 23 %, et l'utilisation du raccourci standard l'a ramené à 43 %.

Résumé

Considérez Flash-WAM comme la prise de conscience que l'on ne peut pas enseigner de la même manière à un marathonien et à un funambule, même s'ils sont tous deux des athlètes. En leur donnant l'entraînement spécifique dont ils ont besoin, le robot peut enfin penser et bouger assez vite pour interagir avec le monde réel en temps réel, sans perdre sa capacité à accomplir sa tâche.

Résumé Technique : Flash-WAM

Problématique

Les modèles d'action mondiaux (World Action Models - WAMs) représentent une direction prometteuse pour l'IA incarnée, générant conjointement de futures trames vidéo et des actions robotiques via des processus de diffusion itératifs. Bien que ces modèles atteignent des performances solides sur les benchmarks de manipulation, leur dépendance à des dizaines d'étapes de débruitage pour les flux vidéo et d'action crée un coût computationnel prohibitif. Par exemple, le modèle de pointe LingBot-VA nécessite 8,1 secondes par bloc sur un GPU NVIDIA L40S, rendant impossible le contrôle en boucle fermée en temps réel.

Bien que la distillation par étapes offre un remède naturel pour accélérer les modèles de diffusion, les méthodes existantes « prêtes à l'emploi » échouent lorsqu'elles sont appliquées au cadre conjoint vidéo-action. Le problème central réside dans les schémas de bruit asymétriques employés par les WAMs :

Les flux vidéo utilisent des décalages de rapport signal sur bruit (SNR) élevés, concentrant la masse d'entraînement à des niveaux de bruit ( $\sigma$ ) élevés.
Les flux d'action utilisent des décalages de SNR plus faibles, répartissant la masse d'entraînement sur toute la plage avec une densité significative à bas $\sigma$ .

Les méthodes de distillation de cohérence standard (ex: LCM) reposent sur une fonction de cohérence unique. Les auteurs démontrent que ces fonctions présentent généralement une disparition quadratique du gradient ( $|b(\sigma)| \propto \sigma^2$ ) lorsque $\sigma \to 0$ . Par conséquent, lorsqu'elles sont appliquées uniformément à un modèle conjoint, le signal de gradient pour le flux d'action (qui s'entraîne à bas $\sigma$ ) s'estompe, entraînant un effondrement de la précision de l'action et des taux de réussite des tâches (passant de >90 % à environ 24 % dans les expériences), même si la reconstruction vidéo reste intacte.

Méthodologie : Flash-WAM

Les auteurs proposent Flash-WAM, un cadre de distillation par étapes sensible à la modalité, conçu pour résoudre cette incompatibilité structurelle. Au lieu d'appliquer une fonction de cohérence unique aux deux modalités, Flash-WAM sélectionne des membres distincts de la famille des fonctions de cohérence adaptés au régime de bruit spécifique de chaque flux.

1. Analyse structurelle de l'échelle du gradient

L'article établit que la force du signal de gradient dans la distillation de cohérence est proportionnelle à $|b(\sigma)|$ , où la fonction de cohérence est définie par $f(x_\sigma, \sigma) = a(\sigma)x_\sigma + b(\sigma)v_\theta$ .

Proposition 1 : Pour toute fonction de cohérence valide, l'échelle de gradient optimale près de $\sigma=0$ est linéaire ( $O(\sigma)$ ), ce qui n'est possible que si $b'(0) \neq 0$ .
Échec du LCM standard : Les paramétrages standards de LCM satisfont $b'(0)=0$ , résultant en une échelle quadratique ( $O(\sigma^2)$ ). Cela est suffisant pour l'entraînement vidéo à haut $\sigma$ , mais catastrophique pour l'entraînement d'action à bas $\sigma$ .

2. Paramétrage sensible à la modalité

Flash-WAM traite cela en assignant des paramétrages différents :

Flux d'action (Régime à bas $\sigma$ ) : Les auteurs dérivent un paramétrage à échelle de gradient linéaire où $a(\sigma) = 1$ et $b(\sigma) = -\sigma$ . Cela garantit que $|b(\sigma)| = \sigma$ , fournissant un signal de gradient linéaire fort à travers toute la distribution d'entraînement à faible bruit du flux d'action.
Flux vidéo (Régime à haut $\sigma$ ) : Pour le flux vidéo, qui se concentre à haut $\sigma$ , les auteurs conservent le paramétrage de Karras de préservation de la variance standard (utilisé dans LCM). Ce choix est motivé par la nécessité de préserver la variance et de maintenir des plages de sortie bornées à des niveaux de bruit élevés, propriétés moins critiques pour les cibles d'action de faible dimension et bornées.

3. Objectif d'entraînement conjoint

Le modèle étudiant est entraîné pour satisfaire la propriété de cohérence pour les deux modalités simultanément en utilisant une perte combinée :
$\mathcal{L} = \mathcal{L}_v + \lambda_a \mathcal{L}_a$
où $\mathcal{L}_v$ et $\mathcal{L}_a$ utilisent leurs fonctions de cohérence respectives spécifiques à la modalité. L'architecture reste un backbone transformer partagé, le paramétrage sensible à la modalité n'affectant que les têtes de perte, laissant le coût de calcul par étape inchangé par rapport à l'enseignant.

Résultats Clés

Le cadre a été instancié sur LingBot-VA, compressant l'inférence à une seule étape pour les deux modalités (1v/1a) ou une étape vidéo et deux étapes d'action (1v/2a).

Accélération : Flash-WAM atteint une accélération de 23×, réduisant la latence par bloc de 8,1 secondes à 348 ms sur un NVIDIA L40S, permettant l'inférence en temps réel (sous le budget de 500 ms).
Benchmarks de simulation :
- RoboTwin 2.0 : À 1v/2a, Flash-WAM atteint 85,5 % de succès (contre 91,2 % pour l'enseignant), comparé à 23,9 % pour le LCM conjoint naïf. À 1v/1a, il conserve 81,4 % de succès.
- LIBERO : À 1v/2a, il atteint un succès moyen de 95,7 % (contre 98,6 % pour l'enseignant), surpassant les bases de distillation uniquement vidéo.
Déploiement en conditions réelles : Évalué sur un robot humanoïde Unitree G1 à travers trois tâches de manipulation.
- L'enseignant non accéléré (3v/10a) a obtenu 66,7 %.
- La réduction des étapes sans distillation (1v/2a) a fait chuter la performance à 40,0 %.
- Le LCM vidéo-seul naïf (1v/2a) a obtenu 43,3 %.
- Flash-WAM (1v/2a) a obtenu 60,0 %, récupérant substantiellement la performance de l'enseignant non accéléré.
Analyse qualitative : Les visualisations montrent que tandis qu'une distillation naïve provoque la disparition ou le flou des objets, Flash-WAM préserve la structure de la scène et l'identité des objets.

Signification et Revendications

L'article affirme que Flash-WAM est le premier cadre capable d'activer avec succès l'inférence en temps réel pour les modèles de diffusion vidéo-action conjoints en traitant un mode de défaillance structurelle inhérent à l'application de la distillation mono-modale à des systèmes multi-modaux asymétriques.

Diagnostic : Le travail identifie que l'incompatibilité entre la distillation de cohérence standard et la diffusion conjointe n'est pas un problème de réglage d'hyperparamètres, mais un déséquilibre fondamental de la disponibilité du signal de gradient causé par des schémas de bruit asymétriques.
Solution : En ancrant la sélection des fonctions de cohérence dans une analyse structurelle de l'échelle du gradient, Flash-WAM fournit une méthode rigoureuse pour préserver le succès des tâches tout en réduisant les étapes de débruitage à une seule par modalité.
Impact : Les résultats démontrent que le contrôle robotique en temps réel utilisant les WAMs est réalisable sur du matériel edge courant sans sacrifier les capacités génératives qui rendent les WAMs supérieurs aux politiques statiques Vision-Language-Action (VLA). Les auteurs soulignent que leur approche préserve la structure d'inférence originale du WAM, contrairement aux méthodes qui suppriment entièrement la génération vidéo.