Résumé Technique : RepWAM – Modélisation de l'Action Mondiale avec Représentation

1. Énoncé du Problème

Les modèles d'action mondiale (World Action Models - WAM) visent à combler le fossé entre la prédiction passive du futur et le contrôle de robots incarnés en apprenant un espace latent unique qui prévoit la dynamique visuelle et déduit les actions robotiques nécessaires pour les réaliser. Cependant, les WAM actuels font face à deux limitations critiques dans la conception de leur représentation :

1. Déficiences de la Représentation Visuelle : Les WAM existants héritent généralement de tokeniseurs vidéo provenant de modèles de génération de vidéo pré-entraînés (ex. : WAN, VQ-VAE). Ces tokeniseurs sont optimisés pour la reconstruction de pixels, consacrant la capacité latente à l'apparence de bas niveau (textures de l'arrière-plan) plutôt qu'aux sémantiques pertinentes pour la tâche (identité des objets, relations spatiales, indices d'interaction). Par conséquent, la modélisation du monde conditionnée par des instructions est mal ancrée, car les objectifs linguistiques doivent être déduits d'un espace latent dominé par les variations d'apparence.
2. Découplage Action-Visuel : Les latents visuels et les commandes motrices résident dans des espaces disjoints. Cela force un modèle de dynamique inverse (IDM) à combler un écart modal important à chaque étape, empêchant l'expert d'action de lier efficacement les commandes motrices au contenu de la scène.

Les auteurs postulent que la fidélité des WAM est limitée par ces espaces latents et posent la question : De quel type de représentation un modèle d'action mondiale a-t-il réellement besoin ?

2. Méthodologie : RepWAM

Le papier propose RepWAM, un WAM centré sur la représentation, construit sur un Tokeniseur Visuel-Action de Représentation (RepViTok). Le cadre se compose de trois composants fondamentaux :

A. Tokeniseur Visuel-Action de Représentation (RepViTok)

RepViTok aligne les latents visuels avec un modèle de fondation visuelle gelé et induit des tokens d'action latents comme des transitions au sein de cet espace sémantique partagé.

• Tokenisation Visuelle : Un auto-encodeur Vision Transformer (ViT) traite les observations visuelles. Contra[ment aux] tokeniseurs standards, il est supervisé par un double objectif :
  1. Perte de Reconstruction : Combine les pertes $L_1$, perceptuelles et adverses pour assurer la fidélité des pixels.
  2. Perte d'Alignement de Caractéristiques : Tire les latents vidéo vers un modèle de fondation visuelle gelé (ex. : Encodeur de Perception) via une projection linéaire. Cela garantit que l'espace latent capture les sémantiques de haut niveau (identité des objets, interactions) plutôt que seulement l'apparence de bas niveau.
• Tokenisation d'Action Latente : En s'appuyant sur les tokens visuels alignés, un Tokeniseur d'Action Latente (LAT) apprend des tokens d'action qui représentent les transitions entre les états visuels. Il couple un Modèle de Dynamique Inverse (IDM) et un Modèle de Dynamique Directe (FDM) :
  • L'IDM compresse la transition entre les cadres latents consécutifs ($z_t, z_{t+1}$) en une action latente compacte $\ell_t$.
  • Le FDM réalise $\ell_t$ sous la forme d'une carte de transport (acheminement du contenu visuel) et d'un résidu, reconstruisant le prochain latent visuel.
  • Cette conception garantit que les actions latentes sont définies comme des transformations entre des états visuels sémantiques, ce qui les rend transférables entre différentes formes d'incarnation.

B. Modèle d'Action Mondiale Causal

RepWAM pré-entraîne un transformeur de diffusion causal pour modéliser conjointement les futurs états visuels et les actions latentes sous conditionnement linguistique.

• Architecture : Le modèle utilise un masque de causalité par bloc où les tokens visuels et d'action partagent les poids d'attention mais utilisent des réseaux de propagation avant (FFN) spécifiques à chaque modalité.
• Objectif d'Entraînement : Le modèle est entraîné à l'aide d'un objectif de correspondance de flux conditionnel (conditional flow-matching). Il échantillonne un segment de latents visuels et de paires d'actions latentes, en les interpolant avec un bruit gaussien. Le réseau régresse la vitesse cible pour prédire simultanément le prochain état visuel et l'action latente correspondante.
• Adaptation : Après un pré-entraînement sur de larges données vidéo-action, le modèle est adapté à des trajectoires de robots réels pour la manipulation en boucle fermée.

3. Contributions Clés

1. Tokenisation Visuelle-Action Sémantique : L'introduction de RepViTok, qui aligne les latents visuels avec un modèle de fondation et apprend les actions latentes comme des transitions au sein de cet espace sémantique, répondant à la nature « superficielle » et « découplée » des représentations WAM existantes.
2. Cadre de Modélisation Conjointe : Une architecture unifiée qui pré-entraîne un transformeur de diffusion causal pour prévoir conjointement les futurs états visuels et les actions latentes, suivi d'une adaptation au contrôle de robots réels.
3. Validation Empirique : Évaluation complète sur des tâches de manipulation bimanuelle réelle et sur le benchmark de simulation RoboTwin 2.0, démontrant que l'alignement sémantique améliore à la fois la prédiction de la dynamique visuelle et l'exécution en boucle fermée.

4. Résultats Expérimentaux

Les auteurs ont évalué RepWAM (échelles de 1,3B et 5B paramètres) contre des bases telles que $\pi_{0.5}$, Motus et Lingbot-VA.

• Manipulation Réelle (Franka Dual-Arm) :
  • Sur des tâches comme « Pick the fruit » (Prendre le fruit), « Push the drawer » (Pousser le tiroir) et « Insert the tube » (Insérer le tube), RepWAM-5B a atteint des taux de réussite de 60%, 80% et 60% respectivement.
  • Ces résultats surpassent $\pi_{0.5}$ (de 10 à 50 points de pourcentage) et Lingbot-VA (de 10 à 20 points de pourcentage), particulièrement sur les tâches à long horizon et de précision fine où une dynamique visuelle cohérente est cruciale.
• Benchmarks de Simulation (RoboTwin 2.0) :
  • Repwem-5B a obtenu 89,3% sur les tâches Faciles (Easy) et 88,4% sur les tâches Difficiles (Hard), surpassant la moyenne de 50 tâches de $\pi_{0.5}$ et Motus.
  • Notamment, RepWAM a été entraîné à partir de zéro sans hériter de poids de génération de vidéo pré-entraînés, tout en restant compétitif face à des modèles comme Lingbot-VA qui utilisent un tel pré-entraînement.
• Études d'Ablation :
  • Conception du Tokeniseur : Remplacer le VAE standard de WAN2.2 par RepViTok a amélioré le score en boucle ouverte (OLS) et les taux de réussite sur robot réel, confirmant que l'alignement sémantique est critique pour le respect des instructions.
  • Entraînement de l'Action Latente : Une approche en « deux étapes » (pré-entraînement sur les actions latentes, puis adaptation au contrôle du robot) a nettement surpassé la « prédiction conjointe » ou l'entraînement sans actions latentes, validant l'utilité des actions latentes comme représentation intermédiaire.
  • Guidage sans Classificateur (CFG) : Contrairement aux modèles de génération de vidéo, RepWAM a atteint des performances optimales avec une échelle de CFG de 1,0 (pas d'extrapolation), suggérant que l'espace sémantique est suffisamment robuste pour réduire la dépendance au CFG.

5. Signification et Revendications

Le papier affirme que la tokenisation visuelle-action de représentation est une base prometteuse pour les modèles d'action mondiale. En ancrant les latents visuels et d'action dans une représentation sémantique partagée, RepWAM démontre que :

• La génération explicite du futur n'est pas strictement nécessaire pour l'apprentissage de politiques si la représentation capture les sémantiques pertinentes pour la tâche.
• L'alignement sémantique permet aux WAM d'atteindre une forte généralisation et des performances en boucle fermée même sans hériter de backbones de génération de vidéo pré-entraînés.
• Cette approche tend vers des politiques robotiques généralistes en créant un espace de représentation où l'action est comprise comme une transformation d'états sémantiques plutôt que comme une commande motrice déconnectée.

Les auteurs concluent que la conception de l'espace latent est fondamentale pour la capacité des agents incarnés, et que RepWAM offre une étape vers des manipulations robotiques plus interprétables, transférables et efficaces. Des travaux futurs sont suggérés pour étendre le pré-entraînement au-delà des vidéos spécifiques à la robotique pour inclure des vidéos internet et égocentrées humaines à grande échelle.