Résumé Technique : GlanceWAM – Imagination Éparse à l'Échelle du Temps de Test pour les Modèles Monde-Action

1. Énoncé du Problème

Les modèles Monde-Action (WAM) existants sont confrontés à un dilemme fondamental « vitesse–succès » dans la manipulation robotique. Les approches actuelles couplent généralement la prédiction visuelle future (imagination) de manière synchrone avec le décodage d'actions à haute fréquence. Ce couplage étroit entraîne deux coûts critiques :

1. Latence Prohibitive : Générer des trames vidéo denses et multi-étapes au rythme de contrôle (par exemple, toutes les 48 ms) nécessite un échantillonnage de diffusion coûteux, ce qui conduit à des latences d'inférence de 1,1 à 3,8 secondes par bloc (chunk), dépassant ainsi les budgets de contrôle en temps réel.
2. Dégénérescence de l'Horizon : Pour maintenir la vitesse, les modèles restreignent souvent la prédiction à la courte durée d'un bloc d'action (par exemple, 0,8 s). Cet horizon quasi statique échoue à capturer une dynamique de scène significative, provoant l'effondrement de la modélisation du monde en une simple reconstruction d'observation triviale.

Inversement, les approches qui abandonnent l'imagination visuelle au moment du test pour atteindre des vitesses en temps réel privent les politiques en aval d'une prospective visuelle explicite, limitant leur capacité à planifier des tâches à long horizon. Le papier postule que ce dilemme est un artefact d'un couplage synchrone plutôt qu'une limitation intrinsèque de la prospective visuelle.

2. Méthodologie : GlanceWAM

GlanceWAM introduit un cadre qui découple l'imagination visuelle du contrôle en temps réel au sein d'un unique Transformer de Diffusion Vidéo (DiT) unifié. L'innovation centrale est la génération de prospective éparse et asynchrone exécutée hors du chemin critique de contrôle.

2.1 Architecture à Double Échelle Temporelle

Le système opère sur deux échelles temporelles distinctes :

• Horloge Lente (Imagination) : Un « proposant » asynchrone jette un regard vers l'avenir environ toutes les 3 secondes ($H_f \approx 3,0$ s) pour générer une seule trame de prospective latente représentant un état futur lointain. Cette génération se produit en arrière-plan (par exemple, sur des processeurs parallèles) et ne bloque pas la boucle de contrôle.
• Horloge Rapide (Contrôle) : Une tête d'action décode des blocs d'actions au rythme de contrôle (48 ms par bloc) purement dans l'espace latent. Elle consomme directement le latent de prospective pré-généré, sans décodage en pixels RGB bruts, garantissant une exécution à faible latence.

2.2 Architecture Unifiée Monde-Action Latente

Le modèle utilise un squelette DiT partagé et une tête d'action par flow-matching.

• Fenêtre d'Entraînement à Trois Rôles : Les séquences d'entraînement contiennent trois entrées visuelles distinctes :
  1. Historique d'Observation ($o_{\le t}$) : Contexte visuel propre.
  2. Cible Future Bruitée ($x_{t+H_f}$) : Supervise la dynamique générative directe du squelette vidéo.
  3. Condition de Prospective Propre ($x_{t+u}$) : Un guide visuel imposé par l'enseignant à un décalage intermédiaire aléatoire $u \sim U(0, H_f]$, utilisé pour conditionner la politique d'action.
• Masque d'Attention Non-Interférent : Pour éviter la fuite d'informations (où les jetons futurs contaminent les encodages d'observation ou où la génération de raccourcis repose sur la copie de la prospective), les auteurs implémentent un masque de type prefix-LM structuré à 3 classes. Cela garantit que les requêtes d'observation n'interrogent que les observations, que les requêtes futures interrogent les observations et les cibles futures (mais pas la prospective), et que les requêtes de prospective n'interrogent qu'elles-mêmes et les observations.
• Encodage Causal à Deux Passes : Une stratégie d'encodage VAE à deux passes est employée pour isoler strictement le latent de prospective des informations futures lors de la compression, garantissant l'intégrité causale.

2.3 Co-entraînement Robuste à la Péremption

Puisque la prospective est générée une fois toutes les 3 secondes mais réutilisée pour plusieurs blocs d'action de 0,8 seconde, l'écart temporel ($\Delta$) entre la prospective et l'action actuelle décroît au fil du temps.

• Entraînement avec Décalage Aléatoire : Le modèle est entraîné avec un conditionnement temporel explicite, où la tête d'action reçoit l'écart exact $\Delta$ via des plongements temporels sinusoïdaux. Cela apprend à la politique à suivre la prospective visuelle indépendamment de la « péremption » du guide.
• Extraction Visuelle Multi-Couches : La tête d'action effectue une attention croisée sur des représentations concaténées et regroupées provenant de quatre couches de transformeurs espacées uniformément (5, 12, 19, 26), combinant les détails spatiaux de bas niveau avec les destinations sémantiques de haut niveau.

2.4 Inférence Asynchrone dans l'Espace Latent

Au moment du test, le latent de la prospective ($\hat{z}_{la}$) est généré via un échantillonneur de flux ODE et conservé entièrement dans l'espace latent normalisé du VAE causal. Il n'est jamais décodé en pixels RGB. La tête d'action se conditionne sur ce jeton latent et sur l'écart décroissant $\Delta$, permettant d'amortir le surcoût de l'échantillonnage vidéo sur plusieurs cycles de contrôle (environ 4 blocs par prospective).

3. Résultats Clés

Évalué sur le benchmark de cuisine RoboCasa (24 tâches) et la suite LIBERO, GlanceWAM démontre une performance et une efficacité supérieures :

• RoboCasa Kitchen : Atteint un taux de succès moyen de 72,2 % en utilisant seulement 50 démonstrations par tâche. Cela surpasse la politique Cosmos synchrone (67,1 %) et le co-entraînement sans imagination (64,4 %).
• LIBERO : Atteint un succès moyen de 99,0 % sur quatre suites, égalant la saturation des méthodes les plus performantes.
• Vitesse d'Inférence : Exécute le décodage d'action en 48 ms par bloc sur un seul GPU NVIDIA A100. C'est 24 fois plus rapide que les bases synchrones (qui varient de 1133 ms à 3812 ms) tout en maintenant des taux de succès supérieurs ou comparables.
• Efficacité : Le modèle converge rapidement, nécessitant seulement 10k étapes d'entraînement sur RoboCasa et 15k sur LIBERO, soit nettement moins que les bases typiques (60k–100k+).
• Robustesse : La performance reste stable (71,2 %–7,15 %) même en réduisant l'échantillonneur de prospective de 10 étapes à 1 étape, indiquant que la politique repose sur la disposition spatiale à basse fréquence plutôt que sur la fidélité visuelle à haute fréquence.

4. Signification et Revendications

Le papier affirme que GlanceWAM résout le dilemme vitesse–succès des modèles monde-action en démontrant que :

1. La Prospective Visuelle n'est Pas Intrinsèquement Lente : En découplant les échelles temporelles de l'imagination et de l'exécution, les modèles peuvent atteindre une réactivité en temps réel sans sacrifier les bénéfices de la planification à long horizon.
2. L'Espace Latent est Suffisant : La prospective visuelle explicite ne nécessite pas de décodage en pixels bruts ; le conditionnement direct sur des représentations latentes est suffisant pour un contrôle de haute performance et élimine un surcoût de calcul important.
3. L'Exécution Asynchrone est Viable : Le conditionnement par la prospective reste porteur de causalité et robuste même lorsque le guide visuel est « périmé » (généré plusieurs secondes auparavant), à condition que la politique soit entraînée pour gérer des décalages temporels variables.
4. L'Imagination Éparse est Efficace : Générer une seule trame de prospective quelques secondes dans le futur est plus efficace pour le succès des tâches que la génération de vidéo dense à court horizon, car cela fournit la destination spatiale (« où aller ») requise pour la manipulation.

Ce travail établit un nouvel état de l'art pour les modèles monde-action, prouvant qu'une prospective visuelle éparse et asynchrone peut offrir à la fois un succès élevé aux tâches et des vitesses d'inférence en temps réel.