Résumé Technique : AdaWAM – Faire progresser les Modèles d'Action Mondiaux grâce au Raisonnement Multi-Modal Adaptatif

1. Énoncé du Problème

Les Modèles d'Action Mondiaux (WAMs - World Action Models) sont apparus comme un paradigme prometteur pour l'intelligence incarnée en modélisant explicitement le couplage entre les observations futures et les actions du robot, permettant ainsi aux politiques de raisonner sur la dynamique physique plutôt que de simplement réagir aux états visuels actuels. Cependant, les approches WAM existantes souffrent de deux limitations principales :

1. Manque de Raisonnement Adaptatif : Les méthodes actuelles reposent généralement sur des paradigmes statiques. Les modèles de prédiction conjointe vidéo-action génèrent simultanément les observations visuelles futures et les actions, offrant une prospective physique mais entraînant une latence computationnelle élevée due au co-décodage. Inversement, les modèles de prédiction uniquement par l'action améliorent l'efficacité de l'inférence mais se comportent souvent de manière réactive, peinant lors des étapes de manipulation fines qui nécessitent une anticipation physique précise.
2. Sémantique Textuelle Sous-utilisée : La plupart des WAMs existants traitent le langage simplement comme une description de tâche statique, échouant à exploiter la richesse de la sémantique textuelle pour la compréhension de tâches à long horizon et le guidage par étapes de l'action.

Les auteurs observent que l'exécution de tâches incarnées nécessite différents modes de raisonnement selon les étapes : le raisonnement textuel est crucial pour la reconnaissance de sous-tâches et le guidage de haut niveau lors des transitions de tâches, tandis que le raisonnement visuel est essentiel pour l'anticipation physique lors de manipulations fines (ex: saisie, insertion). Les étapes de mouvement intermédiaires peuvent toutefois souvent être gérées efficacement via un décodage uniquement par l'action. Les modèles actuels manquent de la capacité de basculer dynamiquement entre ces modes, ce qui conduit soit à l'inefficacité, soit à des performances sous-optimales.

2. Méthodologie : AdaWAM

Pour répondre à ces limitations, les auteurs proposent AdaWAM, un cadre de Modèle d'Action Mondial équipé d'un raisonnement multi-modal adaptatif. L'innovation centrale est un Routeur Dynamique léger qui déclenche de manière autonome le raisonnement textuel ou visuel en fonction du contexte d'exécution actuel.

2.1 Pipeline d'Annotation des Données

Pour entraîner le mécanisme adaptatif, les auteurs ont développé un pipeline d'annotation scalable pour générer des étiquettes de raisonnement denses par trame :

• Annotation de Sous-tâche Guidée par Trajectoire : Les trajectoires d'état du robot sont analysées pour extraire des indices physiques (mouvement de l'effecteur terminal, états de la pince) afin de localiser les fenêtres de sous-tâches candidates. Un Modèle de Langage-Vision (VLM) vérifie ensuite les observations visuelles dans ces fenêtres pour identifier les limites de complétion des sous-tâches, produisant des étiquettes conditionnées par le langage.
• Étiquetage de Manipulation Fine Basé sur le Mouvement : Une procédure unifiée analyse les motifs de mouvement (déplacement, orientation, variation locale, activité de la pince) pour distinguer les phases de manipulation fine (saisie, relâchement, ajustement en main) des mouvements grossiers.

2.2 Architecture du Modèle

AdaWAM est construit sur trois composants de base au sein d'un cadre de diffusion latente :

1. DiT Vidéo-Action (Noyau Génératif) : Utilise un Transformer de Diffusion (DiT) pour modéliser la dynamique physique. Il comprend un VideoDiT ($M_\theta$) agissant comme un modèle de monde latent pour prédire les latents visuels futurs, et un ActionDiT ($\pi_\phi$) servant de réseau de politique pour générer des blocs d'actions continus.
2. Module de Raisonnement Textuel : Un modèle de Langage-Vision (VLM) compact qui, lorsqu'il est activé, prédit de manière auto-régressive la séquence de tokens pour la sous-tâche suivante. Cela garantit que le noyau génératif reçoit un conditionnement linguistique temporellement aligné et de grain fin.
3. Routeur Dynamique ($R_\psi$) : Un module léger qui traite le contexte (embeddings visuels, instruction de tâche globale et instruction de sous-tâche actuelle) pour prédire indépendamment deux tokens discrets : <TR> (Raisonnement Textuel) et <VR> (Raisonnement Visuel).
   • Si <TR>=1, le Module de Raisonnement Textuel met à jour l'instruction de la sous-tâche.
   • Si <VR>=1, le Module de Raisonnement Visuel synthétise les perspectives physiques futures (latents visuels futurs).
   • Sinon, le modèle revient par défaut à un décodage uniquement par l'action, plus efficace.

2.3 Stratégie d'Entraînement

L'entraînement suit un pipeline de co-entraînement en deux étapes :

• Étape 1 : Optimisation concurrente du VideoDiT, de l'ActionDiT et du Routeur Dynamique en utilisant un objectif de correspondance de flux en temps continu pour les modèles génératifs et une entropie croisée binaire pour le routeur (supervisé par des étiquettes annotées de manière heuristique).
• Étape 2 : Fine-tuning du Module de Raisonnement Textuel tout en gelant le noyau génératif et le routeur pour éviter l'oubli catastrophique des priors physiques.

2.4 Inférence

Lors du déploiement lors des tests, AdaWAM reconfigure dynamiquement son mode d'inférence pour chaque bloc d'action. Le routeur détermine s'il faut invoquer le module de texte, le modèle de monde visuel, ou les deux. Le prédicteur d'action assemble ensuite un ensemble de conditionnement multi-modal (état actuel, instruction de sous-tâche mise à jour et perspective future optionnelle) pour échantillonner la trajectoire d'action.

3. Principales Contributions

Le papier expose trois contributions majeures :

1. Cadre AdaWAM : Un Modèle d'Action Mondial qui entrelace dynamiquement le raisonnement textuel, le raisonnement visuel et le décodage uniquement par l'action en fonction du contexte d'exécution, dépassant les pipelines statiques.
2. Routage au Niveau du Token : La formulation du routage adaptatif comme un problème de routage au niveau du token, introduisant un routeur dynamique qui active de manière autonome des modes de raisonnement spécifiques pour une prédiction d'action efficace.
3. Validation Empirique : Des expériences approfondies démontrant qu'AdaWAM améliore substantiellement l'efficacité de l'inférence tout en surpassant les politiques incarnées de l'état de l'art dans des tâches simulées et réelles.

4. Résultats Expérimentaux

Les auteurs ont évalué AdaWAM sur trois benchmarks : LIBERO (simulation), RoboTwin 2.0 (simulation) et des tâches réelles utilisant des bras ALOHA et PiPER.

• Performance sur les Tâches à Long Horizon : Sur le benchmark LIBERO, AdaWAM a obtenu la meilleure performance sur le sous-ensemble LIBERO-Long (taux de réussite de 99,1 %), surpassant des bases solides comme $\pi_0$, X-VLA et Fast-WAM. Cela souligne sa capacité à gérer les interactions multi-objets et la planification à long horizon.
• Performance sur les Tâches de Précision : Dans le benchmark RoboTwin 2.0, AdaWAM a atteint le taux de réussite le plus élevé sur les sous-ensemplets de tâches difficiles et dans des environnements propres (93,11 % de réussite globale). Il a notamment surpassé les bases uniquement par l'action dans des tâches nécessitant une prospective physique (ex: StackBowlsThree, PutObjectCabinet).
• Compétence en Monde Réel : Dans des expériences réelles (ex: Clean Up Trash, Wipe Table), AdaWAM a démontré une compétence supérieure par rapport aux méthodes WAM et VLA précédentes, exécutant avec succès des tâches aussi bien fines que de long horizon.
• Efficacité d'Inférence : Tout en maintenant des taux de réussite élevés, AdaWAM a nettement surpassé les VLA basés sur la Chaîne de Pensée (CoT) (comme MM-ACT) en temps d'inférence par étape. Il a atteint une vitesse comparable aux modèles uniquement par l'action (Fast-WAM) mais avec des durées totales de tâche plus courtes grâce à moins d'échecs, validant l'efficacité du raisonnement adaptatif.
• Généralisation : Dans des combinaisons de sous-tâches inédites (ex: recombinaison de tâches connues), les modèles dotés de capacités de raisonnement textuel (AdaWAM, MM-ACT) ont montré une bien meilleure généralisation que les modèles reposant uniquement sur des priors visuels ou d'action.

5. Signification et Revendications

Le papier affirme que la limitation principale des WAM actuels est leur manque de raisonnement multi-modal adaptatif. En observant que différents contextes d'exécution (transitions de tâches vs manipulation fine) nécessitent des modes de raisonnement distincts, AdaWAM comble le fossé entre la haute fiabilité de la prédiction conjointe vidéo-action et l'efficacité de la prédiction uniquement par l'action.

Les auteurs soutiennent qu'AdaWAM représente une étape significative vers l'intelligence incarnée en :

• Préservant les Bénéfices Multi-modaux : Il conserve la prospective physique et la compréhension sémantique des modèles multi-modaux sans la surcharge computationnelle constante.
• Adaptation Sensible au Contexte : Il décide de manière autonome quand "rêver" (raisonnement visuel) et quand "planifier" (raisonnement textuel), optimisant le compromis entre précision et latence.
• Scalabilité : Le pipeline d'annotation et le mécanisme de routage proposés offrent une approche scalable pour entraîner des politiques adaptatives pour des tâches robotiques complexes et à long horizon.

Les auteurs concluent que bien qu'AdaWAM fasse progresser l'efficacité computationnelle et l'adaptabilité du raisonnement, les travaux futurs exploreront l'extension du cadre à d'autres modalités sensorielles (tactile, profondeur) et le développement d'approches d'apprentissage non supervisé ou par renforcement pour le mécanisme de routage afin de permettre un raisonnement véritablement auto-adaptatif.