MoWM: Mixture-of-World-Models for Embodied Planning via Latent-to-Pixel Feature Modulation

Résumé Technique : MoWM (Mixture-of-World-Models)

1. Problématique (Le Problème)

La planification d'actions pour la robotique incarnée (embodied AI) nécessite de traduire des observations visuelles et des instructions textuelles en actions précises. Deux approches de "modèles de monde" (world models) dominent actuellement, mais chacune présente des lacunes :

• Modèles de monde basés sur les pixels (Pixel-based) : Utilisent la diffusion vidéo pour reconstruire des images détaillées. Bien qu'ils préservent les détails fins, ils génèrent une énorme quantité d'informations redondantes et non pertinentes pour l'action (ex: arrière-plans statiques), ce qui peut "noyer" les indices de mouvement essentiels au contrôle.
• Modèles de monde latents (Latent-based) : Opèrent dans un espace compressé. Ils sont excellents pour capturer la dynamique du mouvement et la structure temporelle, mais ils perdent souvent les détails spatiaux de haute précision nécessaires aux manipulations délicates (ex: saisir un objet précis).

2. Méthodologie (L'Approche)

Les auteurs proposent MoWM, un cadre hybride qui fusionne les forces de ces deux mondes via une modulation de caractéristiques du latent vers le pixel. La méthode se déroule en deux étapes :

Étape 1 : Pré-entraînement indépendant

• Pixel-WM : Un modèle de diffusion (basé sur Stable Video Diffusion) est entraîné pour prédire des séquences vidéo futures conditionnées par du texte et une image initiale. Il fournit des caractéristiques visuelles riches et multi-échelles.
• Latent-WM : Un modèle basé sur un Transformer (utilisant l'encodeur V-JEPA) est entraîné pour prédire les transitions d'états dans un espace latent compressé. Il capture la dynamique globale du mouvement.

Étape 2 : Planification d'actions par fusion (Modulation)

• Fusion des caractéristiques : Les caractéristiques du modèle latent ($\Phi'_{latent}$) et du modèle pixel ($\Phi'_{pixel}$) sont projetées dans un espace de dimension commune, puis concaténées.
• Mécanisme de modulation : Au lieu d'une simple fusion, le modèle utilise une projection linéaire et un mécanisme de résidu apprenable (gating) pour combiner la richesse spatiale du pixel avec la conscience du mouvement du latent. Cela permet de "moduler" les détails du pixel avec le contexte dynamique du latent.
• Décodage d'action : Les caractéristiques fusionnées ($\Phi_{final}$) servent de condition à une Diffusion Policy, qui dénoise un vecteur d'action pour produire la trajectoire robotique finale.

3. Contributions Clés

• Architecture Hybride : Introduction du concept de "Mixture-of-World-Models" qui combine la fidélité spatiale (pixel) et la conscience du mouvement (latent).
• Modulation Latent-to-Pixel : Un mécanisme efficace pour réduire la redondance visuelle sans sacrifier la précision nécessaire à la manipulation.
• Analyse Comparative : Une étude approfondie démontrant que les caractéristiques latentes aident à supprimer le "bruit" visuel des modèles de diffusion classiques.

4. Résultats Expérimentaux

• Benchmark CALVIN : MoWM atteint des performances de pointe (state-of-the-art). Il surpasse les modèles VLA (Vision-Language-Action) et les modèles de monde existants (comme VPP), avec une amélioration notable de 5,7 % à 13,4 % du taux de réussite moyen sur les tâches à long horizon.
• Généralisation : Le modèle montre une robustesse supérieure lors de tests sur des scènes jamais vues (split ABC $\rightarrow$ D).
• Validation en monde réel : Le modèle a été testé avec succès sur une plateforme robotique AgileX pour des tâches complexes comme le pliage de vêtements (cloth folding), prouvant sa viabilité hors simulation.
• Étude d'ablation : Les tests confirment que la fusion par concaténation est plus efficace que l'attention croisée (cross-attention) pour préserver la structure spatiale tout en injectant la dynamique.

5. Signification et Impact

Ce travail est significatif car il propose une solution élégante au compromis entre précision spatiale et efficacité dynamique. En apprenant à filtrer les informations visuelles inutiles grâce à un modèle latent, MoWM permet aux robots de se concentrer sur ce qui compte réellement pour l'exécution d'une tâche. Cela ouvre la voie à des agents robotiques plus capables de gérer des environnements complexes et des manipulations de haute précision de manière autonome.