MoWM: Mixture-of-World-Models for Embodied Planning via Latent-to-Pixel Feature Modulation

Riassunto Tecnico: MoWM (Mixture-of-World-Models)

1. Il Problema (Problem Statement)

La pianificazione di azioni in robotica (embodied planning) richiede che i modelli generino movimenti precisi partendo da osservazioni visive e istruzioni linguistiche. Attualmente, la ricerca si divide in due approcci principali, entrambi con limiti intrinseci:

• Modelli basati su Pixel (Pixel-based World Models): Utilizzano modelli di diffusione video per ricostruire scene dettagliate. Sebbene preservino i dettagli visivi fini, contengono un'enorme quantità di ridondanza e informazioni irrilevanti (es. sfondi statici) che possono confondere il processo di decodifica delle azioni.
• Modelli Latenti (Latent World Models): Operano in spazi compressi per apprendere la dinamica del movimento. Sono ottimi per catturare il moto, ma la compressione eccessiva porta alla perdita di dettagli spaziali fini, critici per manipolazioni di precisione (es. afferrare piccoli oggetti).

Il problema centrale è quindi il bilanciamento tra la precisione spaziale (pixel) e la consapevolezza del movimento (latente).

2. Metodologia (Methodology)

Gli autori propongono MoWM, un framework ibrido che fonde le rappresentazioni di due diversi tipi di modelli del mondo attraverso un meccanismo di modulazione. Il processo si divide in due fasi:

Fase 1: Pre-addestramento dei modelli (Pre-training Stage)
Vengono addestrati due modelli indipendenti condizionati dal testo:

1. Pixel-WM: Basato su Stable Video Diffusion (SVD), addestrato per generare sequenze video future dettagliate.
2. Latent-WM: Basato su un'architettura Transformer (utilizzando l'encoder ViT-g di V-JEPA 2), addestrato per prevedere le transizioni di stato in uno spazio latente compresso, focalizzandosi sulla dinamica temporale.

Fase 2: Integrazione e Pianificazione (Action Planning Stage)
In questa fase, i modelli vengono congelati e i loro output vengono combinati per guidare un decodificatore di azioni:

• Estrazione e Allineamento: Vengono estratti i feature map multi-scala dal Pixel-WM e i token di stato dal Latent-WM. Entrambi vengono proiettati in una dimensione comune $D$.
• Fusione (Feature Modulation): Invece di una semplice media, MoWM utilizza la concatenazione dei feature latenti e pixel, seguita da una proiezione lineare.
• Meccanismo Residuo: Per non perdere i dettagli fini, viene applicato un meccanismo di gating: $\Phi_{final} = W_{gate}\Phi_{fused} + \Phi'_{pixel}$. Questo permette al modello di usare il contesto dinamico del latente per "modulare" i dettagli del pixel.
• Decodifica dell'Azione: I feature fusi alimentano una Diffusion Policy, che agisce come un denoiser per trasformare i feature visivi in sequenze di azioni eseguibili.

3. Contributi Chiave (Key Contributions)

• Architettura Ibrida: L'introduzione di un framework che combina i vantaggi della ricostruzione pixel-level con la consapevolezza del moto del mondo latente.
• Modulazione Latente-su-Pixel: Un metodo efficace per ridurre il rumore visivo (informazioni irrilevanti) senza sacrificare la precisione spaziale.
• Analisi Comparativa: Uno studio approfondito che dimostra come i feature latenti aiutino a superare i limiti dei modelli puramente basati su pixel (che spesso generano frame statici o privi di dinamismo).

4. Risultati (Results)

• Benchmark CALVIN: MoWM ha raggiunto prestazioni State-of-the-Art (SOTA), superando i modelli VLA (Vision-Language-Action) e i modelli basati su video esistenti. Ha mostrato un miglioramento significativo (fino al 12.7%) nelle task a lungo termine (long-horizon), dimostrando una migliore capacità di pianificazione sequenziale.
• Validazione nel Mondo Reale: Il modello è stato testato con successo su una piattaforma robotica AgileX per compiti complessi come il piegamento di tessuti (cloth folding), confermando la sua robustezza oltre la simulazione.
• Ablazione: Gli esperimenti hanno confermato che la concatenazione dei feature è superiore all'attenzione incrociata (cross-attention) per questo compito, poiché preserva meglio la struttura spaziale originale del pixel.

5. Significato (Significance)

Il lavoro di MoWM è significativo perché sposta il paradigma della pianificazione robotica: non si tratta più solo di "vedere" o "immaginare" il futuro, ma di filtrare intelligentemente l'informazione visiva per estrarre solo ciò che è rilevante per l'azione. Questo approccio offre una via promettente per creare robot capaci di manipolazioni precise e complesse in ambienti dinamici e non strutturati, riducendo il gap tra la generazione di video (estetica) e la pianificazione motoria (funzionalità).