Riepilogo Tecnico: WEAVER - Un Modello di Mondo Efficace per la Manipolazione Robotica

Definizione del Problema

I modelli di mondo (World Models, WM), o simulatori appresi, promettono grandi risultati per la robotica consentendo la valutazione della policy, il miglioramento e la pianificazione al tempo di esecuzione con un numero limitato di interazioni nel mondo reale. Tuttavia, per sbloccare queste capacità a valle, un WM robotico deve soddisfare simultaneamente tre desiderata spesso in conflitto:

1. Fedeltà: Produrre previsioni fisicamente accurate che correlino con gli esiti del mondo reale.
2. Coerenza: Generare traiettorie coerenti su orizzonti di previsione prolungati, in particolare in presenza di occlusioni e interazioni multistadio.
3. Efficienza: Generare previsioni abbastanza velocemente da supportare la pianificazione in tempo reale e il miglioramento iterativo della policy.

Gli approcci esistenti non riescono a soddisfare tutti e tre i criteri simultaneamente. I modelli di generazione video spesso mancano di efficienza; i modelli latenti (ad esempio, in stile JEPA) possono mancare della decodificabilità necessaria per la valutazione di policy visuomotorie arbitrarie; inoltre, i precedenti WM per la manipolazione (ad esempio, Ctrl-World) operano troppo lentamente per la pianificazione al tempo di esecuzione. Inoltre, la manipolazione robotica introduce complessità uniche, come l'osservazione multi-vista, l'inferenza di oggetti occlusi e la necessità di una previsione dello stato ad alta fedeltà piuttosto che della sola estetica visiva.

Metodologia: Architettura WEAVER

Gli autori propongono WEAVER (World Estimation Across Views for Embodied Reasoning), un modello di mondo multi-vista progettato per raggiungere il trittico di fedeltà, coerenza ed efficienza. L'architettura integra decisioni di design dalla generazione video, dai modelli di mondo latenti e dalle architetture in stile JEPA.

Architettura Core

• Codifica Multi-Vista: WEAVER elabora diverse viste della telecamera (ad esempio, polso ed esterna) insieme agli stati propriocettivi. Utilizza un encoder VAE di Stable Diffusion 3 pre-addestrato per mappare i patch di immagini e i token propriocettivi in uno spazio latente.
• Modello di Dinamica Latente: Il predittore centrale è un transformer 2D che prevede i futuri stati latenti ($\hat{z}_t$) condizionati da:
  • Memoria Sparsa: Contesto a lungo termine ($z_{mem}$) composto da ogni $k$-esimo latente precedente.
  • Storia a Breve Termine: Latenti recenti ($z_{hist}$) che catturano le conseguenze immediate delle azioni.
  • Piano d'Azione: Un blocco di azioni future ($a_t$).
• Obiettivi di Previsione:
  • Previsione Latente: Addestrata tramite Flow Matching per prevedere i futuri latenti. Per migliorare la coerenza a lungo termine, il modello impiega il Diffusion Forcing, che campiona i livelli di rumore indipendentemente tra i futuri timestep.
  • Previsione Propriocettiva: A differenza di alcuni lavori precedenti, WEAVER prevede esplicitamente i futuri stati propriocettivi (posizioni dei giunti e larghezza della pinza), il che è critico per la manipolazione di oggetti deformabili.
  • Teste di Reward e Critic: Una testa di reward leggera ($R$) e una rete critic ($V$) operano direttamente sugli stati latenti e sulle istruzioni linguistiche. Ciò consente la valutazione efficiente di blocchi di azioni senza decodificare le immagini o interrogare modelli visivo-linguistici (VLM) esterni.

Ottimizzazione dell'Addestramento e dell'Inferenza

• Addestramento: Il modello è pre-addestrato sul dataset DROID e perfezionato (fine-tuned) su dati di task specifici. Utilizza i blocchi SPRINT per scartare aggressivamente i token dei patch, migliorando l'efficienza.
• Accelerazione dell'Inferenza:
  • Caching KV: Applicato ai token di memoria e di storia attraverso i passi di denoising per ridurre i costi del passaggio in avanti (forward pass).
  • Rectified Flow: Il modello è post-addestrato con un obiettivo di rectified flow per consentire una generazione di alta qualità in pochi passaggi in avanti (basso Numero di Valutazioni della Funzione, NFE).
  • Rumore Progressivo: Viene utilizzato uno schema di rumore coseno per allocare più budget alle regioni a basso rumore, migliorando la fedeltà.

Applicazioni a Valle

WEAVER è progettato per supportare tre compiti specifici a valle:

1. Valutazione della Policy: Eseguire traiettorie reali registrate in loop aperto all'interno del WM per prevedere i tassi di successo.
2. Miglioramento della Policy: Campionare blocchi di azioni, simularli nel WM e filtrare le traiettorie ad alto vantaggio per distillarle nella policy base ($\pi_{0.5}$).
3. Pianificazione al Tempo di Esecuzione: Utilizzare un approccio "Best-of-N" dove vengono campionati molteplici blocchi di azioni, immaginati ed valutati tramite teste di reward/critic latenti per selezionare l'azione ottimale da eseguire.

Risultati Chiave

Gli autori valutano WEAVER su cinque compiti di manipolazione robotica (Stack Bowls, PnP Bag, PnP Marker, PnP Towel, Pour Beans) utilizzando un robot Franka Emika Panda.

• Fedeltà vs. Efficienza: WEAVER domina il Pareto rispetto al principale baseline, Ctrl-World. Raggiunge punteggi FID e FVD inferiori (indicando una maggiore fedeltà visiva) richiedendo significativamente meno tempo di inferenza (ad esempio, 10–30s rispetto a 30–50s per rollout di 10s per Ctrl-World). WEAVER mantiene un'alta qualità anche a bassi NFE (8–16), mentre la qualità di Ctrl-World degrada significativamente al diminuire dell'NFE.
• Coerenza a Lungo Termine: WEAVER dimostra prestazioni superiori nei rollout a lungo termine (fino a 10s), mantenendo tassi di errore inferiori rispetto ai baseline, in particolare su compiti che coinvolgono occlusioni e oggetti deformabili.
• Valutazione della Policy: Quando utilizzato per valutare le policy, WEAVER-FT (fine-tuned) raggiunge una correlazione di Pearson di $\rho = 0.870$ con i tassi di successo nel mondo reale, superando significativamente i baseline pre-addestrati.
• Miglioramento della Policy: Il fine-tuning del modello di fondazione $\pi_{0.5}$ utilizzando dati sintetici generati da WEAVER (senza alcuna interazione nel mondo reale) migliora i tassi di successo nel mondo reale del 38%. Combinare dati sintetici e reali fornisce un ulteriore miglioramento dell'11% rispetto al solo fine-tuning con dati reali.
• Pianificazione al Tempo di Esecuzione: WEAVER consente la pianificazione al tempo di esecuzione con un velocizzazione di 5–10$\times$ rispetto a Ctrl-World. Questo approccio di pianificazione migliora il tasso di successo nel mondo reale della policy base del 14% (fino al 20% su compiti specifici) selezionando blocchi di azioni ad alto vantaggio.
• Robustezza Out-of-Distribution (OOD): WEAVER mantiene prestazioni elevate sui dataset di task OOD, grazie all'uso di un encoder pre-addestrato invece di apprenderne uno da zero.

Significato e Rivendicazioni

Il paper sostiene che WEAVER rappresenti un passo avanti significativo riuscendo a unificare con successo alta fedeltà, coerenza a lungo termine ed efficienza di inferenza in un unico modello di mondo per la manipolazione robotica.

• Sbloccare le Capacità a Valle: Gli autori sostengono che i precedenti WM fossero limitati da compromessi (ad esempio, alta fedeltà ma inferenza lenta), impedendo il loro uso nella pianificazione in tempo reale o nel miglioramento efficiente della policy. La capacità di WEAVER di soddisfare simultaneamente tutti e tre i desiderata sblocca queste capacità precedentemente inaccessibili.
• Efficienza dei Dati: I risultati suggeriscono che i modelli di mondo ad alta fedeltà possano generare dati sintetici quasi altrettanto efficaci dei costosi dati del mondo reale per il miglioramento della policy, riducendo potenzialmente la dipendenza da un'estesa interazione nel mondo reale.
• Praticità: Raggiungendo velocità di inferenza compatibili con i vincoli in tempo reale (tramite rectified flow e caching KV), WEIVER rende la pianificazione al tempo di esecuzione basata su modelli di mondo una realtà pratica per i robot fisici, piuttosto che solo un concetto teorico.

Gli autori riconoscono i limiti, tra cui l'osservabilità parziale (mancanza di sensazione tattile), le sfide con la dinamica complessa degli oggetti deformabili e l'attuale restrizione alla pianificazione a breve orizzonte a causa della latenza. Tuttavia, essi pongono WEAVER come un nuovo standard per la modellazione del mondo scalabile, efficiente ed efficace.