Grounded World Model for Semantically Generalizable Planning

Titolo: Grounded World Model for Semantically Generalizable Planning

Autori: Quanyi Li, Lan Feng, Haonan Zhang, et al.

1. Il Problema: Generalizzazione Semantica nei VLA

Il lavoro affronta una limitazione fondamentale degli attuali modelli Vision-Language-Action (VLA) utilizzati per il controllo robotico. Sebbene i VLA siano progettati per ereditare la conoscenza semantica dai modelli fondazionali pre-addestrati (VLM), spesso falliscono nella generalizzazione semantica.

• Il limite attuale: I VLA tendono a memorizzare (overfitting) le istruzioni e le configurazioni visive specifiche del set di addestramento. Quando si trovano di fronte a nuovi segnali visivi o espressioni di riferimento (referring expressions) non visti durante l'addestramento, anche se le azioni motorie richieste sono state dimostrate, i VLA falliscono.
• Il problema dei World Model: I modelli del mondo (World Models) tradizionali per il controllo MPC (Model Predictive Control) prevedono futuri stati in uno spazio latente e li confrontano con un'immagine di obiettivo. Tuttavia, ottenere un'immagine di obiettivo specifica prima dell'esecuzione è difficile, specialmente in nuovi ambienti, e l'interazione tramite immagini è meno intuitiva rispetto al linguaggio naturale.
• La sfida: Come costruire un sistema di pianificazione che possa comprendere istruzioni linguistiche complesse e generalizzare a nuovi contesti visivi senza perdere la capacità di eseguire le azioni motorie dimostrate?

2. Metodologia: Grounded World Model (GWM)

Gli autori propongono il Grounded World Model (GWM), un approccio che integra la pianificazione MPC in uno spazio latente allineato visione-linguaggio, permettendo di specificare gli obiettivi tramite istruzioni naturali.

Architettura e Funzionamento

1. Spazio Latente Allineato: Il GWM opera nello spazio latente di un modello di recupero multimodale pre-addestrato, Qwen3-VL-Embedding. Questo modello può codificare immagini, video e testo in uno spazio condiviso dove è possibile calcolare la similarità (cosine similarity).
2. Pianificazione MPC:
   • Proposta di Traiettorie: Invece di generare nuove azioni da zero, il sistema recupera candidati di traiettorie dal dataset di addestramento utilizzando un approccio K-Nearest Neighbors (KNN) basato sulle posizioni congiuntuali attuali.
   • Predizione del Futuro: Per ogni candidato di traiettoria, il GWM (un modello transformer addestrato da zero) predice l'embedding del futuro stato (outcome) nello spazio latente del modello fondazionale.
   • Punteggio (Scoring): L'obiettivo è definito da un'istruzione di linguaggio naturale ($\ell$). Il sistema codifica questa istruzione in un embedding $z_g$. La traiettoria selezionata è quella il cui embedding futuro predetto ($z_t$) massimizza la similarità coseno con $z_g$.
3. Tokenizzazione delle Azioni basata sul Rendering (RAT):
   • Un contributo chiave è la capacità di rappresentare le azioni robotiche come immagini. Utilizzando il modello URDF del robot e i parametri della camera, le sequenze di azioni (posizioni congiuntuali) vengono renderizzate in immagini.
   • Questo permette di utilizzare lo stesso encoder visivo del modello fondazionale per codificare sia lo stato osservato che le azioni proposte, senza introdurre parametri appresi aggiuntivi per le azioni. Questo rende il sistema agnostico rispetto all'effettivo corpo del robot (embodiment-agnostic).

Vantaggi Chiave

• Nessun Aggiornamento dei Pesi del Fondamentale: Il modello fondazionale (Qwen3-VL) rimane congelato. Solo il GWM (il predittore di transizione) viene addestrato. Questo preserva la conoscenza del mondo e la capacità di comprensione semantica originale del modello.
• Separazione dei Compiti: La generazione delle azioni (recupero) è disaccoppiata dalla comprensione semantica (punteggio), evitando il "dimenticare la conoscenza" (catastrophic forgetting) tipico del fine-tuning end-to-end dei VLA.

3. Contributi Chiave

1. GWM-MPC: Un nuovo framework VLA che utilizza un modello del mondo "grounded" (ancorato alla semantica) in uno spazio latente visione-linguaggio, permettendo la pianificazione basata su istruzioni testuali invece che su immagini di obiettivo.
2. Benchmark WISER (World-knowledge Integrated Semantic Embodied Reasoning):
   • Un nuovo benchmark creato per valutare la generalizzazione semantica.
   • Composto da 24 categorie di conoscenza del mondo (numeri, cibo, animali, ecc.).
   • Include 288 task di addestramento e 288 task di test.
   • Cruciale: I task di test utilizzano segnali visivi e espressioni di riferimento mai visti durante l'addestramento, ma le azioni motorie necessarie sono già state dimostrate nel set di addestramento. Questo testa la capacità di generalizzare la semantica senza dover imparare nuove azioni.
3. Tokenizzazione delle Azioni (RAT): Un metodo training-free e embodiment-agnostic per convertire le azioni robotiche in rappresentazioni visive, facilitando l'uso di encoder visivi pre-addestrati.

4. Risultati Sperimentali

I risultati sono stati valutati sul benchmark WISER, confrontando GWM-MPC con lo stato dell'arte (SOTA) dei VLA (es. InstructVLA, SmolVLA, $\pi_0$, GR00T-N1.6, ecc.).

• Generalizzazione Semantica:
  • VLA Tradizionali: Hanno mostrato un fallimento nella generalizzazione. Sebbene abbiano raggiunto un successo del 90% sui task di addestramento (overfitting), il loro successo sui task di test (con nuovi segnali visivi e linguistici) è crollato a una media del 22%.
  • GWM-MPC: Ha raggiunto un tasso di successo del 87% sui task di test, dimostrando una capacità eccezionale di generalizzare a nuovi segnali visivi e istruzioni linguistiche, pur utilizzando le stesse azioni motorie dimostrate.
• Generalizzazione Cross-Embodiment:
  • Grazie alla RAT, GWM-MPC è stato testato su un robot diverso (xArm6) rispetto a quello usato per l'addestramento (Franka Panda), con spazi di azione e cinematiche differenti.
  • Il sistema ha mantenuto un successo del 83% sui task di test senza alcun ri-addestramento, dimostrando una generalizzazione zero-shot tra corpi robotici diversi.
• Efficienza e Robustezza:
  • L'addestramento richiede solo 20 ore GPU.
  • Studi di ablazione confermano che le prestazioni sono limitate principalmente dalla capacità del modello fondazionale (Qwen3-VL-Embedding) di comprendere i video futuri, non dal metodo di pianificazione stesso.

5. Significato e Implicazioni

Questo lavoro dimostra che l'approccio end-to-end per i VLA (fine-tuning massivo di VLM su dati robotici) porta spesso a una perdita di generalizzazione semantica a causa dell'overfitting e del "dimenticare" la conoscenza pre-addestrata.

• Nuovo Paradigma: Propone di utilizzare i modelli fondazionali come "oracoli" di valutazione (scoring) fissi, mentre si apprende solo la dinamica di transizione (world model) in uno spazio latente compatibile.
• Scalabilità: L'approccio è scalabile perché non richiede di ri-addestrare i pesi del modello linguistico/visivo per ogni nuovo robot o dominio, ma sfrutta la conoscenza esistente per la pianificazione.
• Futuro: Indica che il miglioramento delle prestazioni future dipenderà dal perfezionamento dei modelli fondazionali multimodali (es. Qwen3-VL) con dati robotici specifici, piuttosto che dall'architettura del VLA stesso.

In sintesi, il Grounded World Model rappresenta un passo avanti significativo verso robot capaci di comprendere e pianificare in ambienti complessi e non visti, superando i limiti attuali dei modelli VLA basati su fine-tuning.