DreamPlan: Efficient Reinforcement Fine-Tuning of Vision-Language Planners via Video World Models

1. Il Problema

La manipolazione robotica, in particolare quella di oggetti deformabili (come tessuti, corde e giocattoli molli), richiede un ragionamento semantico sofisticato e una comprensione profonda della fisica. I moderni Modelli Vision-Language (VLM) possiedono forti capacità di ragionamento semantico e possono agire come pianificatori "zero-shot" (senza addestramento specifico). Tuttavia, soffrono di una grave mancanza di grounding fisico: non riescono a prevedere accuratamente come gli oggetti reagiranno a contatti, forze e gravità.
Questo divario porta a errori cumulativi e bassi tassi di successo quando i VLM vengono applicati a compiti complessi nel mondo reale.
Le soluzioni tradizionali di Reinforcement Learning (RL) per adattare i VLM richiedono enormi quantità di interazioni nel mondo reale, che sono proibitive in termini di costi, sicurezza e efficienza del campione. Inoltre, i simulatori fisici ad alta fedeltà per oggetti deformabili sono difficili da costruire e soffrono di un ampio divario "sim-to-real".

2. Metodologia: DreamPlan

DreamPlan è un framework innovativo che adatta i pianificatori VLM alla fisica del mondo reale attraverso un fine-tuning offline basato su modelli di mondo video. Il processo si articola in tre fasi principali:

A. Pianificatore VLM e Raccolta Dati Esplorativi

• Viene utilizzato un VLM pre-addestrato (es. Qwen3-VL) come pianificatore zero-shot.
• Invece di richiedere dimostrazioni umane costose, il VLM zero-shot viene utilizzato per raccogliere dati di interazione esplorativa nel mondo reale. Sebbene questi dati siano dominati da tentativi falliti o sub-ottimali, contengono segnali ricchi di causalità "azione-risultato".
• L'azione è rappresentata in modo discreto tramite punti chiave (keypoints): il modello seleziona un punto di presa e un punto di destinazione nell'immagine.

B. Apprendimento del Modello di Mondo Video (World Model)

• I dati esplorativi raccolti vengono utilizzati per addestrare un modello di mondo video condizionato all'azione ($W_\phi$).
• Architettura: Il modello è basato su un backbone di diffusione video pre-addestrato (CogVideoX-5B).
• Condizionamento: Per insegnare al modello la fisica della deformazione, le configurazioni cinematiche del braccio robotico corrispondenti alle azioni vengono renderizzate in video. Questi video renderizzati vengono iniettati nel modello di diffusione tramite un'architettura ControlNet, forzando l'allineamento tra l'azione robotica e la deformazione dell'oggetto.
• Ottimizzazione: Per focalizzare il modello sulla dinamica di deformazione e ridurre il rumore visivo (sfondi, luci), il modello viene addestrato a prevedere video ritagliati contenenti solo l'oggetto su sfondo bianco.

C. Fine-Tuning del Pianificatore con RL (ORPO)

• Una volta addestrato, il modello di mondo funge da ambiente virtuale ("immaginazione") per il fine-tuning del VLM, eliminando la necessità di ulteriori interazioni nel mondo reale.
• Strategia Best-of-K: Per ogni input di addestramento, il pianificatore genera un batch di $K$ azioni candidate. Il modello di mondo predice l'esito di ciascuna azione.
• Selezione delle Preferenze: L'azione che massimizza l'obiettivo del compito (confrontando l'immagine predetta con l'immagine obiettivo) viene etichettata come positiva, mentre le altre come negative.
• Ottimizzazione ORPO: Il pianificatore VLM viene fine-tunato utilizzando Odds Ratio Policy Optimization (ORPO). Questo metodo ottimizza direttamente il rapporto di probabilità tra azioni preferite e non preferite, senza richiedere una funzione di valore separata o query ripetute al modello di mondo durante l'ottimizzazione, rendendo il processo estremamente efficiente.

3. Contributi Chiave

1. Framework DreamPlan: Un approccio altamente efficiente che adatta i pianificatori VLM zero-shot a compiti fisici complessi (deformabili) tramite fine-tuning offline all'interno di rollouts virtuali generati da modelli video.
2. Strategia di Adattamento Efficiente: Integrazione di campionamento "Best-of-K" con ORPO. Questa strategia disaccoppia l'inferenza computazionalmente costosa della diffusione video dall'ottimizzazione della politica, permettendo un adattamento rapido del VLM con supervisione fisica.
3. Validazione su Compiti Deformabili: Dimostrazione dell'efficacia su tre compiti difficili: manipolazione di corde, piegatura di tessuti e riposizionamento di giocattoli molli, superando significativamente i baseline zero-shot.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un sistema robotico bimanuale reale (due bracci Franka FR3) con tre compiti di manipolazione deformabile.

• Miglioramento delle Prestazioni: DreamPlan ha aumentato i tassi di successo del 15-40% rispetto ai baseline zero-shot su tutti i compiti.
  • Esempio: Nel compito di "Raddrizzare la corda", il punteggio medio è passato da 0.30 (GPT-4o) a 0.60 con DreamPlan.
  • Esempio: Nel "Riposizionamento del braccio del giocattolo", DreamPlan ha raggiunto 0.85, superando il modello molto più grande Qwen3-VL-32B (0.70).
• Qualità del Modello di Mondo: Il modello di mondo condizionato all'azione è stato in grado di generare deformazioni fisicamente plausibili e coerenti con le azioni, superando i modelli di generazione video generici che spesso falliscono nel seguire le istruzioni di movimento.
• Efficienza Computazionale:
  • Un baseline che utilizza il modello di mondo come verificatore esplicito (generando video per ogni candidato) richiede circa 926 secondi per decisione.
  • DreamPlan, dopo il fine-tuning, richiede solo ~1.12 secondi per decisione, mantenendo prestazioni superiori (punteggio medio 0.60 vs 0.50 del baseline con 8 campioni).

5. Significato e Impatto

DreamPlan risolve il collo di bottiglia fondamentale nell'applicazione dei VLM alla robotica fisica: la mancanza di comprensione delle dinamiche di contatto e deformazione.

• Superamento del divario Sim-to-Real: Utilizzando dati reali (anche sub-ottimali) per addestrare un modello di mondo, DreamPlan cattura la fisica reale senza dipendere da simulatori imperfetti.
• Efficienza dei Dati: Dimostra che è possibile addestrare modelli di mondo robusti e performanti con pochi dati esplorativi (circa 4 ore di raccolta robotica), rendendo il fine-tuning accessibile senza la necessità di dataset su larga scala.
• Scalabilità: L'approccio ORPO basato su preferenze permette di incorporare la conoscenza fisica nei VLM in modo efficiente, aprendo la strada a robot autonomi capaci di gestire compiti di manipolazione complessi e non rigidi nel mondo reale.

In sintesi, DreamPlan colma il divario tra il ragionamento semantico dei grandi modelli linguistici e la realtà fisica, permettendo ai robot di "immaginare" le conseguenze delle loro azioni e imparare a manipolare oggetti deformabili in modo sicuro ed efficiente.