Riepilogo Tecnico: Cosmos Policy

Problematica

I recenti progressi nei modelli di generazione video hanno dimostrato una capacità impressionante di catturare interazioni fisiche complesse, causalità temporale ed evoluzione delle scene. Tuttavia, l'adattamento di questi modelli per il controllo robotico ha tradizionalmente richiesto pipeline di addestramento multi-stadio complesse e l'introduzione di nuovi componenti architettonici (ad esempio, separati diffusori di azioni o modelli di dinamica inversa). Gli attuali modelli video-azione unificati spesso non riescono a sfruttare i potenti priori spazio-temporali dei modelli video pre-addestrati su larga scala a causa di design personalizzati addestrati da zero. Inoltre, sebbene i modelli Vision-Language-Action (VLA) siano diventati backbone popolari, essi sono principalmente addestrati su coppie immagine-testo statiche, il che potrebbe limitare la loro comprensione della dinamica temporale e della fisica implicita rispetto ai modelli video.

La sfida centrale affrontata da questo lavoro è come adattare efficacementamente un grande modello video pre-addestrato in una policy robotica attraverso un processo semplice a stadio singolo, senza modifiche architettoniche, abilitando simultaneamente la policy a eseguire la pianificazione basata su modello utilizzando modelli del mondo e funzioni di valore apprese.

Metodologia

Architettura di Cosmos Policy

Gli autori introducono Cosmos Policy, una robot policy affinata (fine-tuned) dal modello video foundation NVIDIA Cosmos-Predict2-2B. L'approccio si distingue per l'assenza di modifiche architettoniche; invece, sfrutta il processo di diffusione latente nativo del modello per gestire input e output multimodali.

1. Iniezione di Frame Latenti (Latent Frame Injection):
Per incorporare modalità non originariamente supportate dal modello video (propriocezione robotica, azioni, valori di stato e telecamere multi-view), gli autori propongono la Latent Frame Injection.

• Meccanismo: Le modalità aggiuntive vengono codificate come nuovi frame latenti e intercalate direttamente nella sequenza di diffusione latente del modello video.
• Struttura della Sequenza: Per una configurazione robotica con più telecamere e propriocezione, la sequenza latente è strutturata come $(s, a, s', V(s'))$, dove:
  • $s$: Stato attuale (propriocezione del robot + immagini attuali della telecamera).
  • $a$: Action chunk (codificato come un frame latente).
  • $s'$: Stato futuro (propriocezione futura + immagini future della telecamera).
  • $V(s')$: Valore dello stato futuro (ricompensa cumulativa attesa, codificato come un frame latente).
• Flessibilità: Questo metodo consente configurazioni robotiche arbitrarie (ad esempio, numero variabile di telecamere) semplicemente aggiungendo o rimuovendo frame latenti nella sequenza senza alterare i pesi o la struttura del modello.

2. Obiettivi di Addestramento Congiunto (Joint Training Objectives):
Il modello viene affinato sui dati di dimostrazione robotica utilizzando un obiettivo a stadio singolo che apprende congiuntamente tre funzioni:

• Policy: Predice azioni, stati futuri e valori condizionati dallo stato attuale ($p(a, s', V(s') | s)$).
• Modello del Mondo (World Model): Predice stati futuri e valori condizionati da stato e azione ($p(s', V(s') | s, a)$).
• Funzione di Valore (Value Function): Predice valori futuri condizionati da stato, azione e stato futuro ($p(V(s') | s, a, s')$).

I dati di addestramento consistono in un mix di dimostrazioni esperte (50% del batch) e rollout della policy (50% del batch). I dati di rollout sono utilizzati per addestrare il modello del mondo e la funzione di valore, permettendo al sistema di apprendere sia da traiettorie di successo che di fallimento.

3. Pianificazione con Ricerca Basata su Modello (Planning with Model-Based Search):
Cosmos Policy supporta due modalità di deployment:

• Direct Policy: Utilizza il decoding parallelo per generare azioni direttamente dallo stato attuale.
• Model-Based Planning: Utilizza il modello del mondo e la funzione di valore appresi per cercare azioni ottimali.
  • Processo: Il sistema campiona molteplici proposte di azione, utilizza il "modello di pianificazione" (un checkpoint raffinato addestrato pesantemente sui dati di rollout) per predire gli stati futuri e i valori risultanti, e seleziona l'azione che conduce al valore predetto più elevato.
  • Strategia di Ensemble: Per gestire distribuzioni multimodali e varianza, il sistema esegue l'ensemble delle predizioni interrogando il modello del mondo e la funzione di valore più volte per ogni azione, aggregando i risultati tramite "media della maggioranza" per determinare la probabilità di successo.

Contributi Chiave

1. Semplice Adattamento di Modelli Video: Il documento dimostra che un grande modello video pre-addestato può essere adattato in una robot policy allo stato dell'arte attraverso un singolo stadio di post-addestramento con nessuna modifica architettonica, utilizzando la latent frame injection per codificare azioni e valori.
2. Policy, Modello del Mondo e Funzione di Valore Unificati: L'approccio unifica l'apprendimento della policy, la modellazione del mondo e la stima del valore all'interno di un singolo framework di diffusione latente, sfruttando i priori pre-addestrati del modello per catturare complesse distribuzioni di azione e dinamiche temporali.
3. Pianificazione tramite Raffinamento del Rollout: Gli autori dimostrano che raccogliendo dati di rollout della policy e affinando le componenti del mondo e del valore, il sistema può eseguire una pianificazione efficace basata su modello (campionamento best-of-N) per migliorare i tassi di successo.
4. Prestazioni allo Stato dell'Arte: Il metodo raggiunge nuovi benchmark in simulazione e manipolazione nel mondo reale, superando policy addestrate da zero, policy basate su video e VLA affinati.

Risultati Sperimentali

Gli autori hanno valutato Cosmos Policy attraverso tre benchmark:

• LIBERO Simulation: Ha raggiunto un tasso di successo medio del 98,5%, superando forti baseline tra cui Diffusion Policy, Dita, $\pi_0$, OpenVLA-OFT e CogVLA.
• RoboCasa Simulation: Ha raggiunto un tasso di successo medio del 67,1% utilizzando solo 50 dimostrazioni umane per task (significativamente meno delle 300+ utilizzate da molti competitor), superando metodi come GR00T-N1.5 e Video Policy.
• Real-World ALOHA Tasks: In complessi compiti di manipolazione bimanuale (ad esempio, piegare magliette, gestire sacchetti Ziploc), Cosmos Policy ha ottenuto il punteggio medio più alto (93,6%).
  • Ha superato notevolmente i VLA affinati ($\pi_0.5$, OpenVLA-OFT+) in compiti che richiedono prese di alta precisione e gestione di alta multimodalità dell'azione.
  • Impatto della Pianificazione: Quando potenziata con la pianificazione basata su modello utilizzando i dati di rollout, la policy ha registrato un aumento medio del 12,5% nei punteggi di completamento del task nei compiti ALOHA più difficili.

Studi di Ablazione:

• Rimuovere gli obiettivi di apprendimento ausiliari (predire $s'$ e $V$ insieme ad $a$) ha causato un calo del 1,5% nel tasso di successo.
• Addestrare il modello da zero (senza pesi video pre-addestrati) ha causato un calo del 3,9%, evidenziando l'importanza dei priori del modello video.
• La pianificazione basata su modello utilizzando una formulazione $V(s')$ (che richiede un modello del mondo) ha superato una variante model-free $Q(s, a)$, suggerendo il valore delle dinamiche ambientali apprese.

Significato e Rivendicazioni

Il documento afferma che Cosmos Policy rappresenta un passo avanti significativo nell'apprendimento robotico, dimostrando che i priori spazio-temporali dei grandi modelli di generazione video sono una base superiore per il controllo a basso livello rispetto ai modelli VLA basati su immagini statiche.

Le rivendicazioni chiave includono:

• Semplicità ed Efficienza: La capacità di creare una potente robot policy senza modifiche architettoniche o pipeline di addestramento multi-stadio.
• Efficienza dei Dati: Il metodo raggiunge alte prestazioni con meno dimostrazioni (50 rispetto a 300+) rispetto ad altri metodi allo stato dell'arte, probabilmente grazie alla forte inizializzazione dal modello video foundation.
• Capacità di Pianificazione: L'architettura unificata supporta naturalmente la pianificazione basata su modello, permettendo al robot di "immaginare" stati futuri e valori per selezionare azioni migliori, una capacità che migliora le prestazioni in compiti di alta precisione e multimodalità dove le policy dirette faticano.
• Generalizzazione: L'approccio mostra una forte generalizzazione sia in scenari in-distribuzione che fuori distribuzione in ambienti di simulazione e reali.

Gli autori riconoscono i limiti, specificamente la velocità di inferenza della pianificazione basata su modello (circa 5 secondi per action chunk) e la necessità attuale di sostanziali dati di rollout per raffinare il modello del mondo, identificandoli come aree di miglioramento futuro.