World Simulation with Video Foundation Models for Physical AI

Il documento presenta Cosmos-Predict2.5 e Cosmos-Transfer2.5, modelli fondazionali di nuova generazione per l'IA fisica che unificano la generazione di mondi da testo, immagini e video con capacità di traduzione e simulazione avanzate, rilasciando codice e checkpoint open source per accelerare lo sviluppo di sistemi robotici e autonomi.

L'essenziale

Immagina di voler insegnare a un robot come cucinare, guidare un'auto o aiutare in casa. Se provassi a farlo imparando direttamente nel mondo reale, il robot potrebbe rompere cose, farsi male o essere lentissimo. È come se un bambino imparasse a guidare un'auto in mezzo al traffico reale: pericoloso e costoso!

La soluzione? Creare un mondo virtuale perfetto dove il robot può sbagliare all'infinito senza conseguenze. È qui che entrano in gioco Cosmos-Predict2.5 e Cosmos-Transfer2.5, i nuovi "super-attori" creati da NVIDIA.

1. Il Grande Regista: Cosmos-Predict2.5

Pensa a Cosmos-Predict2.5 come a un regista cinematografico magico che non ha mai visto il mondo reale, ma lo ha studiato così tanto da poterlo ricreare perfettamente.

• Cosa fa? Se gli dai una descrizione (es: "Un robot che raccoglie una mela su un tavolo rosso"), lui non ti mostra solo un'immagine, ma genera un intero video di ciò che succederà. Se gli dai un video di partenza, può continuare la storia (come un libro che scrive il prossimo capitolo da solo).
• Il trucco: Questo regista è stato addestrato guardando 200 milioni di video (dalle strade alle fabbriche, fino ai movimenti umani). Ma non ha solo guardato: ha imparato le "leggi della fisica". Sa che se lasci cadere un bicchiere, si romperà, non volerà via come una piuma.
• La novità: Rispetto alla versione precedente, è diventato più intelligente nel capire le istruzioni. Se gli dici "fai finta che piova", il video mostrerà la pioggia in modo realistico, non come un effetto speciale strano. È come se avesse imparato a leggere meglio le sceneggiature.

2. Il Traduttore di Realtà: Cosmos-Transfer2.5

Se il primo modello è il regista, Cosmos-Transfer2.5 è il magico traduttore di stili.

• Cosa fa? Prende un video "noioso" (magari un disegno tecnico o una simulazione al computer che sembra di cartone) e lo trasforma in un video iper-realistico, come se fosse stato girato con una camera cinematografica.
• L'analogia: Immagina di avere un disegno a matita di una strada. Questo modello prende quel disegno e lo "colora" e lo "anima" rendendolo una strada vera, con le ombre, l'asfalto e le auto che si muovono realisticamente.
• Perché è importante? È molto più piccolo e veloce della versione precedente (3,5 volte più piccolo!), ma fa un lavoro migliore. È come passare da un vecchio telefono ingombrante a uno smartphone sottile che fa foto migliori.

3. A cosa servono tutto questi "film"?

Non sono fatti per intrattenerti su TikTok, ma per addestrare robot e auto a guida autonoma. Ecco come:

• Il Campo di Addestramento Infinito: Prima di mandare un robot a pulire la tua casa, lo fai allenare in questo mondo virtuale. Il robot prova a prendere un oggetto 10.000 volte, cade, sbaglia, impara, e tutto questo in pochi secondi, senza rompere nulla.
• La Prova del Fuoco: I ricercatori usano questi modelli per creare scenari impossibili o pericolosi nel mondo reale. "Cosa succede se un'auto guida sotto la neve mentre c'è nebbia?" Il modello genera il video, e l'auto autonoma impara a reagire prima ancora di vedere la neve vera.
• Il "Copia-Incolla" della Realtà: Se un robot deve imparare a fare una cosa, ma non abbiamo abbastanza video reali di quella cosa, il modello ne crea di nuovi, realistici e vari, per insegnare al robot tutto ciò che gli serve.

In sintesi

NVIDIA ha creato due strumenti potenti:

1. Cosmos-Predict2.5: Il creatore di mondi che immagina il futuro basandosi su ciò che vede e su ciò che gli dici.
2. Cosmos-Transfer2.5: Il mago che trasforma disegni e simulazioni in realtà fotorealistica.

Insieme, stanno costruendo la palestra digitale dove l'intelligenza artificiale fisica (i robot) imparerà a diventare brava, sicura e pronta a lavorare nel mondo reale con noi. È come dare ai robot un "superpotere" di immaginazione per imparare a vivere con noi.

Sommario tecnico

1. Il Problema

I sistemi di Intelligenza Fisica (Physical AI) – agenti incarnati dotati di sensori e attuatori che interagiscono con il mondo reale – richiedono enormi quantità di dati per l'addestramento. L'addestramento diretto nel mondo reale è spesso lento, costoso e rischioso, specialmente nelle fasi iniziali dove errori di controllo possono danneggiare l'agente o l'ambiente.
Esiste un bisogno critico di simulatori del mondo in grado di generare ambienti visivi di alta qualità, diversificati e fisicamente coerenti basati sulle azioni dell'agente. Tali simulatori fungono da proxy sicuri per il mondo fisico, permettendo agli agenti di acquisire competenze di percezione e controllo "in silicio" prima del dispiegamento reale. Tuttavia, i modelli generativi precedenti (come Cosmos-Predict1) presentavano limitazioni nella qualità video, nell'allineamento con le istruzioni testuali e nella capacità di controllo fine per domini specifici come la robotica e la guida autonoma.

2. Metodologia

Il paper introduce Cosmos-Predict2.5, l'ultima generazione di modelli fondazionali del mondo per l'Intelligenza Fisica, e Cosmos-Transfer2.5, un framework per la traduzione del mondo.

Architettura e Addestramento di Cosmos-Predict2.5

• Architettura basata su Flow Matching: Il modello abbandona la diffusione classica (EDM) a favore del Flow Matching, che predice la velocità della traiettoria di diffusione. Questo approccio offre un obiettivo di addestramento più diretto, ottimizzazione più fluida e qualità del campione superiore.
• Unificazione dei Modelli: Un singolo modello unifica tre capacità: Text2World, Image2World e Video2World.
• Encoder di Testo Avanzato: Sostituisce il codificatore T5 con Cosmos-Reason1, un modello Vision-Language (VLM) decoder-only specializzato per l'IA fisica. Questo fornisce rappresentazioni testuali più ricche e un controllo più granulare sulla generazione.
• Pipeline dei Dati:
  • Elaborazione di oltre 200 milioni di clip video curate da un pool iniziale di 35 milioni di ore di video grezzi.
  • Implementazione di una pipeline di filtraggio multi-stadio rigorosa (rimozione artefatti, testo sovrapposto, contenuti non fisici) che riduce la sopravvivenza dei clip al 4% (rispetto al 30% della versione precedente), garantendo alta qualità.
  • Dati specifici per dominio: Robotica (es. AgiBot, GR00T), Guida Autonoma (dataset proprietario NVIDIA), Spazi Intelligenti, Dinamica Umana e Fisica.
• Strategia di Addestramento:
  1. Pre-addestramento progressivo: Aumento graduale della risoluzione (da 256p a 720p) e della diversità dei task.
  2. Fine-tuning Supervisionato (SFT): Addestramento separato su domini specifici (es. manipolazione robotica, guida) seguito da una fusione dei modelli (Model Merging) utilizzando tecniche come Model Soup e DARE per unificare le competenze senza perdere le capacità generali.
  3. Reinforcement Learning (RL): Utilizzo di un modello di reward basato su VLM (VideoAlign) per allineare le uscite alle preferenze umane, migliorando l'allineamento al prompt e la qualità del movimento.
  4. Distillazione: Tecniche di distillazione dei timestep per ridurre i passaggi di inferenza a soli 4 step mantenendo alta fedeltà.

Cosmos-Transfer2.5

Un framework di stile ControlNet per la traduzione del mondo (Sim2Real e Real2Real).

• Architettura: Distribuisce i blocchi di controllo in modo più uniforme rispetto alla versione precedente, migliorando l'integrazione delle condizioni spaziali.
• Input di Controllo: Supporta mappe di profondità, segmentazione, bordi (edge) e video sfocati.
• Efficienza: È 3.5 volte più piccolo del predecessore (Cosmos-Transfer1) ma offre maggiore fedeltà e capacità di generazione video a lungo termine con meno accumulo di errori.

3. Contributi Chiave

1. Cosmos-Predict2.5: Un modello fondazionale unificato (2B e 14B parametri) che supera i precedenti modelli in qualità video e allineamento alle istruzioni, grazie all'uso di Flow Matching e di un encoder VLM specializzato.
2. Cosmos-Transfer2.5: Un framework di controllo leggero e ad alta fedeltà per la traduzione visiva, abilitando simulazioni realistiche partendo da mappe semantiche o dati di simulazione fisica.
3. Pipeline Dati su Scala Petabyte: Una nuova infrastruttura di curazione dati che processa 35 milioni di ore di video, applicando filtri rigorosi e deduplicazione semantica per creare dataset di addestramento di qualità superiore.
4. Open Source: Rilascio completo di codice sorgente, checkpoint pre-addestrati e benchmark curati sotto licenza NVIDIA Open Model License per accelerare la ricerca.
5. Applicazioni Pratiche: Dimostrazione dell'efficacia in scenari reali come l'addestramento di policy robotiche, la simulazione per la guida autonoma multi-vista e la generazione di dati sintetici per modelli VLA (Vision-Language-Action).

4. Risultati

• Benchmark (PAI-Bench):
  • Cosmos-Predict2.5-14B post-addestrato ottiene punteggi comparabili o superiori a modelli molto più grandi (es. Wan 2.2 27B-A14B) nel task Image2World, pur avendo la metà dei parametri.
  • Miglioramenti significativi nei punteggi di qualità visiva e di allineamento al dominio rispetto a Cosmos-Predict1 e modelli concorrenti come Wan 2.1/2.2.
• Valutazione Umana: Gli annotatori preferiscono i video generati da Cosmos-Predict2.5-14B rispetto a Wan 2.1 14B (48.6% vs 31.8%) e lo considerano alla pari con modelli 27B.
• Robotica (Policy Learning): L'uso di Cosmos-Transfer2.5 per l'aumento dei dati sintetici ha permesso a una policy robotica di generalizzare a scenari mai visti (cambiamento di oggetti, illuminazione, sfondi) con un tasso di successo del 80% (24/30 trial), superando di gran lunga le baseline (16.7% per la policy base e 16.7% per l'aumento dati standard).
• Guida Autonoma: Il modello multi-vista (Cosmos-Transfer2.5-2B/auto/multiview) mostra un miglioramento fino al 60% nelle metriche di rilevamento di oggetti 3D e corsie rispetto alla versione precedente, mantenendo una coerenza temporale e cross-camera superiore.
• Generazione a Lungo Termine: Cosmos-Transfer2.5 dimostra un accumulo di errore significativamente inferiore rispetto ai modelli precedenti durante la generazione di video lunghi (fino a 120 secondi), mantenendo la coerenza fisica.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso un ecosistema di Intelligenza Fisica "Simulation-First".

• Democratizzazione: Rendendo disponibili modelli open-source di alta qualità specifici per l'IA fisica, NVIDIA abbassa la barriera all'ingresso per ricercatori e sviluppatori, permettendo loro di creare simulatori realistici senza dover addestrare modelli da zero.
• Ponte Sim2Real: La capacità di generare dati sintetici fisicamente coerenti e controllabili risolve il problema della scarsità di dati reali per l'addestramento di robot e veicoli autonomi, accelerando lo sviluppo di agenti intelligenti sicuri ed efficienti.
• Scalabilità: L'approccio modulare (un modello base + adattamenti specifici per dominio) dimostra come scalare l'intelligenza incarnata senza dover costruire un modello monolitico per ogni singolo compito.

In sintesi, Cosmos-Predict2.5 e Cosmos-Transfer2.5 stabiliscono un nuovo stato dell'arte per la simulazione del mondo fisico, fornendo gli strumenti necessari per la prossima generazione di robotica e sistemi autonomi.