💻 computer science

VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

VideoCoCo introduce un framework agente a doppio motore che sfrutta il codice Blender eseguibile come una catena di pensiero a livello di processo per generare video fisicamente coerenti, creando prima una bozza spazio-temporale deterministica e poi raffinandola in un output fotorealistico, superando significativamente i baseline esistenti nei benchmark di coerenza fisica.

Autori originali: Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, Sipeng He, Ziyu Guo, Haoyu Wu, Juanxi Tian, Yihang Zou, Ruichuan An, Dongzhi Jiang, Boxue Yang, Ji Xie, Xu Huang, Wenhao Yan, Jialv Zou

Pubblicato 2026-07-31

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haodong Li, Tianfei Ren, Xiaoxiao Ma, Chunmei Qing, Zhen Fang, Sipeng He, Ziyu Guo, Haoyu Wu, Juanxi Tian, Yihang Zou, Ruichuan An, Dongzhi Jiang, Boxue Yang, Ji Xie, Xu Huang, Wenhao Yan, Jialv Zou, Zhengrong Yue, Yaxin Luo, Xiaotong Li, Yuzhu Wang, Junyan Ye, Jinjing Zhao, Zehui Chen, Lin Chen, Renye Yan, Feng Zhao, Pheng-Ann Heng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come preparare una torta sussurrandogli semplicemente: "Falla deliziosa". Il robot potrebbe capire la parola "deliziosa", ma senza una ricetta non ha idea se mescolare le uova prima della farina, per quanto tempo cuocerla o perché la torta non debba trasformarsi in un mattone. Questa è l'attuale lotta nel mondo della generazione di video tramite Intelligenza Artificiale. Gli scienziati stanno costruendo modelli in grado di trasformare descrizioni testuali in immagini in movimento, ma questi "sognatori" IA spesso faticano con le leggi della fisica. Potrebbero far fluttuare una palla verso l'alto invece di farla cadere, o far rompere un bicchiere prima che tocchi terra, perché l'IA sta indovinando la sequenza degli eventi invece di comprendere veramente come funziona il mondo.

Per risolvere questo problema, i ricercatori stanno cercando un modo per far "pensare" l'IA prima di agire, un concetto noto come Chain-of-Thought (Catena di Pensiero). Invece di saltare direttamente all'immagine finale, l'IA è incoraggiata a creare un piano intermedio. Immaginalo come un architetto che disegna dei progetti prima di costruire una casa, o uno chef che scrive una ricetta prima di cucinare. Il grande interrogativo è: quale tipo di progetto è il migliore? È un elenco di parole? Qualche schizzo grezzo? O qualcosa di più preciso? Questo è l'enigma che l'articolo VideoCoCo si propone di risolvere, puntando a rendere i video generati dall'IA non solo belli da vedere, ma capaci di obbedire effettivamente alle regole della realtà.

La magia del "Code-as-CoT": Una squadra da sogno composta da due motori

Incontra VideoCoCo, un nuovo sistema che agisce come un regista super intelligente e un artista talentuoso che lavorano insieme per creare video che non violino le leggi della fisica. I ricercatori si sono resi conto che quando l'IA cerca di indovinare come si evolve una scena partendo solo da un prompt testuale, spesso sbaglia la "storia". Così, hanno dato all'IA un nuovo strumento: il codice eseguibile.

Pensa al processo in questo modo:

Il Regista (L'Agente di Codifica): Quando dai all'IA un prompt come "un pezzo di burro che si scioglie in una padella calda", il Regista non si limita a immaginare la scena. Invece, scrive un programma Blender (un insieme di istruzioni informatiche). Questo codice è come una ricetta rigorosa e infrangibile. Dice esplicitamente al computer: "Posiziona un blocco di burro qui. Accendi il calore. Fai in modo che il burro si ammorbidisca, si sciolga e si sparga esattamente in 5 secondi". Poiché si tratta di codice, deve essere eseguito esattamente come scritto. Non è un'ipotesi; è una simulazione.
Il Sandbox (Il Motore di Simulazione): Il computer esegue questo codice in un'area sicura e isolata chiamata "sandbox". Il risultato non è ancora un bel filmato; è una bozza deterministica. Immagina un'animazione grezza in argilla bianca. Sembra uno schizzo fatto di pasta modellabile, ma è perfettamente accurato nel movimento. Il burro si scioglie esattamente come dice la fisica, perché il codice lo ha costretto a farlo.
L'Artista (Il Motore di Generazione Video): Ora entra in gioco il secondo motore. Questo è l'artista che prende quello schizzo grezzo in argilla bianca e lo dipinge per farlo sembrare un vero film in alta definizione. Poiché l'artista ha già la versione perfetta in "pasta modellabile" da copiare, non deve indovinare come si muoverà il burro. Deve solo concentrarsi sul renderlo lucido, dorato e delizioso.

Perché questo approccio cambia le regole del gioco

L'articolo sostiene che i metodi precedenti cercassero di fare troppo tutto in una volta. Alcuni modelli di IA cercavano di scrivere un piano testuale (come "il burro si scioglie"), ma il testo è vago. Altri cercavano di indovinare il fotogramma successivo di un video, ma è come cercare di dipingere un capolavoro guardando una foto sfuocata dell'immagine precedente.

VideoCoCo dice: "Smettetela di indovinare la fisica. Semplicemente simulatela."

Utilizzando il codice come "Chain of Thought", il sistema separa la logica del movimento dalla bellezza dell'immagine. Il codice gestisce il "cosa succede e quando", mentre l'editor video gestisce il "che aspetto ha". Questo è un enorme cambiamento perché trasforma un gioco d'azzardo in un processo a due fasi dove il primo passaggio è affidabile al 100%.

La prova è nel budino (e nella fisica)

I ricercatori hanno testato il loro sistema su due grandi sfide: PhyGenBench e VBench-2.0. Questi sono come esami per l'IA, che testano specificamente se i video seguono le regole del mondo reale come la gravità, il calore e il modo in cui i materiali si comportano.

I Risultati: Prima di VideoCoCo, l'IA di base (chiamata OmniWeaving) ha ottenuto una media di 0,475 nel test di fisica. Dopo aver aggiunto il sistema "Code-as-CoT", il punteggio è salito a 0,558. Nell'altro test (VBench-2.0), il punteggio è schizzato dal 52,18% al 77,88%.
Il momento dell'illuminazione: I miglioramenti maggiori sono avvenuti nelle aree in cui l'IA solitamente fallisce di più: la dinamica termica (come il calore e la fusione) e la dinamica dei materiali (come le cose si rompono o fluiscono). Ciò dimostra che la bozza tramite codice stava effettivamente insegnando all'IA come funziona la fisica, non rendendo solo il video più bello.

Cosa esclude l'articolo

È importante notare cosa non è VideoCoCo. L'articolo argomenta esplicitamente contro l'idea che possiamo semplicemente addestrare un'IA più grande per "imparare" la fisica da milioni di video. Hanno scoperto che senza un piano esplicito ed eseguibile (il codice), l'IA fatica ancora a comprendere correttamente la sequenza degli eventi. Mostrano anche che avere semplicemente un piano testuale approssimativo o alcuni fotogrammi chiave non è sufficiente; il piano deve essere un codice eseguibile che il computer possa effettivamente eseguire per creare una bozza.

Il limite e il futuro

Sebbene i risultati siano impressionanti, l'articolo è onesto riguardo ai limiti. Il sistema è attualmente un po' più lento perché deve scrivere il codice, eseguire una simulazione e poi dipingere il video. È come avere un architetto brillante e un pittore, ma ci vuole un po' più di tempo rispetto al semplice scatto di una foto. Inoltre, il sistema è limitato dalla complessità del simulatore Blender; cose super complesse come l'acqua che vortica in modo caotico potrebbero essere ancora difficili da simulare perfettamente al momento.

Tuttavia, gli autori suggeriscono che questo approccio "Code-as-CoT" è un nuovo modo potente di pensare all'IA. Invece di sperare che l'IA capisca magicamente il mondo, possiamo darle uno strumento per costruire un modello del mondo per primo, e poi lasciarle creare l'arte basandosi su quella solida fondamenta. È un promemoria del fatto che, a volte, il modo migliore per creare qualcosa di bello è prima costruire qualcosa che funzioni.

Riepilogo Tecnico: VideoCoCo

Definizione del Problema

Gli attuali modelli text-to-video (T2V) hanno raggiunto un'alta fedeltà visiva, ma faticano con la consistenza dinamica fisica. Il problema centrale, definito Opacità Causale, deriva dal fatto che i prompt testuali comprimono eventi fisici complessi in descrizioni semantiche altamente astratte. Di conseguenza, i modelli devono inferire implicitamente l'intera evoluzione spazio-temporale di una scena senza una guida esplicita sui principi fisici sottostanti.

Gli approcci esistenti di Chain-of-Thought (CoT) tentano di mitigare questo problema introducendo rappresentazioni intermedie come piani testuali, layout o keyframe. Tuttavia, questi intermedi sono spesso non eseguibili (privi di vincoli fisici precisi) o temporalmente sparsi (incapaci di catturare l'evoluzione continua). Inoltre, i metodi che si affidano alla ricerca al tempo di test o al ragionamento sullo stato visivo rimangono spesso descrittivi o selettivi piuttosto che istanziare un processo completo e ispezionabile. Ciò lascia un vuoto nella generazione di video in cui l'evoluzione temporale aderisca rigorosamente alle leggi fisiche.

Metodologia: VideoCoCo

Gli autori propongono VideoCoCo, un framework agentico a doppio motore che utilizza il codice eseguibile come una Chain-of-Thought a livello di processo. Il sistema decupla il ragionamento a livello di processo dalla realizzazione visiva ad alta fedeltà attraverso due fasi distinte:

1. Motore di Simulazione Eseguibile (Ragionamento di Processo)

Invece di chiedere al generatore di video di inferire la dinamica, un agente di codifica sintetizza un programma Python per Blender autosufficiente basato sul prompt dell'utente.

Codice-come-CoT: L'agente scrive codice che definisce esplicitamente oggetti, proprietà fisiche ed evoluzione temporale. Questa rappresentazione è stata scelta perché è esplicita (senza underspecificazione), eseguibile (si impegna su un processo concreto) e ispezionabile.
Esecuzione in Sandbox: Il codice generato viene eseguito in un ambiente Blender isolato per produrre una bozza spazio-temporale deterministica.
Caratteristiche della Bozza: L'output è una simulazione a bassa fedeltà tipo "argilla bianca". Manca di texture fotorealistiche e illuminazione, ma è temporalmente densa, fornendo uno scaffold strutturale preciso di cosa accade e quando, garantendo la coerenza fisica prima che qualsiasi pixel venga sintetizzato.

2. Motore Video Generativo (Realizzazione Visiva)

Il secondo motore si concentra esclusivamente sulla traduzione del processo istanziato in un video fotorealistico, evitando la necessità di ri-ragionare sulla dinamica.

Costruzione delle Istruzioni: Un agente di istruzioni compone un'istruzione di editing ( $e$ ) basata sul prompt originale ( $p$ ) e sulla bozza renderizzata ( $d$ ). Questa istruzione descrive esplicitamente l'aspetto (materiali, illuminazione, stile) evitando di ridefinire il movimento già presente nella bozza.
Editing Condizionato dalla Bozza: Un modello di editing video ( $G_\theta$ ) prende la bozza ( $d$ ) e l'istruzione ( $e$ ) come condizioni per generare il video finale ad alta fedeltà ( $\hat{v}$ ). La bozza ancora la struttura spazio-temporale, mentre il modello gestisce l'aspetto fotorealistico.

3. Costruzione dei Dati: VideoCoCo-3K

Per addestrare l'editor video ad accettare bozze simulate (che differiscono dalle distribuzioni di video naturali), gli autori hanno costruito VideoCoCo-3K.

Pipeline: Per 3.000 prompt, il motore di simulazione genera le bozze e un agente di istruzioni crea i prompt di editing.
Distillazione del Teacher: Un editor teacher ad alta fedeltà (Seedance 2.0) genera i video fotorealistici target ( $y$ ) condizionati sulle bozze e sulle istruzioni.
Risultato: Un dataset di triplette $(d, e, y)$ che allinea processi fisicamente fondati con le loro realizzazioni fotorealistiche.

4. Addestramento e Inferenza

Addestramento: L'editor è addestrato utilizzando un obiettivo di denoising condizionale standard sul dataset VideoCoCo-3K. Gli esperimenti confrontano il full fine-tuning con l'adattamento efficiente dei parametri tramite LoRA.
Inferenza: Il sistema opera end-to-end partendo da un semplice prompt testuale. L'agente di codifica genera il codice, la sandbox renderizza la bozza, l'agente di istruzioni compone il prompt e l'editor adattato produce il video finale. Non sono richiesti draft di ground-truth o annotazioni umane al tempo di inferenza.

Contributi Chiave

Framework VideoCoCo: Un sistema agentico a doppio motore che utilizza codice Blender eseguibile come Chain-of-Thought a livello di processo, separando la simulazione spazio-temporale dall'editing fotorealistico.
Dataset VideoCoCo-3K: Un dataset curato di 3.000 triplette bozza–istruzione–target generate tramite una pipeline agentica, che fornisce la supervisione necessaria per adattare i motori video generativi a bozze simulate.
Prestazioni allo Stato dell'Arte: Il framework raggiunge i migliori punteggi medi sia su PhyGenBench che su VBench-2.0, dimostrando che il codice eseguibile funge da rappresentazione intermedia efficace, controllabile e ispezionabile per la generazione di video fisicamente consistenti.

Risultati Sperimentali

Il paper valuta VideoCoCo contro una vasta gamma di baseline open-source (es. HunyuanVideo, CogVideoX, Wan2.2) e closed-source (es. Sora, Kling, Gen-3).

PhyGenBench: VideoCoCo migliora il punteggio medio della baseline OmniWeaving da 0,475 a 0,558, ottenendo il punteggio complessivo più alto. Mostra guadagni significativi nelle dinamiche di Materiale (+0,133) e Termica (+0,078), categorie in cui i priori guidati dall'aspetto tipicamente falliscono.
VBench-2.0: Il framework migliora il punteggio medio di plausibilità fisica dal 52,18% al 77,88% (un guadagno di 25,70 punti). Raggiunge i migliori punteggi in Meccanica (92,31%) e Termotica (72,92%).
Studi di Ablazione:
- Contributo della Bozza: Anche senza addestrare l'editor (Tuning-Free), la sola bozza eseguibile migliora il punteggio medio da 0,475 a 0,506, confermando che la bozza fornisce la dinamica fisica.
- Strategia di Adattamento: L'adattamento LoRA produce i migliori risultati (0,558), superando il full fine-tuning (0,535). Gli autori attribuiscono ciò alla natura ristretta del compito (ristilizzare una simulazione), dove LoRA preserva i forti priori visivi del modello base pur apprendendo la mappatura da bozza a realismo, mentre il full fine-tuning rischia l'overfitting.

Significato e Rivendicazioni

Il paper sostiene che il codice eseguibile fornisce una rappresentazione intermedia superiore per la generazione di video rispetto ai piani testuali o agli stati visivi sparsi. Esternalizzando il processo causale in una simulazione deterministica, VideoCoCo affronta l' "Opacità Causale" della generazione text-to-video.

Gli autori sottolineano che questo approccio:

Decupla i compiti difficili della dinamica fedele e dell'aspetto fotorealistico, permettendo a motori specializzati di gestire ciascuno di essi.
Garantisce che l'evoluzione fisica sia esplicitamente definita e ispezionabile prima che inizi la sintesi visiva.
Dimostra che il "Code-as-CoT" può essere esteso dall'anteprima d'immagine ai completi processi temporali, offrendo una via verso una modellazione del mondo generativa più controllabile e fisicamente fondata.

Il paper riconosce i limiti, notando che l'approccio introduce latenza di inferenza ed è limitato dall'espressività del simulatore Blender, in particolare per fenomeni altamente complessi come i fluidi turbolenti. Il lavoro futuro suggerisce di esplorare l'integrazione di motori fisici specializzati (es. Taichi) e la distillazione della conoscenza per interiorizzare questi priori direttamente nei modelli end-to-end.