💬 NLP

PAN: A World Model for General, Actionable, and Long-Horizon World Simulation

Questo articolo introduce PAN, un modello del mondo basato sull'architettura Generative Latent Prediction (GLP) che supera le attuali limitazioni nella predizione generalizzata, open-domain e guidata dall'azione e nella coerenza a lungo termine combinando rappresentazioni latenti stateful, un flusso di informazioni a ciclo chiuso e un backbone misto LLM/diffusion per abilitare avanzate capacità di ragionamento simulativo e pianificazione.

Autori originali: PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

Pubblicato 2026-09-09

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate una mente che non si limita a reagire al mondo, ma lo anticipa. Per decenni, gli scienziati hanno cercato di costruire un'intelligenza artificiale capace di fare molto più che riconoscere un gatto in una foto o scrivere una poesia; vogliono macchine che comprendano come il mondo fisico cambi quando si spinge una tazza, si gira un volante o si apre una porta. Questa capacità di prevedere il futuro basandosi sulle azioni correnti è nota come "modello del mondo" (world model). È il motore cognitivo che permette agli esseri viventi di pianificare, di immaginare un "e se", e di evitare il pericolo prima che accada. Sebbene i computer moderni siano diventati brillanti nel generare immagini e testi, spesso faticano a simulare la logica di causa ed effetto della realtà. Possono creare un bellissimo video di un'auto in corsa, ma non possono prevedere in modo affidabile cosa accadrà se quell'auto sbanda improvvisamente per evitare una buca. Senza questo potere predittivo, l'intelligenza artificiale rimane un osservatore passivo piuttosto che un partecipante attivo capace di prendere decisioni in un ambiente complesso e mutevole.

Un team di ricercatori della Mohamed bin Zayed University of Artificial Intelligence ha introdotto un nuovo sistema chiamato PAN, progettato per colmare questo divario. Invece di generare semplicemente video da zero, PAN agisce come un simulatore che impara come il mondo evolve in risposta a istruzioni specifiche. I ricercatori hanno costruito questo sistema su una base chiamata Generative Latent Prediction, un metodo che costringe il computer a mantenere una memoria interna coerente del mondo mentre prevede il futuro. Invece di cercare di indovinare ogni singolo pixel di un'immagine futura tutto in una volta, il che spesso porta a confusione ed errori nel tempo, PAN scompone il compito. Crea prima un riassunto compatto e astratto della scena attuale e dell'azione che viene intrapresa. Utilizza poi un potente motore di ragionamento basato sul linguaggio per prevedere come cambierà tale riassunto. Infine, traduce quel nuovo riassunto nuovamente in un video. Questo processo in tre fasi permette al sistema di tenere traccia di oggetti, persone e fisica su periodi prolungati, assicurando che un albero rimanga un albero e un'auto rimanga un'auto anche dopo molti secondi di tempo simulato.

I ricercatori hanno addestrato PAN su un enorme dataset di otto milioni di clip video abbinate a descrizioni dettagliate delle azioni che vi avvengono all'interno. Questi video coprivano tutto, dalle attività umane quotidiane alle complesse interazioni tra le persone e il loro ambiente. Insegnando al sistema a prevedere il momento successivo di un video basandosi su un comando linguistico come "guida attraverso una foresta innevata" o "prendi una tazza blu", il team ha permesso a PAN di apprendere le regole della causa e dell'effetto fisico. Durante i test, il sistema ha dimostato una straordinaria capacità di mantenere la coerenza su lunghe sequenze. In un insieme di esperimenti, i ricercatori hanno chiesto al modello di simulare una serie di azioni, come un robot che sposta oggetti tra dei vassoi. Mentre altri sistemi avrebbero rapidamente perso traccia degli oggetti o avrebbero allucinato una fisica impossibile dopo pochi passaggi, PAN ha continuato a generare esiti coerenti e logici per oltre dieci passaggi. Ha previsto con successo che se un robot afferra una lattina gialla e la sposta in un nuovo vassoio, la lattina apparirà in quel nuovo vassoio nel fotogramma successivo, e il vecchio vassoio sarà vuoto.

Per verificare che PAN stesse realmente simulando la realtà e non si limitasse a creare belle immagini, i ricercatori lo hanno valutato contro un rigoroso benchmark chiamato World Reasoning Arena. Questo test misurava tre abilità specifiche: quanto accuratamente il sistema simulasse il risultato immediato di un'azione, quanto bene mantenesse un mondo coerente su lunghi periodi e se le sue previsioni potessero aiutare un programma per computer separato a prendere decisioni migliori. I risultati hanno mostrato che PAN ha superato altri modelli open-source e si è avvicinato ai principali sistemi commerciali. In compiti che richiedevano a una macchina di pianificare una sequenza di mosse per raggiungere un obiettivo, come smistare articoli su un tavolo, l'integrazione di PAN ha migliorato il tasso di successo dell'agente di pianificazione di oltre il venti per cento rispetto all'uso di un modello standard. Ciò suggerisce che le previsioni del sistema non erano solo visivamente plausibili, ma causalmente accurate, fornendo una mappa affidabile del futuro su cui un agente decisionale potesse fare affidamento.

Lo studio ha anche evidenziato cosa accade quando questi sistemi mancano di componenti chiave. I ricercatori hanno eseguito test in cui hanno rimosso il motore di ragionamento basato sul linguaggio o il metodo specializzato utilizzato per rendere fluide le transizioni tra i segmenti video. Senza il motore di ragionamento, il sistema faticava a comprendere istruzioni complesse che coinvolgevano agenti, come una persona o un robot, e le transizioni video diventavano scattose. Senza il meccanismo di smoothing, la qualità del video degradava rapidamente man mano che la simulazione si estendeva, con oggetti che si deformavano o scomparivano. Questi risultati hanno confermato che la combinazione di un cervello di ragionamento e un processo di generazione attento e passo dopo passo è essenziale per la stabilità a lungo termine. Il sistema non si basa su un singolo trucco; si basa su un ciclo chiuso in cui la previsione è costantemente controllata rispetto al requisito che debba apparire come un cambiamento reale e osservabile nel mondo.

Nonostante il suo successo, i ricercatori sono chiari riguardo ai confini attuali del sistema. PAN opera al meglio quando le azioni sono descritte in linguaggio naturale, come "gira a sinistra" o "apri la porta". Non è ancora progettato per gestire i comandi muscolari precisi e continui richiesti per compiti robotici delicati, come controllare la forza esatta di una pinza. Inoltre, sebbene il sistema sia significativamente più stabile rispetto ai tentativi precedenti, può ancora derivare su periodi molto lunghi, perdendo occasionalmente traccia di piccoli dettagli o inventando oggetti che non c'erano. Gli autori osservano che il sistema eredita alcune abitudini visive dai modelli di generazione video su cui è stato costruito, che danno priorità al realismo estetico rispetto alla perfezione fisica. Ciò significa che, sebbene la simulazione sia generalmente affidabile, non è ancora una rappresentazione impeccabile della fisica.

Il lavoro rappresenta un passo avanti significativo nell'insegnare alle macchine come pensare al futuro. Combinando la capacità di ragionare con il linguaggio e la capacità di generare sequenze visive, PAN offre un nuovo modo per l'intelligenza artificiale di esplorare le possibilità senza rischiare conseguenze nel mondo reale. Permette a un agente di eseguire "esperimenti mentali", testando diversi corsi d'azione per vedere quale porti al risultato desiderato. I ricercatori intendono rilasciare il proprio codice e i propri dati al pubblico, invitando altri a costruire su questa base. Mentre il campo avanza, l'obiettivo rimane quello di creare sistemi che non possano solo vedere il mondo, ma capirne il funzionamento, aprendo la strada a macchine intelligenti capaci di navigare, pianificare e agire con la stessa lungimiranza che gli esseri umani usano ogni giorno.

Sintesi Tecnica: PAN – Un Modello del Mondo per la Simulazione del Mondo Generale, Azionabile e a Lungo Orizzonte

1. Definizione del Problema

Lo sviluppo di sistemi di Intelligenza Artificiale (IA) capaci di intelligenza fisica e incarnata richiede di andare oltre i Large Language Models (LLM) verso i modelli del mondo (world models): simulatori cognitivi che permettano agli agenti di ragionare sull'evoluzione dell'ambiente, sia essa spontanea o guidata dalle azioni. Sebbene i recenti progressi nella generazione di video, nell'evoluzione di scene 3D e nella simulazione di giochi abbiano prodotto una fedeltà visiva impressionante, persistono limitazioni significative nella predizione open-domain, azionabile e generale, nella coerenza a lungo orizzonte e nel ragionamento astratto.

Gli approcci esistenti affrontano specifici compromessi architettonici:

Modelli del Mondo basati su Reinforcement Learning (RL): (es. Dreamer, JEPA) operano spesso in domini ristretti e specifici per il compito con spazi di azione limitati. Gli obiettivi puramente nello spazio latente (come JEPA) rischiano il collasso della rappresentazione e la perdita di informazioni, scartando dettagli fini necessari per una simulazione fedele.
Large Language Models: Sebbene capaci di ragionamento, gli LLM non sono configurati nativamente per apprendere da dati non linguistici, limitando la loro conoscenza del mondo a ciò che è esprimibile attraverso il linguaggio.
Modelli di Generazione Video: Questi modelli eccellono nella generazione di media a loop aperto da prompt fissi, ma mancano di stati interni persistenti, interfacce di controllo azionabili e dinamiche causali a livello di oggetto. Sono ottimizzati per il realismo visivo piuttosto che per il ragionamento simulativo o l'immaginazione controfattuale.

La sfida centrale rimane: come combinare la copertura visiva open-domain con la coerenza temporale condizionata dall'azione, mantenendo al contempo una simulazione ancorata alle osservazioni.

2. Metodologia: L'Architettura PAN

Il documento introduce PAN, un modello del mondo generale costruito sulla l'architettura Generative Latent Prediction (GLP). La GLP affronta la tensione tra astrazione latente (necessaria per un'evoluzione scalabile e a lungo orizzonte) e ancoraggio osservativo (necessario per garantire che le predizioni corrispondano a cambiamenti sensoriali realizzabili).

2.1 Architettura Core

PAN implementa la GLP attraverso tre componenti accoppiate:

Encoder Visivo ( $h$ ): Mappa le osservazioni (chunk di video) in stati latenti del mondo strutturati. Utilizza il vision tower di Qwen2.5-VL-7B-Instruct, partizionando i frame in patch spaziali e raggruppando frame consecutivi per la coerenza temporale.
Backbone Predittivo ( $f$ ): Evolve gli stati latenti in avanti sotto l'effetto delle azioni. PAN adotta il modello di linguaggio di Qwen2.5-VL-7B-Instruct come backbone autoregressivo. Ciò sfrutta la conoscenza multimodale pre-addestrata e la modellazione di sequenze condizionate dal linguaggio per supportare il ragionamento simbolico, la generalizzazione composizionale e la coerenza a lungo orizzonte. Il backbone predice il successivo stato latente condizionato dalla storia completa degli stati latenti e dalle azioni linguistiche.
Decoder di Diffusione Video ( $g$ ): Ricostruisce gli esiti osservabili dai predetti stati latenti. Adattato da Wan2.1-T2V-14B, il decoder non è meramente un modulo di visualizzazione, ma il segnale di addestramento primario. Utilizza un obiettivo di flow-matching per supervisionare le predizioni nello spazio delle osservazioni, prevenendo il collasso della rappresentazione associato agli obiettivi puramente nello spazio latente.

2.2 Innovazioni Tecniche Chiave

Causal Swin-DPM (Shift-Window Denoising Process Model): Per affrontare l'intrattabilità della ricostruzione di tutti i dettagli a livello di pixel e per prevenire l'accumulo di errori nei lunghi rollout, PAN impiega un meccanismo di denoising causale a chunk.
- Opera all'interno di una finestra temporale scorrevole che contiene due chunk a diversi livelli di rumore (ad esempio, il chunk precedente con rumore $K/2$ , il successivo con rumore $K$ ).
- Condizionando ogni chunk sulle rappresentazioni dei chunk precedenti parzialmente denoisate (anziché completamente denoisate), il meccanismo attenua i dettagli accidentali a livello di pixel e si concentra sulla struttura semanticamente persistente (layout della scena, presenza di oggetti, direzione del movimento).
- Una maschera di attenzione causale impedisce la fuga di informazioni dalle azioni future, garantendo che il modello rispetti la causalità temporale della simulazione.
Interfaccia di Azione: Le azioni sono specificate come istruzioni in linguaggio naturale a livello di chunk video (ad esempio, "guida attraverso una foresta innevata"), consentendo rollout visivi condizionati dal linguaggio.
Strategia di Addestramento: PAN è addestrato su 8 milioni di coppie video-testo (circa 4.500 ore) provenienti da fonti accessibili pubblicamente, con didascalie dense che enfatizzano le dinamiche temporali. L'addestramento avviene in due fasi:
1. Addestramento per modulo: Adattamento del decoder video all'architettura Causal Swin-DPM mantenendo congelati l'encoder e il backbone.
2. Addestramento congiunto: Addestramento end-to-end sotto l'obiettivo di supervisione generativa GLP, accoppiando la predizione latente con la ricostruzione nello spazio delle osservazioni.

3. Valutazione e Risultati

PAN è stato valutato sul benchmark World Reasoning Arena (WR-Arena), che misura la competenza attraverso tre dimensioni: Fedeltà della Simulazione dell'Azione, Previsione a Lungo Orizzonte e Ragionamento Simulativo e Pianificazione.

3.1 Metriche di Performance

Fedeltà della Simulazione dell'Azione: PAN ha ottenuto un punteggio complessivo di 58,7, il più alto tra i modelli open-source e competitivo con i principali sistemi commerciali (es. KLING, Gen-3). Ha dimostrato una forte performance sia nella Simulazione di Agenti (animazione di entità controllabili, punteggio: 70,3) che nella Simulazione di Ambiente (interventi a livello di scena, punteggio: 47,1).
Previsione a Lungo Orizzonte: PAN ha ottenuto i punteggi più alti in Fluidità di Transizione (53,6%) e Coerenza della Simulazione (64,1%), superando i sistemi commerciali e i baseline open-source. A differenza dei generatori video standalone che degradano rapidamente dopo 5-8 step, la coerenza di PAN degrada gradualmente oltre i 9+ step.
Ragionamento Simulativo e Pianificazione: Quando integrato con un agente di pianificazione basato su VLM, PAN ha migliorato i tassi di successo dei task del 26,7% (Pianificazione Open-Ended) e del 23,4% (Pianificazione Strutturata) rispetto all'agente che agisce senza un modello del mondo. Ciò conferma che le simulazioni di PAN sono causalmente informative, non solo visivamente plausibili.

3.2 Studi di Ablazione

Gli studi di ablazione progressiva hanno confermato la necessità di ciascun componente:

La rimozione del backbone VLM (mantenendo il decoder) ha preservato la fedeltà a breve orizzonte ma ha degradato la coerenza a lungo orizzonte e la dinamica degli agenti.
La rimozione del meccanismo Causal Swin-DPM ha causato un calo significativo nella fluidità di transizione e nella coerenza della simulazione, evidenziando il suo ruolo nel prevenire l'accumulo di errori.
Il sistema GLP completo ha sostenuto una simulazione coerente dove i generatori standalone (come Wan-2.1) deterioravano rapidamente.

4. Significato e Rivendicazioni

Il documento sostiene che lo scopo primario di un modello del mondo sia abilitare il pensiero ipotetico — permettere agli agenti di simulare le conseguenze di azioni alternative e selezionare piani ottimali. La significatività di PAN risiede nel suo design architettonico, che separa rigorosamente il modello del mondo (predizione delle transizioni di stato) dal modello dell'agente (decisione delle azioni), una fattorizzazione che evita il bias derivante dall'addestramento di un singolo modello su sia la predizione che i segnali di ricompensa.

Le principali rivendicazioni riguardanti il contributo di PAN includono:

La Supervisione Generativa come Ancoraggio: Decodificando le transizioni latenti nuovamente nel dominio sensoriale, la GLP assicura che la rappresentazione rimanga ancorata alla realtà, evitando le degenerazioni associate agli obiettivi puramente nello spazio latente.
Ragionamento Scalabile a Lungo Orizzonte: La combinazione di un backbone LLM per la dinamica simbolica e un decoder di diffusione per la realizzazione percettiva consente rollout coerenti di più step che mantengono la struttura causale su orizzonti estesi.
Praticità della Ricostruzione: Contrariamente alla visione secondo cui la ricostruzione completa sia intrattabile, PAN dimostra che la supervisione generativa è un obiettivo di addestramento stabile ed efficace quando vengono utilizzate scelte architettoniche (come Causal Swin-DPM) per modulare il compromesso tra fedeltà e salienza semantica.

Gli autori posizionano PAN non semplicemente come un generatore di media, ma come un simulatore per il ragionamento, fornendo una base per il lavoro futuro nella modellazione del mondo open-domain, interattiva e causalmente ancorata. Il documento riconosce i limiti, tra cui l'attuale dipendenza da interfacce di azione a livello di linguaggio (che potrebbero non supportare un controllo continuo fine) e la persistenza del drift a lungo orizzonte, suggerendoli come direzioni per la ricerca futura.