Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory

Riepilogo Tecnico: Infinite-World

Problematica

I modelli di mondo interattivi esistenti hanno ottenuto un successo straordinario in ambienti sintetici (ad es. Unreal Engine 5, GTA5) dove sono disponibili pose della telecamera e dati video-azione accoppiati con verità di base (ground-truth) perfette. Tuttavia, la transizione di questi modelli verso scenari del mondo reale affronta tre barriere critiche:

1. Pose imprecise e controllo inaffidabile: I video del mondo reale richiedono stime delle estrinseche della telecamera, che introducono rumore ed errori, degradando la precisione della mappatura azione-risposta.
2. Scarsità di rivisitazioni dei punti di vista: I flussi video naturali sono prevalentemente lineari, privi della densa "chiusura del ciclo" (ritorno ai luoghi precedenti) necessaria affinché i modelli apprendano strutture geometriche globali e memoria spaziale a lungo raggio.
3. Colli di bottiglia computazionali: I meccanismi di attenzione standard scalano quadraticamente ($O(L^2)$) con la lunghezza della sequenza, rendendo la generazione di oltre 1000 frame computazionalmente proibitiva. Le soluzioni di memoria esistenti si affidano o a metadati di pose soggetti a errori per il recupero, o a un semplice downsampling che causa una grave perdita di informazioni.

Metodologia

Gli autori propongono Infinite-World, un modello di mondo interattivo robusto progettato per mantenere una memoria visiva coerente su oltre 1000 frame utilizzando video del mondo reale non curati e grezzi. Il framework è composto da tre componenti principali:

1. Compressore di Memoria Gerarchico Pose-free (HPMC)

Per affrontare il collo di bottiglia computazionale ed eliminare la necessità di espliciti priori geometrici, gli autori introducono una pipeline di distillazione ricorsiva a due stadi:

• Compressione Locale: Per sequenze a breve raggio, un encoder temporale comprime i latenti grezzi direttamente, riducendo la risoluzione temporale di un fattore $k=4$.
• Compressione Globale: Per sequenze a lungo orizzonte che superano un budget di memoria, il modello impiega un meccanismo di finestra scorrevole adattiva. I latenti grezzi vengono partizionati in chunk sovrapposti, compressi localmente e poi distillati ricorsivamente in una rappresentazione globale unificata.
• Ottimizzazione Congiunta: Il compressore è addestrato end-to-end con il backbone DiT (Diffusion Transformer). Ciò consente al modello di apprendere autonomamente quali indizi storici siano salienti per la sintesi futura e la chiusura del ciclo senza metadati di pose esterni, mantenendo un'impronta di memoria strettamente limitata ($T_{max}$) indipendentemente dalla lunghezza totale della sequenza.

2. Etichettatura delle Azioni Sensibile all'Incertezza

Per gestire le stime di pose rumorose nei dati del mondo reale, gli autori propongono una strategia che discretizza il movimento continuo in una logica tri-stato:

• No-operation (Nessuna operazione): Assegnata quando l'entità del movimento è al di sotto di una soglia di rumore ($\tau_1$).
• Azione Discreta: Assegnata quando il movimento supera una soglia di attivazione ($\tau_2$), mappata su direzioni semantiche (ad es. W/A/S/D per la traslazione).
• Incertezza: Assegnata a movimenti ambigui con un basso rapporto segnale-rumore (SNR) compresi tra le due soglie.
  Invece di scartare questi campioni ambigui, il modello li etichetta esplicitamente come "Incertezza". Questo protegge lo spazio delle azioni deterministico dalla corruzione causata da jitter o derive lente delle pose, massimizzando al contempo l'utilizzo dei video grezzi.

3. Strategia di Finetuning ad Alta Densità di Rivisitazione

Guidati da uno studio pilota che rivela come l'attivazione della memoria spaziale dipenda più dalla densità topologica delle traiettorie che dal volume totale dei dati, gli autori impiegano un approccio di addestramento a due stadi:

• Pre-training: Il modello viene addestrato su un dataset su larga scala e dominio aperto (oltre 30 ore) per apprendere diversi priori visivi e dinamiche locali.
• Finetuning: Un dataset compatto di 30 minuti, denominato Revisit-Dense Dataset (RDD), viene utilizzato per attivare la coerenza a lungo raggio. Questo dataset presenta frequenti rivisitazioni di punti di vista e chiusure di cicli, consentendo al modello di apprendere strutture spaziali globali in modo efficiente senza richiedere enormi quantità di dati.

Contributi Chiave

1. Modellazione a Lungo Orizzonte Pose-Free: L'introduzione di HPMC consente la modellazione di mondi interattivi su oltre 1000 frame con un costo computazionale limitato, eliminando la dipendenza dalle pose esplicite della telecamera.
2. Paradigma di Addestramento Robusto: Un nuovo framework per video reali grezzi caratterizzato da un'etichettatura delle azioni sensibile all'incertezza per mitigare il rumore della pose e una strategia di finetuning ad alta densità di rivisitazione per attivare la memoria a lungo raggio.
3. Validazione Empirica: Esperimenti estesi dimostrano che il modello raggiunge prestazioni superiori in termini di qualità visiva, controllabilità dell'azione e coerenza spaziale rispetto ai baseline allo stato dell'arte.

Risultati

Gli autori hanno valutato Infinite-World contro diversi baseline, inclusi HY-World 1.5, Hunyuan-GameCraft, Matrix-Game 2.0 e Yume 1.5, utilizzando un benchmark di 100 scenari diversi con traiettorie a 16 chunk (circa 1000 frame).

• Metriche Quantitative: Infinite-World ha raggiunto punteggi massimi o quasi massimi attraverso le metriche VBench (Fluidità del Movimento, Grado Dinamico, Qualità Estetica).
• Studio Utente: In uno studio utente su larga scala con classifiche ELO, Infinite-World ha ottenuto un punteggio dominante di 1719, superando significativamente il modello successivo (HY-World 1.5 a 1542).
  • Coerenza della Memoria: Classificato 1° (1.92), dimostrando un'efficace mitigazione dell'accumulo di errori su lunghi orizzonti.
  • Fedeltà Visiva: Classificato 1° (1.67), preservando i landmark globali e i dettagli strutturali.
  • Reattività all'Azione: Classificato 1° (1.54), provando che il modello può apprendere mappature azione-risposta robuste anche da traiettorie reali imperfette e rumorose.
• Analisi Qualitativa: I confronti visivi mostrano che, mentre i baseline soffrono di ghosting, distorsione strutturale o un bias di "movimento in avanti", Infinite-World esegue con successo chiusure di cicli a lungo raggio e mantiene la coerenza della scena dopo centinaia di frame.
• Efficienza: L'analisi del consumo di memoria mostra che mentre i baseline non compressi falliscono a circa 180 frame a causa di errori OOM (Out Of Memory), Infinite-World si stabilizza a circa 45GB, supportando l'inferenza oltre i 1300 frame.

Significato e Rivendicazioni

Il documento afferma che Infinite-World colma con successo il "gap di realtà" nella modellazione del mondo. Rimuovendo la dipendenza da priori geometrici perfetti e sviluppando un meccanismo per gestire segnali di controllo rumorosi, dimostra che la simulazione interattiva stabile a lungo orizzonte è realizzabile in ambienti complessi del mondo reale.

Gli autori sottolineano che il loro lavoro fornisce un framework aperto ed efficiente per la modellazione interattiva a lungo orizzonte nel mondo reale, contrapponendosi ai sistemi allo stato dell'arte a codice chiuso. Concludono che il collo di bottiglia per la modellazione a lungo orizzonte non risiede nella quantità di dati, ma nella densità topologica e nella durata delle singole traiettorie, un risultato validato dalla loro capacità di attivare la coerenza di 1000 frame con soli 30 minuti di dati di finetuning. Il lavoro mira a servire come fondamento per futuri simulatori neurali del mondo reale in domini come la guida autonoma e l'IA incarnata (embodied AI).