Sintesi Tecnica: Modelli di Mondo Latente a Lunghezza Variabile per la Pianificazione a Lungo Orizzonte

1. Definizione del Problema

I modelli di mondo (world models) sono emersi come un paradigma per la costruzione di agenti intelligenti attraverso l'apprendimento di modelli predittivi della dinamica ambientale. Sebbene i recenti modelli di mondo latente (ad esempio, architetture di tipo JEPA) offrano alternative efficienti alla predizione nello spazio dei pixel operando in spazi di rappresentazione compatti, essi affrontano limitazioni significative nella pianificazione a lungo orizzonte.

Le problematiche principali identificate sono:

• Errori Composti: I modelli esistenti si affidano tipicamente alla predizione a singolo passo ($t \to t+1$). Per compiti a lungo orizzonte, questi modelli devono essere eseguiti ricorsivamente, causando un rapido accumulo di errori di predizione, che porta al drift temporale e al degrado della qualità della traiettoria.
• Disallineamento tra Addestramento e Pianificazione: La maggior parte dei modelli viene addestrata con un obiettivo di predizione a passo fisso. Ciò fornisce supervisione solo su una scala temporale locale, fallendo nell'ottimizzare esplicitamente la coerenza a lungo raggio. Di conseguenza, il segnale di addestramento non si allinea con la natura dei problemi di pianificazione a lungo orizzonte.
• Rigidità Architetturale: Gli attuali modelli di mondo latente incorporano spesso le azioni tramite meccanismi di condizionamento dedicati (ad esempio, strati FiLM o cross-attention) che fondono le azioni negli stati latenti. Questo design accoppia strettamente il modello a un layout di azione fisso (solitamente un'azione per passo), rendendo difficile disaccoppiare i contributi di più azioni o gestire naturalmente sequenze di azioni a lunghezza variabile.

2. Metodologia: Modelli di Mondo Latente a Lunghezza Variabile (VLWM)

Gli autori propongono VLWM, un framework progettato per apprendere la dinamica dell'ambiente latente attraverso molteplici orizzonti di predizione all'interno di un singolo modello.

2.1 Supervisione a Lunghezza Variabile

Inveve di limitare la supervisione al passo successivo immediato, VLWM addestra un singolo predittore $g_\phi$ per prevedere lo stato latente a un offset futuro arbitrario $k \ge 1$. L'obiettivo di addestramento è:
$$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$$
dove $s_t$ è lo stato latente corrente, $a_{t:t+k-1}$ è un segmento di azione a lunghezza variabile di lunghezza $k$, e il target è lo stato latente al tempo $t+k$. Questo unifica la dinamica a breve termine e la coerenza semantica a lungo raggio sotto un unico obiettivo.

2.2 Formulazione "Action-as-Token"

Per supportare nativamente sequenze di azioni a lunghezza variabile, VLWM si discosta dal condizionamento interno agli strati. Inveve, tratta gli embedding delle azioni come token di primo livello (first-class transformer tokens).

• Sequenza di Input: Il modello riceve una sequenza $X$ contenente una cronologia di token di stato seguiti da un numero variabile di token di azione ($e_t, \dots, e_{t+k-1}$).
• Meccanismo: I token di stato e di azione sono distinti da embedding di tipo additivi. Il transformer è causale, e il latente predetto $\hat{s}_{t+k}$ viene letto direttamente dall'output dell'ultimo token della sequenza.
• Vantaggio: Questo elimina la necessità di interfacce di condizionamento dell'azione predefinite, permettendo al modello di condizionarsi su un numero arbitrario di azioni passate senza modifiche strutturali.

2.3 Strategia di Addestramento con Curriculum

L'addestramento diretto con orizzonti di predizione ampi fin dall'inizio è instabile a causa di gradienti rumorosi e fallimenti dell'ottimizzazione. VLWM impiega una strategia di apprendimento con curriculum:

• L'addestramento è diviso in fasi. Nella fase $j$, l'orizzonte $k$ è campionato uniformemente da $\{1, 2, \dots, j\}$.
• Il modello parte con $k=1$ e amplia progressivamente l'intervallo degli orizzonti campionati fino a un massimo $K_{max}$.
• Ciò assicura che la semantica a lungo raggio sia costruita su dinamiche a breve orizzonte ben apprese, stabilizzando l'ottimizzazione.

2.4 Pianificazione con Salti a Lunghezza Variabile

Durante l'inferenza, l'orizzonte di pianificazione $H$ è partizionato in blocchi contigui $H = k_1 + k_2 + \dots + k_M$. Il pianificatore valuta la simulazione (rollout) come una sequenza di salti latenti a lunghezza variabile piuttosto che come predizioni ricorsive a singolo passo. Il documento propone tre strategie di pianificazione:

1. P1 (Fissa ma Adattiva al Compito): Utilizza una dimensione di blocco costante $k^*$ selezionata per compito (piccola per un controllo fine, grande per obiettivi a lungo orizzonte).
2. P2 (Campionamento a Orizzonte Casuale): Campiona dimensioni di blocco uniformemente da $\{1, \dots, K_{max}\}$ ad ogni confine.
3. P3 (Da Lungo a Breve): Inizia con blocchi grandi per coprire la struttura a lungo raggio e riduce progressivamente le dimensioni dei blocchi verso la fine per raffinare le dinamiche fini (una ricerca da grossolano a fine).

3. Contributi Chiave

1. Framework Unificato: Introduzione di VLWM, un framework che apprende la dinamica latente attraverso molteplici orizzonti e supporta naturalmente sequenze di azioni a lunghezza variabile tramite una formulazione "action-as-token".
2. Addestramento e Pianificazione Stabili: Proposta di una strategia di apprendimento con curriculum scalabile per un addestramento stabile a lunghezza variabile e una suite di algoritmi di pianificazione che sfruttano adattivamente diversi orizzonti di predizione all'interno di un singolo modello.
3. Validazione Empirica: Dimostrazione che VLWM supera costantemente i modelli a orizzonte fisso (specificamente LeWM) nei benchmark di pianificazione a lungo orizzonte, con analisi che mostrano una migliore prevedibilità a lungo raggio e una migliore controllabilità a valle.

4. Risultati Sperimentali

Gli autori hanno valutato VLWM su tre ambienti di pianificazione condizionati all'obiettivo: PushT (manipolazione 2D), OGBench-Cube (manipolazione robotica 3D) e TwoRoom (navigazione 2D).

• Guadagni di Performance: VLWM ha ottenuto un miglioramento medio del 13% rispetto allo stato dell'arte LeWM attraverso i dataset. I guadagni sono stati più significativi nei regimi a lungo orizzonte (ad esempio, su TwoRoom con un orizzonte di 100 passi, il tasso di successo è migliorato dal 36% con LeWM al 68% con VLWM).
• Mitigazione dell'Errore: Le visualizzazioni hanno mostrato che, mentre le simulazioni ricorsive di LeWM subivano drift e fallivano nel superare i confini ambientali (ad esempio, le porte), i salti a lunghezza variabile a blocchi di VLWM rimanevano vicini alle traiettorie reali (ground-truth).
• Qualità della Rappresentazione: Le valutazioni tramite linear probe su encoder congelati hanno rivelato che VLWM produce latenti con una maggiore correlazione di Pearson per le proprietà fisiche (ad esempio, l'angolo del blocco) rispetto a LeWM, suggerando una migliore cattura dei cambiamenti di stato semantico lenti.
• Necessità del Curriculum: Gli studi di ablazione hanno confermato che la strategia di addestramento con curriculum è essenziale per un addestramento stabile a lunghezza variabile, particolarmente su compiti che richiedono una pianificazione estesa.

5. Significato e Rivendicazioni

Il documento sostiene che VLWM fornisce un paradigma semplice ma efficace per migliorare la predizione e la pianificazione a lungo orizzonte nei modelli di mondo latenti.

• Oltre l'Ingegneria: Gli autori sostengono che la difficoltà nella pianificazione a lungo orizzonte non sia solo un problema ingegneristico, ma una conseguenza degli obiettivi di addestramento. Spostando la supervisione da passo fisso a lunghezza variabile, VLWM allinea il segnale di addestramento con i requisiti del ragionamento a lungo orizzonte.
• Interfaccia Unificata: Il framework assorbe una gamma di strategie a orizzonte fisso o gerarchico all'interno di un singolo modello addestrato, eliminando la necessità di policy separate di alto e basso livello o moduli ausiliari.
• Direzione Futura: I risultati suggeriscono che la supervisione a lunghezza variabile è un passo fondamentale verso algoritmi di pianificazione più robusti, offrendo un'interfaccia flessibile dove i pianificatori possono adattare la granularità della predizione alle specifiche esigenze del compito.