Riassunto Tecnico: Enfold – Piegare la computazione di un Generatore di Mondi nel Calcolo di Rappresentazioni Predittive per un Controllo Embodied Efficiente

1. Problema

I modelli generativi di mondi (WGM) sono emersi come potenti substrati per il controllo embodied, capaci di sintetizzare osservazioni future per anticipare l'evoluzione della scena, le interazioni tra oggetti e il moto a lungo termine. Tuttavia, le attuali strategie di implementazione per questi modelli affrontano un collo di bottiglia fondamentale di efficienza. Gli approcci dominanti si affidano tipicamente a interfacce a livello di output:

• Immagina-e-agisci (Imagine-then-act): Materializzare un intero futuro visivo prima di recuperare un'azione.
• Modelli Mondo-Azione Unificati: Decodificare congiuntamente video e azioni, il che spesso richiede l'esecuzione del generatore durante l'inferenza.
• Contesto Latente: Utilizzare feature interne o cache da un ramo generativo, il che tuttavia richiede spesso l'esecuzione del processo generativo o si affida a encoder congelati che non espongono la computazione generativa.

Il problema centrale affrontato da questo lavoro è se la computazione interna che costruisce un futuro — specificamente gli stati intermedi di un generatore di mondi che organizzano lari, la disposizione spaziale e l'interazione attraverso livelli di astrazione — possa essere internalizzata in una rappresentazione inferita dal presente da solo. Se efficace, ciò permetterebbe a un robot di accedere a una conoscenza strutturale orientata al futuro senza eseguire il costoso ramo generativo durante il ciclo di controllo, riducendo così la latenza pur mantenendo la capacità predittiva.

2. Metodologia: Il Framework Enfold

Enfold propone un framework che trasferisce la computazione generativa del futuro di un modello di mondo in una rappresentazione predittiva basata solo sul presente. L'architettura consiste in tre componenti: un encoder predittivo ($U_\phi$), un modello di mondo generativo ($G_\theta$) e leggeri task head.

2.1 Meccanismo Core: Accoppiamento Bidirezionale

Il framework è addestrato tramite due obiettivi accoppiati che separano i ruoli del generatore e dell'encoder:

1. Dal Generatore alla Rappresentazione (G2R):

   • Processo: Durante l'addestramento, il generatore ($G_\theta$) elabora un chunk di video futuro osservato ($y$) sotto un passaggio di teacher-forcing, esponendo i suoi stati nascosti intermedi ($H_\theta$) attraverso vari livelli di profondità della rete e timestep di corruzione.
   • Supervisione: Un encoder predittivo ($U_\phi$), che vede solo il contesto visivo corrente ($c$) e l'istruzione linguistica ($e$), viene addestrato per predire questi stati multi-livello del generatore.
   • Costruzione del Target: Il target non è un singolo livello, ma una concatenazione di stati selezionati da diverse profondità ($A(H_\theta)$), elaborati da un head condizionato al timestep ($F_\omega$). Ciò tiene conto del fatto che il livello più informativo cambia con il livello di corruzione e la profondità.
   • Vincolo: Gli stati del generatore sono staccati dai gradienti del task. L'encoder impara a predire la struttura della transizione futura senza essere modellato dai risultati specifici dell'azione.

2. Dalla Rappresentazione alla Generazione (R2G):

   • Processo: La rappresentazione appresa ($\bar{z}$, una copia con stop-gradient dell'output dell'encoder) viene reimmessa per condizionare la generazione futura nel generatore ($G_\theta$).
   • Obiettivo: Il generatore è addestrato per predire il campo di velocità del futuro condizionato da $c$, $e$, e $\bar{z}$.
   • Scopo: Questo funge da test funzionale, assicurando che la rappresentazione $z$ contenga informazioni predittive sufficienti per migliorare la modellazione futura, piuttosto che essere solo un riassunto specifico del policy.

3. Readout di Task Staccati (Detached Task Readouts):

   • I task head (ad esempio, la predizione dell'azione) leggono la rappresentazione $z$ (tramite stop-gradient) per predire le azioni.
   • Design Cruciale: I gradienti del task non fluiscono all'indietro nell'encoder $U_\phi$. Ciò assicura che la rappresentazione mantenga la struttura di transizione anticipata dal presente, piuttosto che sovra-adattarsi alle variazioni di disturbo del particolare traiettoria dell'insegnante.

2.2 Inferenza e Implementazione

In fase di deployment, il sistema esegue solo l'encoder predittivo e l'action head. Il generatore di video non viene eseguito per la predizione dell'azione.

• Predizione dell'Azione: L'action head genera chunk di azioni direttamente da $z$.
• Immaginazione del Futuro: Se un futuro visivo è esplicitamente richiesto (ad esempio, per la visualizzazione), il generatore $G_\theta$ viene utilizzato per campionare da $p_\theta(y | c, e, z)$.
• Riduzione della Latenza: Rimuovendo il generatore dal percorso di controllo, Enfold ottiene riduzioni significative della latenza rispetto ai metodi che richiedono rollout video o decoding accoppiato.

3. Contributi Chiave

Il paper rivendica i seguenti contributi:

1. Formulazione dello Spazio di Supervisione Predittiva: Gli autori formulano la computazione interna multi-livello di un generatore di mondi come uno spazio di supervisione predittiva, caratterizzando come la sua utilità e stabilità varino attraverso la profondità della rete e i livelli di corruzione.
2. Il Framework Enfold: Sviluppo di un metodo che destilla la computazione generativa del futuro in una rappresentazione basata solo sul presente, fungendo da interfaccia condivisa sia per la generazione del futuro che per i readout di task con stop-gradient.
3. Controllo Efficiente Senza Rollout: Dimostrazione che questa interfaccia supporta un controllo competitivo in compiti simulati e reali senza eseguire il generatore nel percorso dell'azione, migliorando simultaneamente la predizione video futura e riducendo sensibilmente la latenza dell'azione.

4. Risultati Sperimentali

Il framework è stato valutato su LIBERO (40 compiti condizionati al linguaggio), RoboTwin2.0 (50 compiti a due braccia con randomizzazione del dominio) e manipolazione bimanuale nel mondo reale (piattaforma AgileX).

4.1 Performance di Controllo e Latenza

• LIBERO: Enfold ha raggiunto il 97,8% di successo medio senza pre-addestramento embodied, superando Fast–WAM (97,6%) e eguagliando o superando modelli più grandi come $\pi0$ e OpenVLA.
  • Latenza: Enfold ha ridotto la latenza dell'azione a 134 ms (3,7 volte più veloce di Fast–WAM). La variante ottimizzata Enfold-Flash ha raggiunto i 49 ms (10,1 volte più veloce).
• RoboTwin2.0: Enfold ha raggiunto il 91,77% di successo medio (clean e randomized), comparabile a Fast–WAM (91,83%) e leggermente inferiore a LingBot-VA (92,20%), nonostante l'assenza di pre-addestramento embodied.
• Mondo Reale: Su quattro compiti bimanuali, Enfold ha ottenuto un punteggio di completamento in-distribution dell'89,7%, superando significativamente Fast–WAM (77,8%) e $\pi0.5$ (86,1%). Sotto shift out-of-distribution (OOD), Enfold ha mantenuto un punteggio del 76,6%, superando Fast–WAM di 6,6 punti.

4.2 Adattamento e Coerenza Controfattuale

• Test di Intervento: Quando un intervento umano ha alterato la scena (ad esempio, spostando un oggetto) mentre l'obiettivo rimaneva fisso, le azioni eseguite da Enfold e le continuazioni immaginate si sono adattate al nuovo stato.
• Significato: Questo comportamento contrasta con il replay di traiettorie fisse, fornendo evidenza qualitativa che la rappresentazione codifica la coerenza controfattuale e può ri-pianificare in base al presente alterato.

4.3 Analisi di Ablazione e della Rappresentazione

• Target di Supervisione: La supervisione dello stato del generatore multi-livello ha superato sia la predizione dei pixel futuri che i target basati solo sull'azione.
• Validazione R2G: Il condizionamento del generatore sulla rappresentazione appresa ha migliorato le metriche di predizione video futura (PSNR, SSIM, LPIPS), confermando l'utilità della rappresentazione oltre il semplice controllo.
• Soppressione del Disturbo (Nuisance): L'analisi ha mostrato che Enfold sopprime le variazioni di disturbo (ad esempio, cambiamenti di illuminazione, rumore di generazione) presenti nelle raw feature del generatore, preservando al contempo la struttura rilevante per il task.
• Codifica Orientata al Futuro: I probe hanno rivelato che la rappresentazione diventa progressivamente più predittiva delle regioni della scena che cambiano su orizzonti più lunghi (ad esempio, braccia robotiche in movimento e oggetti manipolati) rispetto alle feature visive statiche.
• Geometria dei Token: La visualizzazione della similarità dei token ha mostrato che Enfold organizza la rappresentazione per evidenziare le relazioni di interazione (contatto gripper-oggetto) piuttosto che la semplice similarità visiva.

5. Significato e Rivendicazioni

Il paper sostiene che Enfold riconsidera il ruolo di un generatore di mondi da simulatore a runtime a fonte di supervisione predittiva strutturata durante l'addestramento.

• Internalizzazione della Computazione: La rivendicazione principale è che "il futuro non deve essere materializzato ad ogni passo se la sua struttura interna può essere piegata (enfolded) nel presente".
• Asimmetria: Il framework sfrutta un'asimmetria in cui l'encoder predice stati stocastici, dipendenti dal futuro, senza avere accesso al futuro. Ciò forza l'encoder a mantenere strutture di transizione che sono anticipabili dal presente, piuttosto che riprodurre ogni variazione di disturbo dell'insegnante.
• Efficienza vs Capacità: I risultati dimostrano che rimuovere il ramo generativo dal ciclo di controllo non sacrifica la qualità del controllo; al contrario, permette prestazioni in tempo reale (latenza sub-50ms) mantenendo la capacità di "immaginare" i futuri quando esplicitamente richiesto.
• Generalizzazione: Il metodo mostra robustezza agli shift di distribuzione e agli interventi umani, suggerendo che la rappresentazione appresa cattura una comprensione dell'ambiente più causale e adattabile rispetto ai semplici meccanismi di replay di traiettorie.

Gli autori rimangono modesti riguardo all'ambito, notando che l'evidenza degli interventi è qualitativa e che la robustezza sotto grandi shift di distribuzione (rispetto a modelli con pesante pre-addestramento) rimane una sfida aperta. Tuttavia, stabiliscono un principio più ampio: una ricca computazione generativa può essere internalizzata durante l'apprendimento e riutilizzata efficientemente per il controllo.