Riepilogo Tecnico: MemoryVAM

Problematica

Le policy dei modelli di mondo video (video-world-model) apprendono rappresentazioni rilevanti per l'azione prevedendo le osservazioni future, condizionandosi su una finestra di osservazione a breve termine e a lunghezza fissa. Sebbene efficaci per compiti approssimativamente Markoviani, questo design fallisce in compiti di manipolazione a lungo termine e multi-stadio dove l'azione corretta dipende da eventi precedenti che non sono più visibili nella finestra corrente. In tali scenari (ad esempio, "prendi il blocco rosso tre volte"), stati visivamente simili richiedono azioni diverse in base al progresso nascosto del compito (ad esempio, il conteggio attuale). Senza una memoria episodica, questi compiti diventano non-Markoviani, causando il fallimento delle policy quando non riescono a distinguere tra diversi stadi di una sequenza ripetitiva o a ricordare la cronologia spaziale.

Metodologia: MemoryVAM

Gli autori propongono MemoryVAM, un meccanismo di memoria episodica progettato per integrare la cronologia nei modelli di mondo video. L'innovazione principale è il condizionamento a doppia memoria (dual memory conditioning), in cui un insieme compatto di token di memoria influenza sia le predizioni future del backbone video che le decisioni di controllo del decoder dell'azione.

1. Codifica della Cronologia dell'Episodio

Ad ogni istante temporale $t$, il sistema mantiene una cronologia dell'episodio $\mathcal{H}_t$ composta da embedding visivi CLIP dei frame passati. L'uso degli embedding CLIP consente alla memoria di tracciare cambiamenti semantici rilevanti per il compito piuttosto che differenze di pixel a basso livello.

2. Il Modulo Recap-Cue (RC)

Il modulo RC elabora la cronologia a lunghezza variabile in una rappresentazione di memoria a dimensione fissa:

• Recap Compressor: Un Resampler basato su Perceiver mappa la cronologia dell'episodio in una matrice compatta di token di memoria $\mathbf{G}$. Utilizzando query apprese, esso presta attenzione selettiva agli eventi che spiegano il progresso del compito, catturando sia cosa è accaduto sia quando è accaduto tramite una codifica posizionale consapevole dell'ordine.
• Cue Gate: Un modulo leggero stima un punteggio di completamento del compito $q_\omega$ basandosi sulle feature del backbone aggregate, sui token di memoria e sulle istruzioni linguistiche. Ciò consente la terminazione autonoma del compito senza richiedere etichette di progresso per frame durante l'addestramento; la supervisione è derivata dai confini dell'episodio nelle dimostrazioni.

3. Condizionamento a Doppia Memoria (Iniezione)

I token di memoria $\mathbf{G}$ vengono iniettati tramite due percorsi complementari:

• Percorso 1 (Video Backbone): $\mathbf{G}$ viene iniettato nei livelli di cross-attention del backbone video.
  • Per i backbone Cosmos DiT, i token di memoria sono aggiunti alla matrice di condizionamento testuale.
  • Per i backbone SVD UNet (es. VPP), viene introdotto un ramo di memoria separato accanto al ramo testuale.
  • Effetto: Questo assicura che i futuri frame previsti e le feature intermedie del backbone siano condizionati sull'intera cronologia dell'episodio, allineando l'"immaginazione" del modello con il progresso del compito.
• Percorso 2 (Action Decoder): Gli stessi token di memoria $\mathbf{G}$ vengono concatenati con i token di osservazione (derivati dal backbone) e inviati al decoder dell'azione.
  • Effetto: Questo vincola direttamente la distribuzione dell'azione sulla base della memoria episodica, assicurando che la policy selezioni controlli coerenti con la cronologia.

4. Strategia di Addestramento

Il modello impiega una procedura di addestramento in due fasi:

1. Fase 1: Addestra il backbone video e il modulo di memoria utilizzando obiettivi di predizione video, una perdita ausiliaria di ricostruzione delta e la perdita del Cue Gate. Questo insegna alla memoria a codificare informazioni utili per prevedere stati futuri e determinare il completamento del compito.
2. Fase 2: Addestra la policy d'azione sulle feature risultanti condizionate dalla memoria mantenendo stabile il backbone.

Il meccanismo è agnostico rispetto all'architettura, come dimostrato su backbone sia UNet (VPP) che Diffusion Transformer (DiT) (Cosmos).

Contributi Chiave

1. Interfaccia di Doppia Iniezione: Un meccanismo a due percorsi che integra i token compatti di Recap sia nel backbone video che nel decoder dell'azione, permettendo alla cronologia di influenzare congiuntamente i futuri immaginati e le feature di controllo.
2. Modulo Recap-Cue (RC): Un nuovo modulo che combina un compressore basato su Perceiver per la sintesi della cronologia e un Cue Gate per il completamento autonomo del compito, addestrato senza esplicite etichette di progresso per ogni step.
3. Agnosticismo del Backbone: Il metodo è validato attraverso distinti paradigmi di backbone video (UNet e DiT), dimostrando che la memoria episodica è un requisito generale per le policy di modelli di mondo video a lungo termine.

Risultati Sperimentali

Gli autori hanno valutato MemoryVAM su benchmark di simulazione e compiti robotici reali che richiedono il richiamo episodico.

• Benchmark LIBERO-Mem:

  • Nei compiti che richiedono il richiamo episodico (conteggio, sequenziamento, ragionamento spaziale), il modello ha migliorato il tasso di successo medio dal 5% al 42,5% per il backbone UNet e dal 3,0% al 40,5% per il backbone DiT.
  • Gli studi di ablazione hanno mostato che l'uso del solo Percorso 1 (iniezione nel backbone) produceva un successo del 28,5%, mentre il solo Percorso 2 (iniezione nel decoder dell'azione) produceva solo il 7,5%. La doppia iniezione completa era necessaria per le prestazioni ottimali.
  • MemoryVAM ha superato le baseline VLA aumentate dalla memoria (es. MemoryVLA, Gated Memory Policy) e le baseline prive di memoria.

• Esperimenti con Robot Reale:

  • Toy Pickup ($k\times$): 78,3% di successo nei compiti di conteggio (ripetizioni 1x, 3x, 5x).
  • Place and Return: 80,0% di successo nei compiti di richiamo spaziale.
  • Shell Game: 75,0% di successo nei compiti di tracciamento sequenziale che coinvolgono oggetti occlusi.
  • Al contrario, le policy prive di memoria collassavano (0% di successo) in questi compiti quando il progresso del compito non era direttamente osservabile.

• Qualità della Predizione Video:

  • L'iniezione della memoria ha migliorato significativamente la fedeltà dei rollout autoregressivi a lungo termine. Ad esempio, sul backbone UNet, i punteggi FVD sono migliorati da 43,36 a 18,32 a un singolo orizzonte e da 37,81 a 19,84 a un orizzonte di 8x.
  • Il Cue Gate ha ridotto con successo il "rapporto di stop" (movimento post-completamento), impedendo al modello di immaginare azioni non necessarie dopo il raggiungimento di un obiettivo.

Significato e Rivendicazioni

L'articolo sostiene che la memoria episodica debba essere trattata come una componente integrale dello stato del modello di mondo, piuttosto che come un semplice input ausiliario alla policy d'azione. Permettendo alla cronologia dell'episodio di plasmare sia ciò che il robot immagina (predizione futura) sia come la policy agisce (decodifica del controllo), MemoryVAM affronta la natura non-Markoviana dei compiti a lungo termine.

Gli autori affermano che questo approccio offre una via scalabile per i sistemi di memoria, poiché il modulo di memoria è supervisionato dall'obiettivo generativo video (predire i frame futuri) piuttosto che affidarsi esclusivamente a dimostrazioni etichettate con l'azione. Ciò consente alla memoria di apprendere segnali di progresso del compito che sono coerenti con la dinamica visiva dell'ambiente. Il lavoro dimostra che la memoria episodica esplicita è cruciale affinché diverse architetture di backbone video abbiano successo in complessi compiti di manipolazione robotica multi-stadio.