Riepilogo Tecnico: NativeMEM – Compressione della Memoria Nativa per la Manipolazione Robotica a Lungo Orizzonte

1. Definizione del Problema

I modelli pre-addestrati Vision-Language-Action (VLA) hanno mostrato grande potenziale nel decision-making incarnato (embodied), ma sono fondamentalmente limitati dalla loro natura reattiva. La maggior parte degli attuali VLA condiziona le azioni esclusivamente sull'osservazione corrente e sull'istruzione linguistica, mancando della capacità di trattenere cronologie visive a lungo orizzonte. Questa limitazione è critica per compiti di manipolazione non-Markoviani in cui l'azione corretta dipende dalle interazioni passate, come il tracciamento del conteggio di oggetti, il ricordo di stati occlusi, il richiamo di tentativi falliti o il monitoraggio del progresso di un compito.

Gli approcci attuali all'aumento della memoria affrontano significativi compromessi:

• VLM-Driven Memory: I metodi che utilizzano modelli Vision-Language (VLM) esterni ad alto livello per generare note testuali o sottotitoli spesso richiedono annotazioni costose e faticano a codificare fedelmente dettagli visivi sottili attraverso il linguaggio.
• Moduli di Memoria Esterni: Gli approcci che introducono moduli di memoria appena inizializzati (ad esempio, stati ricorrenti, banche di recupero) all'interno della policy aumentano la complessità architettonica. Poiché questi moduli non sono stati visti durante il pre-addestramento del VLA, rischiano di degradare le prestazioni della policy pre-addestrata e introducono un "dilemma della compressione": una compressione insufficiente porta ad alti costi computazionali, mentre una compressione eccessiva scarta dettagli critici per l'azione.

La sfida centrale è progettare un meccanismo che permetta a un VLA di trattenere cronologie visive a lungo orizzonte e con granularità fine, con un costo di memoria minimo, rimanendo pienamente compatibile con lo spazio dei token della policy pre-addestrata e i suoi meccanismi di attenzione.

2. Metodologia: NativeMEM

Gli autori propongono NativeMEM, una policy VLA che integra una memoria a lungo termine, aggiornata in tempo reale, direttamente nell'architettura del modello pre-addestrato senza planner esterni o nuovi moduli di memoria. L'innovazione principale è la Compressione della Memoria Nativa.

2.1 Compressione della Memoria Nativa

Invece di introdurre un'architettura di memoria separata, NativeMEM riutilizza il proprio encoder visivo del VLA per comprimere ogni frame storico da ogni vista della telecamera in un singolo token di memoria nativo.

• Compressione a Un Singolo Token: Ogni coppia frame-vista viene riassunta in un singolo token ($M=1$), riducendo drasticamente la lunghezza della sequenza rispetto al mantenimento dei full visual tokens.
• Integrazione Nativa: Questi token sono prodotti dallo stesso percorso visivo delle osservazioni correnti e vengono aggiunti alla sequenza di token originale. Ciò consente al VLA pre-addestrato di prestare attenzione alla cronologia a lungo termine utilizzando i propri meccanismi di attenzione esistenti, interpretando i token come "evidenza visiva nativa" piuttosto che come stati esterni.

2.2 Pipeline di Addestramento in Due Fasi

Per garantire che questi token compatti siano sia ricchi di informazioni che allineati con la policy pre-addestrata, gli autori introducono un processo di addestramento in due fasi:

1. Fase 1: Apprendimento di un Tokenizer di Memoria Generico (Supervisionato dall'Azione)

   • Il VLA pre-addestrato è congelato (frozen).
   • Un memory tokenizer, inizializzato dall'encoder visivo nativo del VLA, viene addestrato per comprimere le osservazioni passate.
   • Obiettivo: Il tokenizer è ottimizzato utilizzando l'originale perdita di predizione dell'azione del VLA. Ciò assicura che i token compressi siano "supervisionati dall'azione" (codificando informazioni rilevanti per predire le azioni) piuttosto che "supervisionati dalla ricostruzione" (il che potrebbe mantenere dettagli visivi irrilevanti).
   • Dati: Il tokenizer viene addestrato su un mix di dati di manipolazione standard e compiti che richiedono memoria per apprendere una rappresentazione generale allineata allo spazio dei token del VLA.

2. Fase 2: Fine-tuning Specifico per il Compito

   • Il memory tokenizer appreso è congelato.
   • Il backbone del VLA e la testa dell'azione sono scongelati (unfrozen) e sottoposti a fine-tuning su un compito target specifico utilizzando dimostrazioni limitate.
   • Input: La sequenza di input consiste nell'osservazione corrente, l'istruzione linguistica, lo stato propriocettivo e la sequenza di token di memoria memorizzati aggiunti, derivati dalla cronologia.
   • Questa fase converte un VLA a singolo frame in una policy aumentata dalla memoria utilizzando dati specifici per il compito minimi.

2.3 Inferenza in Tempo Reale

Durante il deployment, il memory tokenizer opera indipendentemente dalla policy VLA. Man mano che arrivano nuove osservazioni, il tokenizer converte le osservazioni in token di memoria ad un'alta frequenza (ad esempio, 10Hz+). La policy VLA semplicemente concatena l'ultima coda di memoria compatta ai suoi token di input. Questo disaccoppiamento permette la ritenzione di una cronologia di minuti con un carico di latenza trascurabile.

3. Contributi Chiave

• Compressione della Memenza Nativa: Uno schema innovativo che comprime i frame storici in singoli token utilizzando l'encoder visivo del VLA stesso, eliminando la necessità di moduli di memoria esterni o planner.
• Tokenizzazione Supervisionata dall'Azione: Una strategia di addestramento che apprende le rappresentazioni di memoria direttamente attraverso l'obiettivo di predizione dell'azione del VLA, garantendo che la cronologia compressa sia rilevante per il decision-making.
• Ritenzione Efficiente a Lungo Orizzonte: Il metodo consente l'attenzione su cronologie di minuti (oltre 160 frame) con un orizzonte da 9 a 40 volte superiore rispetto ai metodi precedenti, mantenendo bassa la latenza di inferenza e l'uso della memoria GPU.
• Alta Efficienza dei Dati: L'approccio raggiunge prestazioni competitive con i precedenti metodi allo stato dell'arte utilizzando solo il 20% dei dati di addestramento.

4. Risultati Sperimentali

Gli autori hanno valutato NativeMEM su compiti di manipolazione dipendenti dalla memoria sia in simulazione che nel mondo reale.

• Prestazioni in Simulazione: Su un benchmark che include compiti RMBench e compiti di pressione di pulsanti, NativeMEM ha raggiunto un tasso di successo medio dell'84,0%, superando significativamente il miglior baseline (Mem-0 al 32,4%) e altri metodi aumentati dalla memoria.
• Prestazioni nel Mondo Reale: Sui robot reali, NativeMEM ha raggiunto un tasso di successo del 98,7% in tre compiti (Click Buttons, Put Back Block e Grocery Checkout Scanning). Notevolmente, ha performato bene nel compito "Grocery Checkout Scanning", che era non visto durante l'addestramento del tokenizer della prima fase, dimostrando una forte generalizzazione.
• Efficienza:
  • Inferenza: NativeMEM supporta fino a 5.000 frame storici entro un budget di memoria di 32 GB e mantiene la reattività in tempo reale (attraendo circa 200 frame sotto i 100ms di latenza).
  • Dati: Con sole 10 dimostrazioni, NativeMEM ha raggiunto il 60% di successo medio, superando Mem-0 di 3,5 volte.
• Studi di Ablazione:
  • Rimuovere l'addestramento in due fasi (scongelando il VLA durante l'apprendimento del tokenizer) ha causato un calo delle prestazioni al 23,2%, evidenziando la necessità di mantenere il VLA congelato per preservare i priori pre-addestrati.
  • L'uso di caratteristiche visive generiche (mean-pooled) invece dei token nativi appresi ha portato al fallimento in compiti che richiedono dettagli fini (ad esempio, Put Back Block).
  • Aggiornamenti sparsi o orizzonti brevi hanno degradato significativamente le prestazioni, confermando la necessità di una copertura densa e a lungo orizzonte.

5. Significato e Rivendicazioni

Il paper sostiene che NativeMEM offra una soluzione unificata per la manipolazione a lungo orizzonte riutilizzando l'encoder visivo esistente del VLA. La sua importanza risiede in:

1. Compatibilità: Permette ai VLA a singolo frame pre-addestrati di accedere alla cronologia a lungo termine senza cambiamenti architettonici o moduli esterni, preservando la natura "nativa" della policy.
2. Scalabilità: Comprimendo la cronologia in un singolo token per frame, supera i colli di bottiglia della lunghezza del contesto e della computazione che tipicamente limitano la ritenzione della memoria nei transformer.
3. Praticità: Dimostra che compiti complessi, dipendenti dalla memoria, possono essere risolti su robot reali con un minimo di dati di fine-tuning e un basso overhead computazionale.

Gli autori riconoscono i limiti, notando che il sistema non è progettato per una memoria persistente su ore o giorni e che la dipendenza dalla supervisione dell'azione potrebbe creare un gap semantico per requisiti di memoria altamente astratti in compiti futuri più complessi. Tuttavia, affermano che NativeMEM colma efficacemente il divario tra le policy VLA reattive e le necessità della manipolazione robotica a lungo orizzonte.