Riassunto Tecnico: µVLA – Sulla Memoria Ricorrente per la Manipolazione Parzialmente Osservabile nei Modelli VLA

Problema

I modelli Vision-Language-Action (VLA) tipicamente formulano il controllo robotico come predizione del token successivo su sequenze multimodali, assumendo che l'osservazione corrente (potenzialmente aumentata da una breve finestra di contesto) sia una statistica sufficiente per il controllo. Questa assunzione markoviana è valida in contesti pienamente osservabili, ma fallisce sotto osservabilità parziale, dove le informazioni rilevanti per la decisione sono transitorie, occluse o stabilite precedentemente durante l'episodio.

Gli approcci esistenti alla memoria nei VLA spesso combinano la ricorrenza con altre strutture complesse, come sistemi di recupero esterni, strutture di memoria gerarchiche, obiettivi ausiliari (ad es. predizione delle osservazioni passate) o cambiamenti architettonici specifici per il compito. Di conseguenza, il contributo specifico della ricorrenza stessa rimane intrecciato con questi meccanismi circostanti, rendendo difficile isolare se i miglioramenti delle prestazioni derivino dallo stato ricorrente o dai componenti ausiliari.

Metodologia: µVLA

Gli autori presentano µVLA, uno studio di isolamento controllato della ricorrenza all'interno di un forte backbone VLA pre-addestrato (OpenVLA-OFT). La formulazione centrale aumenta il transformer con un set minimo di token di memoria apprendibili ($M_t \in \mathbb{R}^{m \times d}$) trasportati attraverso i timestep e aggiornati tramite la classica auto-attenzione (self-attention).

Scelte di Design Chiave

1. Architettura Minimalista: Il modello aggiunge solo $m$ token di memoria apprendibili alla sequenza di input (posizionati tra la propriocezione e i token testuali). Non vengono introdotti nuovi strati, banche di memoria esterne o moduli di recupero.
2. Regime di Addestramento:
   • Dataloader Episodico: A differenza del normale addestramento con campionamento casuale (shuffled), il modello è addestrato su episodi ordinati temporalmente utilizzando un dataloader round-robin per mantenere la continuità dello stato.
   • Backpropagation Through Time Truncata (TBPTT): Il modello viene perfezionato (fine-tuned) end-to-end con TBPTT su una finestra di $K$ passi. I gradienti fluiscono attraverso la catena ricorrente all'interno della finestra, ma vengono staccati al confine.
   • Nessun Loss Ausiliario: Il modello è addestrato esclusivamente sulla perdita standard di predizione dell'azione (regressione L1), senza obiettivi ausiliari come la predizione dell'osservazione passata.
3. Guardia di Maschera dell'Attenzione (Attention Mask Guard): Un elemento di design critico è una maschera di attenzione modificata che impedisce ai token di memoria di prestare attenzione ai token di azione. Ciò evita una soluzione degenerata in cui il modello copia banalmente il chunk di azione predetto nella memoria, costringendolo invece a codificare gli indizi ambientali rilevanti per il compito.
4. Inferenza a Orizzonte Recedente (Receding-Horizon Inference): Per allineare l'addestramento all'inferenza, il modello utilizza il controllo a orizzonte recedente, interrogando il modello ed eseguendo solo la prima azione di un chunk predetto ad ogni step dell'ambiente. Ciò assicura che gli aggiornamenti della memoria avvengano alla cadenza corretta, evitando il disallineamento tra training e test inerente al chunking open-loop.

Configurazione Sperimentale

Lo studio valuta µVLA su due benchmark:

• MIKASA-Robo: Un benchmark di manipolazione parzialmente osservabile progettato per isolare la dipendenza dalla memoria (ad es. richiamo di indizi, tracciamento dell'occlusione, memoria sequenziale).
• LIBERO: Un benchmark pienamente osservabile utilizzato come controllo per testare eventuali regressioni di performance in contesti markoviani.

Gli autori variano tre parametri per creare una famiglia di modelli: ampiezza della memoria ($m$), lunghezza della TBPTT ($K$) e la regola di aggiornamento della memoria (TBPTT vs. media mobile esponenziale distaccata).

Contributi Chiave

1. Studio di Isolamento Controllato: Questo lavoro fornisce il primo isolamento controllato della ricorrenza in un backbone VLA pre-addestrato, variando la ricorrenza come singolo asse sperimentale senza l'intreccio di recupero, compressione o loss ausiliarie.
2. Famiglia µVLA: L'introduzione di una famiglia parametrizzata di fine-tune ricorrenti di OpenVLA-OFT che condividono lo stesso backbone, ottimizzatore e protocollo di inferenza, differendo solo per la configurazione dello stato ricorrente.
3. Calibrazione delle Capacità: Il paper calibra l' "inviluppo di capacità" della ricorrenza minima integrata nel backbone, identificando i regimi specifici in cui è sufficiente e dove fallisce.

Risultati

Performance su Compiti Parzialmente Osservabili (MIKASA-Robo)

• Compiti di Addestramento: Sui cinque compiti di addestramento (che coprono richiamo di indizi, occlusione e memoria sequenziale), la migliore configurazione µVLA ($m=64, K=2$) ha migliorato il tasso di successo medio (SR) da 0.42 (baseline senza memoria) a 0.84.
  • Sono stati osservati guadagni significativi nei compiti di richiamo degli indizi (ad es. RememberColor5: 0.04 $\to$ 0.93).
• Compiti Held-Out (Semantica Corrispondente): Sui compiti che condividono la stessa semantica di memoria dei compiti di addestramento ma con diversi livelli di difficoltà, il miglior µVLA ha raggiunto uno SR di 0.23, rispetto allo 0.07 della baseline senza memoria.
• Compiti Held-Out (Semantica Nuova): Sui compiti che richiedono strutture di memoria non presenti nel mix di addestramento (ad es. memoria basata solo sulla forma quando addestrata sul colore), le prestazioni sono rimaste vicine alla baseline, indicando che la ricorrenza minima non si generalizza a semantiche di memoria completamente nuove senza ri-addestramento.
• Lunghezza della Troncatura ($K$): È stata osservata una curva di performance a forma di U. $K=2$ ha superato sia $K=1$ (assenza di gradienti tra i passi) che $K=8$ (gradienti più lunghi), suggerendo un punto di equilibrio ottimale tra assegnazione del credito e risoluzione del segnale.

Performance su Compiti Pienamente Osservabili (LIBERO)

• Assenza di Regressione: Sulla suite LIBERO pienamente osservabile, la variante ricorrente più forte ($m=64, K=8$) ha raggiunto un SR medio del 96.2%, eguagliando o superando la baseline senza memoria OpenVLA-OFT. Ciò conferma che l'aggiunta di un canale ricorrente non degrada le prestazioni in contesti markoviani.
• Sensibilità all'Inferenza: I risultati hanno evidenziato l'importanza dell'inferenza a orizzonte recedente. Quando lo stesso modello µVLA è stato valutato con chunking open-loop (aggiornando la memoria solo una volta per chunk), le prestazioni sono crollate (ad es. lo SR di Long-10 è sceso dal 95.8% al 5.4%), dimostrando il critico allineamento tra la cadenza di addestramento e quella di inferenza.

Diagnostica e Interventi

• Interventi Causali: Sostituire i token di memoria con rumore Gaussiano durante l'inferenza ha causato un drastico calo dei tassi di successo nei compiti dipendenti dalla memoria (ad es. RememberColor5: 0.94 $\to$ 0.09), confermando che la policy legge attivamente lo stato ricorrente.
• Rollout dell'Attenzione: L'analisi dell'attenzione ha mostrato che i token di memoria si concentrano sulle regioni degli indizi (ad es. una lampada o una griglia) durante la fase di osservazione e si diffondono durante l'occlusione, allineandosi con le transizioni di fase del compito.
• Generalizzazione: Il modello ha mostrato una parziale robustezza rispetto alle identità degli indizi fuori distribuzione (OOD) (ad es. scambi di colore), ma è degradato significativamente quando la lunghezza della fase (ritardo tra indizio e azione) ha superato l'orizzonte di addestramento.

Significato e Rivendicazioni

Gli autori posizionano µVLA non come un nuovo modello di fondazione architettonico, ma come una calibrazione dell'inviluppo di capacità della ricorrenza minima.

• La Ricorrenza è un Ingrediente Forte: I risultati sostengono che la ricorrenza stessa sia un componente potente e poco studiato nei sistemi VLA. Anche un piccolo set di token apprendibili, addestrato end-to-end senza loss ausiliarie, può cambiare qualitativamente il regime operativo di un VLA, permettendogli di risolvere compiti parzialmente osservabili che sono impossibili per le policy senza memoria.
• Limiti della Ricorrenza Minima: Lo studio rivela limiti chiari. La ricorrenza minima è sufficiente per compiti in cui il requisito di memoria è rappresentato nella distribuzione di addestramento e l'orizzonte temporale è breve. Tuttavia, non si generalizza automaticamente a nuove semantiche di memoria o a dipendenze a lungo termine senza meccanismi di memoria strutturati aggiuntivi.
• Implicazioni di Design: Il lavoro suggerisce che i futuri VLA aumentati dalla memoria dovrebbero separare attentamente i contributi della ricorrenza da quelli del recupero e delle strutture gerarchiche. Il "punto di equilibrio" per la lunghezza della TBPTT ($K=2$) e la necessità della guardia dell'attenzione sono scoperte specifiche e azionabili per il design di VLA ricorrenti efficienti.

In sintesi, il paper dimostra che la ricorrenza da sola, quando isolata e correttamente addestrata, è un meccanismo potente per gestire l'osservabilità parziale nella manipolazione robotica, a patto che le semantiche del compito rientrino nella distribuzione appresa dal modello e che il protocollo di inferenza sia allineato con la cadenza di addestramento.