HELM: Harness-Enhanced Long-horizon Memory for Vision-Language-Action Manipulation

1. Il Problema: Fallimenti nei Compiti a Lungo Orizzonte

I modelli Vision-Language-Action (VLA) hanno dimostrato prestazioni eccezionali in compiti di manipolazione robotica a breve termine (es. LIBERO-SPATIAL, ~2.3 sottobiettivi). Tuttavia, falliscono sistematicamente in compiti a lungo orizzonte (es. LIBERO-LONG, ~5.8 sottobiettivi), dove il tasso di successo (TSR) crolla drasticamente (da 91.2% a 58.4% per OpenVLA).

Gli autori identificano che l'estensione della finestra di contesto (context window) da sola non risolve il problema. Analizzando 200 episodi falliti, hanno classificato i fallimenti in tre categorie strutturali ("gap") che persistono indipendentemente dalla scala del modello:

1. Memory Gap (FM - Memory Failure): La finestra di contesto fissa scarta le evidenze dei sottobiettivi completati. Il modello "dimentica" azioni passate (es. aver già posizionato una tazza) e tenta di ripeterle, corrompendo lo stato del compito.
2. Verification Gap (FV - Verification Failure): Le azioni vengono proposte in modo reattivo senza una verifica preventiva di fattibilità. Azioni fisicamente impossibili (es. afferrare oggetti non raggiungibili) o semanticamente errate vengono eseguite silenziosamente, propagando l'errore.
3. Recovery Gap (FR - Recovery Failure): Dopo un fallimento, il modello continua a operare su uno stato "corrotto", causando un effetto valanga di fallimenti nei sottobiettivi successivi.

2. Metodologia: Il Framework HELM

HELM è un framework model-agnostic (indipendente dal modello di base) che avvolge un VLA congelato con tre componenti dedicati per colmare i tre gap identificati. Il ciclo di esecuzione segue la sequenza: Recupera → Propone → Verifica → Esegui/Ripristina.

A. Episodic Memory Module (EMM)

Risolve il Memory Gap.

• Funzionamento: Mantiene un archivio di "keyframe" indicizzati tramite CLIP (ViT-B/32).
• Scrittura: Salva snapshot dello stato (immagine, sottobiettivo, stato di completamento, delta di stato) al completamento di un sottobiettivo, al rilevamento di un fallimento o ogni 20 passi.
• Recupero: Al passo $t$, recupera i $k$ keyframe più simili semanticamente all'osservazione corrente e li inietta come contesto testuale strutturato nell'input linguistico del VLA. Questo permette al modello di "ricordare" azioni completate molto tempo fa.

B. State Verifier (SV) - Contributo Principale

Risolve il Verification Gap. È il contributo di apprendimento centrale del paper.

• Funzionamento: Un MLP leggero (3 strati) addestrato per prevedere la probabilità di fallimento ($p_{fail}$) prima dell'esecuzione dell'azione.
• Input: Riceve una rappresentazione congiunta dello stato visivo corrente ($o_t$), dell'azione proposta ($a_t$), del sottobiettivo ($g_t$) e, crucialmente, del contesto di memoria ($M_t$) recuperato dall'EMM.
• Logica: Se $p_{fail} > \theta_v$ (soglia), l'azione non viene eseguita. La dipendenza dalla memoria è critica: un'azione può essere fisicamente fattibile ma semanticamente errata se contraddice lo storico (es. ri-posizionare un oggetto già messo).

C. Harness Controller (HC)

Risolve il Recovery Gap.

• Funzionamento: Gestisce lo stack dei sottobiettivi e coordina il ciclo.
• Recupero: Se l'SV rileva un alto rischio di fallimento o se un'azione fallisce, l'HC attiva una procedura di rollback: recupera l'ultimo checkpoint valido dall'EMM, ripristina lo stato (o genera un piano di recupero in avanti se il rollback non è possibile) e ripianifica.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente su LIBERO-LONG e CALVIN, confrontando HELM con 9 baseline diverse.

• Prestazioni Principali:

  • Su LIBERO-LONG, HELM (basato su OpenVLA) raggiunge un TSR dell'81.5%, un miglioramento di +23.1 punti percentuali rispetto all'OpenVLA base (58.4%).
  • Estendere la finestra di contesto di OpenVLA a $H=32$ (4 volte il default) porta solo al 63.8% (+5.4 pp), confermando che il problema non è solo la lunghezza del contesto.
  • L'uso di una memoria "Oracle" (stato di verità) porta al 72.4%, dimostrando che l'EMM è efficace ma non l'unico fattore.

• Confronto con Baseline:

  • SV vs. Regole/Ensemble: Il Verificatore Appreso (SV) supera i controlli di fattibilità basati su regole (+6.8 pp) e l'incertezza di ensemble (5 modelli) (+9.5 pp), ma con un costo computazionale molto inferiore (1 modello vs 5).
  • SV vs. LoRA: Adattare il backbone VLA con LoRA usando lo stesso budget di dati (50k passi) porta solo al 69.3%. Questo dimostra che i dati sono più efficaci se usati per addestrare il verificatore di stato piuttosto che per fine-tuning del modello principale.
  • Rollback vs. Recupero in Avanti: Il rollback (ripristino dello stato) è superiore al recupero in avanti, ma HELM-Fwd (solo recupero in avanti) rimane una variante valida per robot reali dove il rollback fisico è impossibile.

• Ablation Study:

  • Rimuovere l'EMM riduce il TSR di 11.2 punti.
  • Rimuovere l'SV riduce il TSR di 8.4 punti.
  • L'SV senza contesto di memoria ("SV w/o mt") perde efficacia (-2.3 pp rispetto all'SV completo), confermando la sinergia tra memoria e verifica.

4. Contributi Chiave

1. Analisi Empirica: Dimostrazione che l'estensione del contesto non risolve i fallimenti a lungo termine nei VLA, identificando tre modalità di fallimento strutturali.
2. Framework HELM: Introduzione di un'architettura modulare (EMM, SV, HC) che integra memoria episodica e verifica preventiva.
3. State Verifier Appreso: Proposta di un predittore di fallimento pre-esecuzione condizionato alla memoria, che supera approcci basati su regole e incertezza.
4. Nuovo Protocollo di Valutazione: Introduzione di LIBERO-Recovery, un protocollo che inietta perturbazioni controllate per testare specificamente la capacità di recupero del sistema.

5. Significato e Implicazioni

Il lavoro di HELM segna un cambio di paradigma: invece di cercare di scalare i modelli VLA rendendoli più grandi o con finestre di contesto più lunghe, propone un'estensione dell'esecuzione (execution-time augmentation).

• Generalizzazione: Il framework è agnostico rispetto al modello di base (funziona bene sia su OpenVLA che su Octo).
• Efficienza: Introduce un overhead computazionale minimo (~12ms per passo) rispetto a soluzioni basate su ensemble o riflessione post-hoc.
• Limitazioni: L'addestramento richiede dati di rollout specifici per ambiente (non zero-shot puro) e il rollback fisico su robot reali rimane una sfida aperta (risolta parzialmente dalla variante forward recovery).

In sintesi, HELM dimostra che per compiti robotici complessi e a lungo termine, la memoria episodica strutturata e la verifica preventiva dello stato sono componenti indispensabili per colmare il divario tra le capacità attuali dei VLA e le esigenze della manipolazione reale.