BPP: Long-Context Robot Imitation Learning by Focusing on Key History Frames

1. Il Problema: Limiti dell'Apprendimento per Imitazione con Memoria

Molti compiti robotici reali (come cercare oggetti in una stanza disordinata o aggiungere ingredienti specifici) richiedono memoria: il robot deve ricordare cosa ha già fatto o visto per prendere decisioni corrette. Tuttavia, le politiche robotiche più performanti attuali sono spesso senza memoria (condizionate solo all'osservazione corrente) o usano finestre temporali molto brevi.

L'approccio naturale per risolvere questo problema è condizionare la politica su una storia completa delle osservazioni passate. Tuttavia, la ricerca ha dimostrato che aggiungere naive (ingenuamente) la storia passata spesso peggiora le prestazioni invece di migliorarle. Le cause principali identificate sono:

• Correlazioni spurie: Le politiche tendono a "agganciarsi" a caratteristiche accidentali delle storie di addestramento che spiegano le azioni dell'esperto ma non generalizzano a nuove traiettorie.
• Problema di Copertura (Coverage): Lo spazio delle possibili storie di osservazione cresce esponenzialmente con l'orizzonte temporale. È impossibile coprire tutte le combinazioni possibili durante la raccolta dei dati (che spesso provengono da operatori umani teleoperati). Di conseguenza, durante il deployment, il robot incontra storie "fuori distribuzione" (OOD) su cui la politica fallisce catastroficamente.
• Inefficacia delle regolarizzazioni: Tecniche esistenti (come obiettivi ausiliari o vincoli architettonici) non risolvono il problema fondamentale della mancanza di copertura, offrendo benefici inconsistenti e dipendenti dal compito.

2. Metodologia: Big Picture Policies (BPP)

Gli autori propongono Big Picture Policies (BPP), un approccio che risolve il problema della copertura cambiando la rappresentazione dell'input invece di modificare l'algoritmo di apprendimento o la raccolta dati.

Concetto Chiave

Invece di condizionare la politica su una sequenza lunga e densa di osservazioni grezze, BPP condiziona la politica su un minimo insieme di fotogrammi chiave (keyframes) semanticamente significativi.

• In molti compiti non-Markoviani, il successo dipende da pochi eventi comportamentali salienti (es. "l'oggetto è stato afferrato", "il cassetto è stato aperto", "un sottobiettivo è stato completato").
• Rappresentare la storia attraverso questi eventi semantici riduce drasticamente lo spazio degli input possibili, aumentando la sovrapposizione tra le distribuzioni di addestramento e di test, pur mantenendo tutte le informazioni necessarie per la previsione delle azioni.

Implementazione Tecnica

1. Rilevamento dei Keyframe: BPP utilizza un modello Vision-Language Model (VLM) pre-addestrato (in questo caso Gemini 3 Pro) come rilevatore di eventi. Il VLM viene interrogato con prompt semplici per determinare se un'osservazione corrente corrisponde a un evento rilevante per il compito.
2. Definizione dei Keyframe: Un keyframe è definito come l'inizio di un evento rilevante (un "bordo ascendente" o rising edge). Se il VLM rileva un evento in fotogrammi consecutivi, viene mantenuto solo il primo per evitare ridondanza.
3. Masking della Latenza: Poiché le query al VLM introducono latenza (3-5 secondi), durante l'addestramento viene applicata una "latency mask". La politica viene addestrata a condizionarsi solo sui keyframe rilevati fino a un tempo $t - \Delta$, simulando realisticamente i ritardi di inferenza che si verificheranno durante il deployment.
4. Architettura: La politica (un Diffusion Transformer) riceve in input l'osservazione corrente e solo i keyframe storici rilevati, invece dell'intera sequenza temporale.

3. Contributi Chiave

1. Analisi del Problema di Copertura: Gli autori dimostrano empiricamente che il fallimento delle politiche condizionate alla storia non è dovuto principalmente a limiti architetturali, ma all'impossibilità di coprire lo spazio esponenziale delle storie durante l'addestramento. Dimostrano che anche la regolarizzazione con stati "golden" (ground-truth) può peggiorare le prestazioni OOD se la copertura dei dati è insufficiente.
2. Proposta BPP: Introduzione di un metodo semplice ma efficace che utilizza i VLM per filtrare le storie di osservazione, riducendo il divario di distribuzione (distribution shift) tra addestramento e deployment senza sacrificare l'espressività.
3. Risultati Sperimentali: Validazione su compiti reali e simulati che richiedono memoria, mostrando un miglioramento significativo rispetto agli stati dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 compiti reali (con piattaforma bimanuale ALOHA 2) e 3 compiti simulati.

• Prestazioni Reali: BPP ha ottenuto un tasso di successo medio superiore del 70% rispetto alla migliore politica di confronto (PTP - Past-Token Prediction) sui compiti reali.
  • Esempi: Nel compito "Drawer Search" (ricerca in cassetti), le politiche naive fallivano completamente (0%), mentre BPP ha raggiunto il 33,3%. Nel compito "Marshmallows", BPP ha raggiunto il 65% contro il 25% della baseline naive.
• Robustezza: BPP mostra una capacità superiore di tracciare i progressi del compito (es. non riapre cassetti già controllati, non ripete azioni inutili dopo un fallimento di presa), evitando i cicli ripetitivi tipici delle politiche senza memoria o quelle che si sovrappongono alle storie di addestramento.
• Efficienza dei Dati: BPP raggiunge prestazioni elevate con meno dati rispetto alle politiche naive. Mentre le politiche naive necessitano di enormi quantità di dati per "scoprire" strutture generalizzabili, BPP riduce l'esposizione a segnali storici spurii, imparando più velocemente.
• Confronto con l'Oracle: In alcuni compiti simulati, BPP ha addirittura superato la politica "Oracle" (che ha accesso allo stato vero e proprio), suggerendo che la rappresentazione basata su keyframe è più adatta all'apprendimento rispetto alla codifica one-hot dello stato.

5. Significato e Implicazioni

Il lavoro di BPP segna un cambio di paradigma nell'apprendimento robotico per imitazione:

• Dal "Tutto" al "Significativo": Dimostra che per compiti a lungo orizzonte, non è necessario (e spesso è dannoso) fornire alla politica l'intera cronologia grezza. È più efficace fornire una sintesi semantica degli eventi rilevanti.
• Ruolo dei VLM: Utilizza i modelli linguistici-visivi non per pianificare le azioni o generare comandi, ma come filtri intelligenti per selezionare le informazioni rilevanti dalla storia, sfruttando la loro capacità di comprensione semantica.
• Scalabilità: L'approccio suggerisce una via per scalare l'apprendimento robotico su compiti complessi e multi-stadio utilizzando dati eterogenei (anche non esperti), trasformando il controllo continuo in una sequenza di "milestone" semantici.

In sintesi, BPP risolve il problema della memoria robotica non memorizzando di più, ma ricordando meglio, focalizzandosi solo sui momenti che contano davvero per il compito.