Riepilogo Tecnico: Apprendimento Adattivo Informato dal Fallimento (AFIL) per Modelli Visione-Linguaggio-Azione

1. Enunciato del Problema

I modelli Visione-Linguaggio-Azione (VLA) sono emersi come un paradigma scalabile per la manipolazione robotica, sfruttando rappresentazioni visione-linguaggio preaddestrate su larga scala per abilitare il processo decisionale incarnato. Tuttavia, i modelli VLA attuali soffrono di una significativa fragilità durante il dispiegamento. Questa limitazione deriva principalmente dalla loro dipendenza dal cloning comportamentale basato solo sul successo. I dati di addestramento consistono tipicamente in traiettorie teleoperate raccolte in ambienti confinati, che mancano di segnali correttivi per stati subottimali o non visti.

Di conseguenza, le politiche addestrate esclusivamente su dimostrazioni di successo tendono a sovradattarsi a varietà comportamentali ristrette. Quando si verificano errori di esecuzione minori, questi si accumulano rapidamente in fallimenti irrecuperabili e fuori distribuzione. Sebbene lavori recenti suggeriscano che l'apprendimento dai dati di fallimento possa migliorare la robustezza, gli approcci esistenti affrontano limitazioni critiche:

• Progettazione Manuale: Molti metodi si basano su tassonomie di fallimento create a mano (ad esempio, definendo categorie specifiche come "scivolamento" o "presa incompleta"), che richiedono competenze di dominio e non riescono a catturare la diversità stocastica dei fallimenti del mondo reale.
• Dipendenza Umana: Il recupero dipende spesso da euristiche specifiche del compito o dall'intervento umano in tempo reale, limitando la scalabilità.
• Costo Computazionale: Applicare una guida negativa (simile al prompting negativo nella generazione di immagini) alle azioni robotiche sequenziali non è banale. I metodi convenzionali richiedono spesso modelli separati per le distribuzioni desiderate e indesiderate, il che è computazionalmente proibitivo per i sistemi VLA costruiti su grandi backbones di Modelli Visione-Linguaggio (VLM).

2. Metodologia: Apprendimento Adattivo Informato dal Fallimento (AFIL)

Gli autori propongono l'Apprendimento Adattivo Informato dal Fallimento (AFIL), un framework end-to-end progettato per politiche VLA basate su diffusione e matching di flussi. AFIL sfrutta le traiettorie di fallimento come guida negativa adattiva per orientare la generazione di azioni lontano dalle regioni soggette a fallimenti.

2.1 Architettura del Generatore di Azioni Duale (DAG)

AFIL introduce un'architettura Dual Action Generator (DAG) che apprende congiuntamente sia dai dati di successo che da quelli di fallimento, mantenendo l'efficienza dei parametri:

• Backbone Condiviso: Entrambi i generatori condividono un comune backbone VLM preaddestrato ($\Phi_{VLM}$) per la percezione visiva e l'ancoraggio semantico.
• Teste Duali: L'architettura impiega due generatori di azioni distinti:
  1. Generatore di Successo ($\mathcal{G}_{succ}$): Addestrato esclusivamente su traiettorie di successo per modellare la distribuzione $p_{succ}(a | o, \ell)$.
  2. Generatore di Fallimento ($\mathcal{G}_{fail}$): Addestrato esclusivamente su traiettorie di fallimento per modellare la distribuzione $p_{fail}(a | o, \ell)$.
• Generazione Online di Fallimenti: Invece di affidarsi all'annotazione manuale, AFIL genera traiettorie di fallimento online eseguendo un VLA preaddestrato sotto esecuzione condizionata al compito. Queste traiettorie catturano naturalmente modalità di errore emergenti e cumulativi.

2.2 Strategia di Addestramento

Il modello è addestrato su un dataset misto $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$.

• Per le politiche basate su diffusione, ogni generatore prevede il rumore $\epsilon_\theta$ e minimizza l'obiettivo di diffusione standard sul rispettivo dataset.
• Per le politiche di matching di flussi, le teste prevedono campi di velocità per trasportare i campioni dal rumore alla distribuzione dei dati.
• Crucialmente, gli obiettivi di addestramento generativi sottostanti rimangono invariati; l'innovazione risiede nella struttura di addestramento congiunto e nel meccanismo di guida al momento dell'inferenza.

2.3 Campionamento Adattivo Informato dal Fallimento

All'inferenza, AFIL impiega un meccanismo di guida dinamico ispirato al Prompting Negativo nella generazione testo-immagine. Invece di utilizzare una scala di guida statica, AFIL modula adattivamente la forza della guida negativa in base alla divergenza tra le previsioni di successo e di fallimento a ogni passo di diffusione.

Il punteggio guidato $\epsilon^*_{FI}$ è calcolato come:
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
Dove la scala di guida adattiva $\hat{\lambda}_\eta$ è determinata dalla similarità coseno tra i vettori di rumore previsti dai generatori di successo e di fallimento:
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

Razionale per l'Adattività:

• Fasi Iniziali: All'inizio di un episodio, le esecuzioni di successo e fallimento spesso condividono movimenti di raggiungimento simili. Qui, la similarità coseno è alta, risultando in una scala di guida bassa per evitare di sopprimere azioni valide.
• Fasi di Divergenza: Man mano che la traiettoria procede, se emerge una modalità di fallimento (ad esempio, far cadere un oggetto), le previsioni divergono. La similarità coseno diminuisce, aumentando la scala di guida per respingere attivamente la politica dalla varietà di fallimento e indirizzarla verso comportamenti correttivi.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework AFIL: L'introduzione dell'Apprendimento Adattivo Informato dal Fallimento per VLA basati su diffusione e flussi, utilizzando rollout di fallimento generati online come una forma principiale di guida negativa adattiva per la generazione di azioni sequenziali.
2. Architettura DAG-VLA: Un'architettura innovativa che apprende congiuntamente comportamenti di successo e di fallimento con un backbone VLM condiviso, abilitando un apprendimento di politiche consapevole dei fallimenti efficiente con un sovraccarico di parametri limitato.
3. Validazione Empirica: Dimostrazione che AFIL migliora costantemente i tassi di successo e la robustezza attraverso compiti di manipolazione diversificati sia in dominio che fuori dominio, inclusi scenari a breve e lungo orizzonte.

4. Risultati Sperimentali

Gli autori hanno valutato AFIL sui benchmark ManiSkill e LIBERO utilizzando un backbone $\pi0.5$.

4.1 Prestazioni In-Dominio (ManiSkill)

• Compiti a Breve Orizzonte: AFIL ha migliorato significativamente i tassi di successo rispetto alle baseline basate solo sul successo. Ad esempio, in "Sollevare il perno in verticale", i tassi di successo sono aumentati dal 70,7% (Solo Successo) al 90,7% (Adaptive-FIL).
• Compiti a Lungo Orizzonte: I guadagni sono stati più pronunciati in compiti complessi e multi-step dove gli errori si accumulano. In "Posizionare la lattina sul piatto e la banana sul piatto", i tassi di successo sono saliti dal 39,3% al 71,3%, superando il campionamento informativo del fallimento statico di oltre il 12%.
• Ablazione: Lo studio ha confermato che la guida adattiva ($\alpha=1.0$) supera la guida statica, in particolare nel bilanciare la repulsione delle modalità di fallimento senza sopprimere azioni valide durante le fasi iniziali della traiettoria.

4.2 Valutazione sui Benchmark (LIBERO)

• AFIL ha raggiunto prestazioni all'avanguardia su tutte e quattro le suite LIBERO (Spaziale, Oggetto, Obiettivo e Lungo).
• Sulla sfida LIBERO-10 (lungo orizzonte), il metodo ha migliorato le prestazioni della baseline $\pi0.5$ dal 92,4% al 95,8%.
• Il tasso di successo medio su tutte le suite è migliorato dal 96,9% al 98,4%, dimostrando che anche politiche preaddestrate robuste beneficiano della guida adattiva ai fallimenti.

4.3 Valutazione Fuori Dominio (OOD)

• In scenari che coinvolgono oggetti non visti, geometrie nuove e ambienti affollati, la politica basata solo sul successo è degradata significativamente (ad esempio, 10,7% su Fruit Sorting).
• AFIL ha dimostrato una generalizzazione robusta, raggiungendo un successo del 64,0% su Fruit Sorting, superando significativamente sia la baseline basata solo sul successo che la baseline "Successo + Correzione del Fallimento" senza guida adattiva.

5. Significato e Affermazioni

Il documento afferma che AFIL offre un meccanismo scalabile ed efficiente per la generazione robusta di azioni robotiche senza richiedere:

• Modalità di fallimento o tassonomie create a mano.
• Euristiche di recupero specifiche per il compito.
• Modelli VLA separati e su larga scala per il rilevamento dei fallimenti.

Modellando esplicitamente le distribuzioni di fallimento e utilizzandole come guida negativa adattiva, AFIL affronta la fragilità intrinseca nell'addestramento basato solo sul successo. Gli autori ipotizzano che questo approccio fornisca una direzione promettente per lo sviluppo di politiche VLA capaci di generalizzare a scenari di dispiegamento realistici dove errori, spostamenti di distribuzione e la necessità di recupero sono inevitabili. Il metodo è presentato come agnostico rispetto al modello, applicabile a qualsiasi politica VLA basata su diffusione o matching di flussi.