VLAs are Confined yet Capable of Generalizing to Novel Instructions

1. Enunciato del Problema

I modelli Vision-Language-Action (VLA) hanno dimostrato prestazioni elevate nelle attività in-distribution quando vengono fine-tunati con dimostrazioni specifiche. Tuttavia, faticano significativamente con le attività Out-of-Distribution (OOD), in particolare quelle che richiedono estrapolazione (ricombinare abilità apprese in modi nuovi).

• Il Problema Centrale: Un VLA potrebbe imparare con successo "metti la crema di formaggio in una ciotola" e "metti una ciotola su un armadio" individualmente, ma fallire nell'eseguire il compito estrapolato "metti la crema di formaggio sull'armadio", anche se i primitivi di movimento costituenti (presa, raggiungimento) sono già appresi.
• La Domanda: I VLA si limitano a sovradattarsi alle traiettorie dimostrate, oppure apprendono rappresentazioni interne componibili che supportano una generalizzazione più ampia?
• Il Divario: Manca una serie di benchmark adatta per testare questo aspetto, poiché le attività OOD esistenti sono spesso troppo difficili (ad esempio, richiedono fisica completamente nuova) o troppo semplici. Gli autori propongono che un benchmark valido debba consistere in compiti che il modello dovrebbe essere in grado di risolvere combinando abilità esistenti, ma che attualmente non riesce a risolvere autonomamente.

2. Metodologia

Il documento introduce un framework basato sull'Interpretabilità Meccanica per sondare e manipolare gli stati interni dei VLA, concentrandosi specificamente sul modello $\pi_0$.

A. Estrazione del Latente Testuale

Gli autori ipotizzano che le rappresentazioni delle abilità specifiche del compito siano codificate negli stati nascosti dei token di testo (descrizioni del compito).

• Definizione: Un Latente Testuale ($T$) è un vettore specifico del compito derivato mediando gli stati nascosti dei token di testo attraverso tutti i livelli del transformer e più episodi di dimostrazione per un compito specifico.
• Estrazione: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$, dove $h_T(i)$ rappresenta gli stati nascosti dei token di testo al timestep $i$.
• Funzione: Iniettare $T$ nuovamente nel flusso residuo del modello (specificamente negli stati nascosti dei token di testo) può ricostruire il comportamento del compito associato anche senza il prompt testuale originale.

B. Interpolazione del Latente Testuale (TLI)

Per ottenere l'estrapolazione, gli autori propongono di mescolare i latenti testuali di due compiti base per creare un nuovo comportamento composito.

• Meccanismo: Invece di interpolare token di testo discreti (il che è impossibile), interpolano i latenti testuali ($T_1$ e $T_2$) all'interno del flusso residuo.
• Formula: Al timestep $i$, lo stato nascosto viene modificato come:
  $h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
  dove $\alpha = i/\lambda$ controlla la velocità di transizione dal Compito 1 al Compito 2.
• Effetto: Questo guida il modello a iniziare con il comportamento del Compito 1 e transizionare fluidamente al Compito 2, "cucendo" efficacemente le sotto-traiettorie insieme per risolvere un compito estrapolato nuovo.

C. Il Benchmark Libero-OOD

Gli autori introducono libero-ood, una nuova suite di benchmark contenente 20 compiti estrapolati derivati dalle suite LIBERO standard (libero-goal, libero-spatial, libero-object).

• Progettazione: Ogni compito richiede di combinare una posizione di presa appresa da un compito e una posizione di posizionamento appresa da un altro. La traiettoria specifica che collega questi due punti non è mai stata vista durante l'addestramento.
• Obiettivo: Testare se i VLA possono ricombinare autonomamente le rappresentazioni delle abilità apprese.

3. Contributi Chiave

1. Scoperta di Rappresentazioni delle Abilità Componibili: Il documento dimostra che i VLA (in particolare $\pi_0$) possiedono rappresentazioni interne delle abilità che sono individuali ma componibili. Sebbene il modello non possa combinarle autonomamente, può essere forzato a farlo tramite la manipolazione del latente testuale.
2. Interpolazione del Latente Testuale (TLI): Una nuova tecnica di intervento al momento dell'inferenza che mescola le rappresentazioni dei compiti per abilitare l'estrapolazione, aumentando i tassi di successo su compiti nuovi senza re-addestramento.
3. Il Benchmark Libero-OOD: Un benchmark rigoroso progettato per isolare la capacità di ricombinare le abilità. Filtra i compiti impossibili per il robot, concentrandosi invece su compiti che sono teoricamente risolvibili dalla base di conoscenze esistente del modello.
4. Identificazione del Sovradattamento Spaziale: Il documento rivela una modalità di fallimento critica in cui i VLA associano i nomi degli oggetti a posizioni spaziali fisse dei dati di addestramento, piuttosto che comprendere l'identità dell'oggetto o il suo stato attuale.

4. Risultati Sperimentali

Prestazioni su Libero-OOD

• Fallimento della Linea di Base: I VLA all'avanguardia ($\pi_0$, $\pi_0$-fast, UniVLA, openvla-oft) hanno ottenuto un tasso di successo < 21% sui 20 compiti estrapolati di libero-ood, nonostante abbiano raggiunto circa il 95% sui compiti LIBERO standard.
• Successo della TLI: L'applicazione della TLI a $\pi_0$ ha aumentato il suo tasso di successo dal 9% all'83% su libero-ood.
• Confronto: Nessun altro VLA ha raggiunto un tasso di successo superiore al 21% sul benchmark, evidenziando una limitazione sistemica nelle architetture attuali riguardo all'estrapolazione.

Ricostruzione del Compito e Implicazioni per la Sicurezza

• Ricostruzione: Iniettare latenti testuali in un prompt vuoto ha permesso a $\pi_0$ di completare compiti con un successo >80%, dimostrando che il latente cattura conoscenze essenziali del compito.
• Unembedding: L'unembedding dei latenti testuali in ID di token ha prodotto "prompt oscuri" (spesso illeggibili) che potevano comunque istruire il modello. Ciò suggerisce potenziali vulnerabilità per istruzioni private o attacchi backdoor.

Analisi delle Modalità di Fallimento: Sovradattamento Spaziale

• Osservazione: Quando istruito a prendere un oggetto (ad esempio, "crema di formaggio") che è stato spostato in una nuova posizione, il modello spesso ignorava la posizione attuale dell'oggetto e si muoveva verso la posizione in cui quell'oggetto appariva nelle dimostrazioni di addestramento.
• Evidenza: In esperimenti in cui le posizioni degli oggetti venivano scambiate, $\pi_0$ (e altri VLA) si muoveva costantemente verso la "posizione di addestramento" del nome dell'oggetto piuttosto che verso l'oggetto effettivo.
• Conclusione: I VLA mostrano sovradattamento spaziale, mappando i nomi degli oggetti su coordinate fisse invece di apprendere una vera comprensione oggetto-obiettivo.

5. Significato

• Ridefinizione della Generalizzazione OOD: Il documento sostiene che i VLA attuali non sono "rotti" ma "bloccati". Possiedono le abilità necessarie ma mancano del meccanismo per ricombinarle autonomamente. Il benchmark proposto (libero-ood) fornisce uno standard per misurare questa capacità latente.
• Interpretabilità come Strumento: Utilizzando l'interpretabilità meccanica (latenti testuali), gli autori dimostrano che il fallimento non è una mancanza di conoscenza ma un fallimento della composizione. Questo sposta il focus della ricerca dalla raccolta di più dati al miglioramento dei meccanismi di composizione interna del modello.
• Sicurezza e Sicurezza Informatica: La scoperta che i latenti testuali possono essere unembedded in prompt oscuri evidenzia nuovi vettori per attacchi avversari e backdoor nei sistemi robotici.
• Direzione Futura: I risultati suggeriscono che le future architetture VLA devono essere progettate per supportare esplicitamente la ricombinazione delle rappresentazioni apprese, piuttosto che affidarsi a trucchi post-addestramento come la TLI per sbloccare il loro potenziale.

In sintesi, questo documento fornisce prove solide che i VLA hanno il potenziale per la generalizzazione ma sono attualmente ostacolati dal sovradattamento spaziale e dall'incapacità di comporre autonomamente le abilità apprese. L'introduzione di libero-ood e TLI offre sia un nuovo benchmark per la comunità che un metodo per sondare la "scatola nera" interna delle politiche robotiche.