Riepilogo Tecnico: Steering dell'Attivazione del Conettore Contrastivo (COAST)

Enunciato del Problema

I modelli Vision-Language-Action (VLA) sfruttano potenti prior percettive derivanti dal pre-addestramento su scala web dei modelli Vision-Language (VLM) per interpretare comandi in linguaggio naturale ed eseguire comportamenti robotici complessi. Tuttavia, questi modelli rimangono sorprendentemente fragili nella pratica, fallendo frequentemente in compiti robotici semplici nonostante le loro forti capacità di generalizzazione. I rimedi esistenti, come il fine-tuning post-addestramento o la regolarizzazione delle rappresentazioni contrastive, sono spesso costosi e concettualmente disallineati, poiché tentano di reimparare i comportamenti anziché massimizzare la capacità di generalizzazione già codificata nei pesi pre-addestrati del modello.

Gli autori ipotizzano che il collo di bottiglia principale risieda nell'esperto di azione dell'architettura VLA. Mentre il backbone VLM congelato preserva una ricca comprensione del task ad alta dimensionalità nei suoi stati nascosti, la decodifica finale dell'esperto di azione spesso non riesce a sfruttare appieno queste informazioni. I metodi attuali di steering delle attivazioni per i VLA si concentrano tipicamente sul backbone VLM o si basano su spostamenti additivi a direzione singola, che possono essere insufficienti quando il segnale rilevante è distribuito attraverso più dimensioni.

Metodologia: COAST

Il documento propone lo Steering dell'Attivazione del Conettore Contrastivo (COAST), un framework leggero e privo di addestramento che guida le politiche VLA congelate al momento dell'inferenza. COAST opera applicando un cancello moltiplicativo alle attivazioni del flusso residuo dell'esperto di azione, derivato dal concetto di conettori.

Meccanismo Principale

1. Costruzione del Conettore: Un conettore è un operatore lineare che proietta soft i dati nei componenti principali di una distribuzione target. COAST costruisce due conettori separati:

   • $C_{success}$: Cattura il sottospazio principale delle attivazioni dai roll-out riusciti.
   • $C_{failure}$: Cattura il sottospazio principale delle attivazioni dai roll-out falliti.
     Questi sono calcolati in forma chiusa utilizzando la matrice di covarianza delle attivazioni e un parametro di regolarizzazione (apertura $\alpha$), bypassando la necessità di discesa del gradiente.

2. Composizione Contrastiva: Per isolare le direzioni rilevanti per il task che distinguono il successo dal fallimento, COAST utilizza l'algebra booleana dei sottospazi per comporre un conettore contrastivo ($C_{steer}$):
   $$C_{steer} = C_{success} \land \neg C_{failure}$$
   Questa operazione (AND-NOT) mantiene le direzioni presenti nel sottospazio del successo, sopprimendo le direzioni condivise con il sottospazio del fallimento (rumore) e quelle uniche al fallimento.

3. Steering al Momento dell'Inferenza: Durante l'inferenza, l'attivazione del flusso residuo $h$ a uno strato specifico $\ell$ viene trasformata tramite un cancello moltiplicativo $M$:
   $$h' = h M^\top, \quad \text{dove } M = (1 - \beta)I + \beta C_{steer}$$
   Qui, $\beta \in [0, 1]$ controlla la forza dello steering. Questa operazione proietta delicatamente lo stato nascosto verso il sottospazio associato al successo senza sovrascrivere il calcolo interno del modello.

Caratteristiche Chiave

• Privo di Addestramento: Non richiede aggiornamenti dei pesi, calcolo del gradiente o modelli ausiliari.
• Plug-and-Play: Opera direttamente sul flusso residuo dell'esperto di azione.
• A Livello di Sottospazio: A differenza dello steering additivo a direzione singola (ad es. Addizione Contrastiva delle Attivazioni), COAST opera su un sottospazio multidimensionale, catturando geometrie critiche per l'esito complesse.

Contributi Chiave

1. Steering di Politiche Leggero e Privo di Addestramento: Gli autori introducono la prima applicazione di gating di sottospazio basato su conettori agli esperti di azione VLA. Costruendo un cancello moltiplicativo in forma chiusa dall'algebra booleana dei conettori su roll-out di successo e fallimento, COAST migliora i tassi di successo medi nei task di simulazione di oltre il 20% e i tassi di successo nei task su robot reali di oltre il 40% su benchmark diversificati.
2. Insight Meccanistico: L'analisi rivela che la struttura degli autovalori degli esperti di azione VLA è ben adattata per lo steering basato su conettori. Le rappresentazioni rilevanti per l'esito occupano un sottospazio a basso rango ma non a rango uno, spiegando perché i conettori multidimensionali superano i metodi additivi a direzione singola. Inoltre, lo studio rileva che, mentre le rappresentazioni di successo sono in gran parte specifiche del task, le modalità di fallimento condividono una struttura geometrica sostanziale tra diversi task.
3. Generalizzazione Plug-and-Play: COAST è validato su tre famiglie di politiche architettonicamente distinte (VLA con flow-matching, VLA autoregressivi e Diffusion Policy) e su tre benchmark di simulazione di complessità crescente (MetaWorld, LIBERO-10, RoboCasa), nonché sul deployment su robot reali sulla piattaforma DROID. Il metodo dimostra che la struttura geometrica che sfrutta non è specifica di una singola architettura o ambiente.

Risultati Sperimentali

Il documento valuta COAST rispetto a baseline non steerate, fine-tuning supervisionato (SFT), Addizione Contrastiva delle Attivazioni (CAA) e steering con Autoencoder Sparsi (SAE).

• Miglioramenti delle Prestazioni: In tutte le coppie modello-benchmark, COAST produce miglioramenti statisticamente significativi.
  • MetaWorld ML45: Il tasso di successo medio $\pi0.5$ è aumentato da 0,57 a 0,82 (+25%) con steering contrastivo per passo.
  • LIBERO-10: Il tasso di successo medio $\pi0.5$ è aumentato da 0,43 a 0,80 (+37%).
  • RoboCasa: Sono stati osservati guadagni significativi tra i modelli, con $\pi0.5$ che raggiunge 0,56 e GR00T N1.5 che raggiunge 0,75.
  • Mondo Reale: Sulla piattaforma DROID, $\pi0.5$ con COAST ha ottenuto un miglioramento medio del 40% nei tassi di successo su task come "Apri Cassetto" e "Chiudi Microonde", anche senza fine-tuning su dimostrazioni.
• Confronto: COAST supera costantemente lo steering CAA e SAE, che sono limitati dalla loro natura a direzione singola o basata su feature. Supera anche l'SFT, che spesso soffre di overfitting quando addestrato sul piccolo numero di roll-out (15) utilizzati per il fitting del conettore di COAST.
• Trasferimento Cross-Task: A causa della geometria condivisa delle modalità di fallimento, i conettori adattati su un task possono migliorare le prestazioni su un task diverso all'interno dello stesso benchmark senza rifitting, a condizione che i loro sottospazi di fallimento si sovrappongano.

Significato e Affermazioni

Il documento afferma che i VLA attuali conservano una conoscenza sostanziale rilevante per il task nelle loro rappresentazioni latenti, ma il collo di bottiglia della decodifica dell'esperto di azione impedisce il pieno utilizzo di queste informazioni. COAST fornisce un operatore geometrico in forma chiusa per portare alla luce questa capacità latente senza riaddestramento.

Gli autori sottolineano che la struttura geometrica che abilita lo steering, in particolare i sottospazi a basso rango con direzioni di successo e fallimento contrastivamente separabili, è una proprietà generale di come le reti neurali codificano informazioni rilevanti per il task, persistendo attraverso politiche flow-matching, autoregressive e diffusion. Concludono che i fallimenti nell'esecuzione VLA possono essere mitigati guidando il modello verso le proprie distribuzioni di "successo", offrendo una via scalabile ed efficiente per sbloccare le capacità latenti nell'IA incarnata.

Il lavoro evidenzia anche una considerazione sulla sicurezza: poiché lo steering agisce sulle attivazioni interne, una politica steerata è difficile da distinguere da una non modificata basandosi solo sulle tracce di azione. Gli autori raccomandano di registrare i conettori applicati come parte della specifica della politica per garantire la trasparenza.