Riepilogo Tecnico: Decodifica del Progresso del Task dalle Rappresentazioni VLA

Definizione del Problema

I modelli Vision-Language-Action (VLA) stanno emergendo come policy general-purpose per la manipolazione robotica, sfruttando backbone di modelli Vision-Language Model (VLM) pre-addestrati per supportare task a vocabolario aperto. Tuttavia, l'implementazione di questi modelli richiede spesso un fine-tuning specifico per il task, il che può degradare la generalizzazione, ridurre la sensibilità linguistica e aumentare la fragilità alle perturbazioni percettive. Esiste una lacuna critica nella capacità di monitorare lo stato interno di questi modelli durante l'esecuzione. Sebbene gli strumenti di interpretabilità esistenti possano decodificare ciò che una policy "sa" del mondo (ad esempio, gli stati degli oggetti), essi non affrontano attualmente dove la policy si trovi rispetto al suo specifico task. Nello specifico, manca uno strumento per monitorare internamente il progresso del task — il tempo rimanente normalizzato in una traiettoria — essenziale per rilevare esecuzioni bloccate o fallimenti out-of-distribution (OOD) senza richiedere segnali di reward esterni o etichette OOD.

Metodologia

Gli autori indagano se il progresso del task sia linearmente leggibile dalle attivazioni interne del modello VLA $\pi_{0.5}$ (basato sul backbone PaliGemma). La metodologia è strutturata attorno a tre concetti chiave: decodificabilità e steerabilità (capacità di guida), e l'applicazione di tali segnali al rilevamento OOD.

1. Definizione ed Estrazione delle Feature

• Progresso del Task ($\tau$): Definito come la frazione normalizzata di una traiettoria rimanente fino al completamento ($1 - t/T$), dove $t$ è l'attuale timestep e $T$ è la lunghezza totale della traiettoria. Questa etichetta è derivata direttamente da dimostrazioni esperte offline senza annotazioni aggiuntive.
• Estrazione degli Embedding: Gli autori estraggono le attivazioni dello stream residuo ($z_i$) dai layer transformer di $\pi_{0.5}$ per ogni osservazione nel dataset.
• Linear Probing: Una sonda lineare $\phi(z) = w^\top z + b$ viene addestrata per predire $\tau$ dalle attivazioni.

2. Formalizzazione delle Rappresentazioni

Il paper formalizza tre distinti livelli di rappresentazione delle feature:

• Debole Decodificabilità (Weak Decodability): La capacità di estrarre un segnale lineare correlato a $\tau$ dalle attivazioni in-distribution.
• Forte Decodificabilità (Strong Decodability): La capacità di una singola sonda (senza ri-addestramento) di generalizzare a input trasformati controfattualmente (ad esempio, scambiando il sostantivo target nel prompt linguistico). Ciò testa se il segnale dipenda dagli input semantici corretti piuttosto che da correlazioni spurie.
• Steerability (Capacità di Guida): La capacità di intervenire sulle attivazioni (spostandole lungo il vettore dei pesi della sonda) per alterare causalmente il comportamento della policy (ad esempio, forzare il modello ad agire come se avesse compiuto più progressi).

3. Meccanismo di Rilevamento OOD

Un rilevatore runtime viene costruito utilizzando la sonda del progresso. Esso confronta il progresso predetto ($\tau_{pred}$) con il progresso atteso basato sul tempo trascorso ($1 - t/E[T|\ell]$). Un residuo significativo ($V_\tau(t) > \delta$) indica che la policy è bloccata, segnalando lo stato come OOD. Questo metodo non richiede etichette OOD durante l'addestramento.

Contributi Chiave

1. Definizioni: Gli autori introducono definizioni formali per debole decodificabilità, forte decodificabilità e steerability nel contesto dei modelli generativi, distinguendo tra l'esistenza di un segnale, la sua dipendenza da input corretti e il suo effetto causale sugli output.
2. Risultati sulla Decodificabilità: Dimostrano che il progresso del task è sia debolmente che fortemente decodificabile dallo stream residuo di $\pi_{0.5}$.
   • Il segnale è presente nel backbone pre-addestrato PaliGemma prima di qualsiasi fine-tuning specifico per la robotica, suggerendo che emerga dal pre-addestramento robotico su larga scala.
   • Una sonda addestrata con controfattuali linguistici (scambio dei sostantivi del task) corregge correttamente il proprio output, provando che il segnale è ancorato al linguaggio e non è solo una funzione del tempo o delle feature visive.
3. Limite della Steerability: Nonostante sia decodificabile, il segnale del progresso del task non è steerable. Iniettare un "boost" di progresso nelle attivazioni non si propaga attraverso la rete per alterare il comportamento della policy o guidare con successo il modello verso il comportamento controfattuale.
4. Rilevamento OOD: La sonda del progresso funge da rilevatore OOD label-free. Rileva il progresso bloccato quando la policy incontra perturbazioni (rumore, sfocatura, occlusione) o task non visti.

Risultati

• Emergenza del Segnale: La feature del progresso è osservabile in tutti i modelli testati, inclusi il backbone PaliGemma grezzo, $\pi_{0.5}$ base e le varianti fine-tuned. Tuttavia, le varianti $\pi_{0.x}$ (addestrate su dati robotici) superano significativamente il backbone VLM grezzo, indicando che la feature viene stabilita durante il pre-addestramento robotico.
• Robustezza Controfattuale: Una sonda addestrata con controfattuali linguistici raggiunge una forte decodificabilità ($R^2 \approx 0.33$ su dati in-distribution a causa di proxy rumorosi, ma traccia correttamente $\tau=1.0$ sotto istruzioni scambiate), mentre una sonda standard fallisce nel rispondere ai cambiamenti linguistici.
• Fallimento della Steerability: Gli esperimenti di iniezione di un boost di progresso ($\tau_{boost} = 0.2$) al layer 0 mostrano che il progresso predetto non cambia nei layer successivi, e le azioni risultanti non si allineano con il target controfattuale. Le azioni iniettate rimangono distanti dalle azioni future ground-truth.
• Performance di Rilevamento OOD:
  • Generalizzazione Cross-Task: Il rilevatore basato sul progresso ($V_\tau$) raggiunge un AUROC di 0.833 su task non visti (rispetto a 0.796 su task visti), dimostrando robustezza senza ri-addestramento. Supera i metodi basati sulla densità (Mahalanobis, VAE) sui task non visti ed è competitivo con i baselines supervisionati (SAFE-MLP) senza richiedere supervisione OOD.
  • Generalizzazione Cross-Perturbazione: Quando addestrato solo su dati in-distribution e testato su modalità di rumore non viste (ad esempio, addestrato su rumore A/B, testato su C/D), $V_\tau$ raggiunge un AUROC per episodio di 0.960, superando i rilevatori supervisionati che sono stati addestrati su tipi di rumore specifici.

Significato e Claim

Il paper sostiene che i VLA possiedano rappresentazioni interne ricche e linearmente leggibili di quantità semantiche come il progresso del task. Questa scoperta suggerisce che:

1. Il Monitoraggio è Fattibile: Imparare a leggere questi segnali offre una via leggera e interpretabile verso il monitoraggio di policy visuomotorie distribuite senza la necessità di modelli esterni complessi o dati di fallimento etichettati.
2. Il Pre-addestramento è Chiave: L'emergenza del progresso del task nel backbone pre-addestrato indica che il pre-addestramento robotico su larga scala instilla una comprensione strutturata del completamento del task che persiste attraverso il fine-tuning.
3. Osservabilità vs. Controllabilità: Esiste una distinzione netta tra ciò che una policy rappresenta (progresso osservabile) e ciò su cui agisce (steerability). L'incapacità di guidare il modello tramite l'iniezione di progresso evidenzia che la policy non utilizza questo specifico segnale interno come variabile di controllo diretta per il processo decisionale.

Gli autori pongono questo lavoro come un passo verso l'strumentazione dei VLA distribuiti, fornendo uno strumento per rilevare fallimenti silenziosi (progresso bloccato) che è robusto sia alle variazioni di task che alle perturbazioni ambientali.