Beyond Task Success: Behavioral and Representational Diagnostics for WAM and VLA

Sintesi Tecnica: Oltre il successo del compito: Diagnostica comportamentale e rappresentazionale per WAM e VLA

Problema
Le policy vision-language-action (VLA) sono diventate un paradigma dominante per la manipolazione robotica general-purpose, mappando osservazioni e istruzioni direttamente in azioni. Tuttavia, la maggior parte dei VLA sono fondamentalmente predittori reattivi che non modellano esplicitamente come evolvono le scene. I World-Action Models (WAM) sono emersi come un'alternativa, accoppiando la generazione di azioni con la predizione futura (ad esempio, immaginare stati futuri o predire osservazioni future). Mentre i lavori precedenti hanno confrontato WAM e VLA basandosi esclusivamente sui tassi di successo finale del compito, rimane poco chiaro se la predizione futura nei WAM porti a miglioramenti comportamentali significativi oltre al semplice aumento dei tassi di successo. Nello specifico, non è noto se i WAM aggiungano semplicemente un modulo di predizione o se cambino fondamentalmente il comportamento del robot (ad esempio, fluidità del movimento, selettività del target) e le rappresentazioni interne in modi che siano azionabili per il controllo.

Metodologia
Gli autori introducono un framework diagnostico agnostico rispetto al modello che valuta WAM e VLA attraverso due lenti complementari: diagnostica comportamentale di rollout e analisi dello spazio delle feature tramite autoencoder sparsi (SAE).

1. Analisi del Rollout Comportamentale:
   Invece di fare affidamento solo sui tassi di successo, il framework misura:

   • Dinamiche dell'azione: Fluidità (delta, accelerazione, jerk), coerenza ai confini dei chunk e tassi di fallimento a basso movimento (per distinguere tra fallimenti fluidi e controllo riuscito).
   • Interazione con l'oggetto: Progresso dell'oggetto target (finale e accumulato), inversioni di progresso e stabilità dei distrattori (movimento involontario di oggetti non target).
   • Costo di runtime: Latenza di inferenza, throughput e utilizzo della memoria GPU.

2. Analisi dello Spazio delle Feature (SAE):
   Per caratterizzare le rappresentazioni interne, gli autori addestrano Autoencoder Sparsi (SAE) sulle attivazioni latenti (stream visivi, futuri e di azione) da vari modelli. Definiscono un insieme di metriche per classificare le feature in tre categorie:

   • Memorizzate: Specifiche per particolari episodi o oggetti.
   • Reattive-Generali: Descrivono l'osservazione corrente o la fase di esecuzione (ad esempio, la presa/grasping).
   • Predittive-Generali: Forniscono prove riguardo stati o azioni future (ad esempio, alta coerenza futura, stabilità dell'orizzonte o predittività dell'azione).
   • Metriche Chiave: Il Future Consistency Score (FCS), l'Horizon Stability (HS) e l'Action Predictiveness (AP) sono introdotti per rilevare specificamente la struttura orientata al futuro.

Configurazione Sperimentale
Lo studio valuta 7 policy su due benchmark (LIBERO e RoboTwin2.0):

• VLA: $\pi0$, $\pi0.5$, X-VLA.
• WAM:
  • Joint/Parallel: Cosmos Policy (predice futuro e azione insieme).
  • Sequential: LingBot-VA (immagina stati futuri prima di agire).
  • Auxiliary/Training-only: FastWAM, VLA-JEPA (usano la predizione futura solo durante l'addestramento).

Risultati Chiave

1. I tassi di successo mascherano le differenze comportamentali:
   Su LIBERO, dove i tassi di successo sono elevati per la maggior parte dei modelli, le diagnostiche comportamentali rivelano differenze significative. I WAM producono generalmente un controllo più fluido (minore accelerazione, jerk e salti ai confini dei chunk) ed esibiscono un migliore comportamento a livello di oggetto, inclusi un progresso più forte dell'oggetto target e una riduzione del disturbo agli oggetti distrattori.

2. Dipendenza dall'Architettura:

   • WAM Sequenziali (LingBot-VA): Mostrano la struttura predittiva più chiara nell'analisi SAE (la percentuale più alta di feature predittive negli stream futuri) e raggiungono le migliori metriche a livello di oggetto (minore disturbo di oggetti errati, maggiore AUC del progresso).
   • WAM Joint (Cosmos): Esibiscono una forte selettività dell'oggetto e un basso disturbo dei distrattori, ma codificano l'informazione futura in modo più intrecciato (alto numero di feature memorizzate/reattive piuttosto che distinte feature predittive).
   • WAM Ausiliari (FastWAM, VLA-JEPA): Mostrano risultati misti. FastWAM comprime l'informazione futura, risultando in un comportamento più vicino ai VLA diretti con un maggiore disturbo dei distrattori. VLA-JEPA mantiene una struttura predittiva maggiore e un'interazione con l'oggetto più pulita rispetto a FastWAM.
   • VLA Diretti: Dominano nelle feature reattive ma mostrano una bassa struttura predittiva. Spesso esibiscono maggiori inversioni di progresso e disturbo dei distrattori rispetto ai WAM.

3. Trade-off di Runtime:
   I WAM comportano un costo di deployment non trascurabile. I WAM sequenziali (LingBot-VA) hanno la latenza di inferenza più alta a causa dell'esplicita immaginazione del futuro. I WAM joint sono più veloci dei sequenziali ma più lenti dei VLA diretti. I WAM ausiliari sono più efficienti ma possono sacrificare i benefici comportamentali della modellazione futura esplicita.

4. Correlazione Feature-Comportamento:
   L'analisi SAE rivela che i modelli con una proporzione maggiore di feature predittive-generali (particolarmente negli stream futuri) correlano con una migliore selettività del target-oggetto e un'esecuzione più fluida. Rimuovere le statistiche SAE predittive dalle sonde comportamentali degrada significativamente la predizione degli esiti a livello di task (successo, trasporto, progresso del target), ma ha effetti misti sulle metriche di fluidità di basso livello.

Significatività e Rivendicazioni
Il paper sostiene che il successo del compito da solo è una metrica insufficiente per valutare le policy robotiche. Gli autori affermano che:

• I WAM offrono vantaggi comportamentali oltre i tassi di successo, specificamente nella fluidità del movimento, nella selettività del target e nella stabilità dei distrattori.
• Questi miglioramenti comportamentali sono legati alla presenza di rappresentazioni interne orientate al futuro. I WAM sequenziali espongono la struttura predittiva più chiara, mentre i design joint e ausiliari variano nel modo in cui preservano o comprimono questa informazione.
• Esiste un trade-off fondamentale tra l'azionabilità delle rappresentazioni future e l'efficienza dell'inferenza. Sebbene la modellazione futura esplicita migliori la qualità del controllo, essa aumenta il costo computazionale.
• Il design futuro dei WAM dovrebbe concentrarsi sulla preservazione di rappresentazioni future azionabili (ad esempio, tramite immaginazione leggera al tempo di inferenza o predizione latente) piuttosto che trattare la predizione futura solo come una perdita ausiliaria di addestramento, per bilanciare prestazioni e deployability.

Gli autori notano con modestia che la loro evidenza riguardo al legame tra rappresentazioni e comportamento è associativa piuttosto che causale, e che le loro scoperte sono attualmente limitate a benchmark di simulazione e checkpoint pubblici. Essi sottolineano che il lavoro futuro deve affrontare il modo in cui rendere la predizione futura abbastanza efficiente per il controllo a loop chiuso senza perdere i suoi benefici comportamentali.