Riepilogo Tecnico: Indirizzare la Robustezza nei Modelli di Azione del Mondo tramite l'Interpretabilità Meccanicistica e il Controllo Ottimale

Definizione del Problema

I Modelli di Azione del Mondo (World Action Models - WAM) rappresentano un avanzamento significativo nell'apprendimento robotico, accoppiando la predizione dell'azione con la modellazione dello stato futuro attraverso backbone generativi video. A differenza dei modelli Vision-Language-Action (VLA), che mappano le osservazioni direttamente in azioni, i WAM mirano a produrre policy dinamicamente coerenti. Tuttavia, i WAM rimangono fragili sotto variazioni fuori distribuzione (OOD), come cambiamenti nell'orientamento della telecamera, stati iniziali del robot (ad esempio, posizione della pinza) e corruzione visiva (ad esempio, rumore Gaussiano).

Le attuali strategie di robustezza si affidano spesso a una raccolta dati estensiva, set di addestramento diversificati o costosi processi di ri-addestramento. Questo articolo affronta la necessità di interventi al momento dell'inferenza che migliorino la robustezza senza ricorrere al fine-tuning. Le questioni di ricerca fondamentali sono:

1. Le attivazioni interne dei WAM rivelano perché falliscono sotto specifiche perturbazioni?
2. Queste rappresentazioni possono essere identificate tramite l'interpretabilità meccanicistica (MI) e utilizzate per indirizzare il modello verso un comportamento robusto senza ri-addestramento?

Metodologia

L'approccio proposto consiste in due fasi principali: l'Analisi Meccanicistica per identificare la sterzabilità e lo Steering delle Attivazioni per implementare interventi di robustezza.

1. Analisi Meccanicistica delle Attivazioni WAM

Gli autori indagano se le caratteristiche critiche per la robustezza (ad esempio, la sensibilità al rumore della telecamera o alla posizione della pinza) esibiscano una separabilità lineare a bassa dimensionalità nello spazio delle attivazioni dei WAM.

• Dataset Contrastivi: Costruiscono dataset che confrontano input nominali (puliti) contro input perturbati (ad esempio, telecamera spostata, rumore aggiunto) attraverso molteplici task (LIBERO-10).
• Metrica di Separabilità Lineare: Le attivazioni vengono raggruppate e proiettate sui primi tre componenti principali (PC). Viene applicato un Support Vector Machine (SVM) lineare per distinguere tra attivazioni nominali e perturbate. La performance è misurata tramite la media della hinge loss; una perdita vicina a 0 indica una forte separabilità lineare, mentre una perdita vicina a 1 indica una separabilità casuale.
• Dipendenza dall'Architettura: L'analisi rivela che la separabilità lineare è altamente dipendente dall'architettura. Modelli come Cosmos-Policy e DiT4DiT esibiscono strutture lineari a bassa dimensionalità chiare per le feature di robustezza, mentre LingBot-VA mostra una separabilità debole o inesistente.

2. Strategie di Steering delle Attivazioni

Sulla base delle scoperte meccanicistiche, l'articolo propone due metodi di steering:

• Open-Loop Activation Addition (ActAdd):

  • Calcola una direzione contrastiva ($d$) sottraendo le attivazioni degli input perturbati da quelle degli input nominali.
  • Durante l'inferenza, un vettore fisso ($\gamma \cdot d$) viene aggiunto agli stati nascosti del modello.
  • Limitazione: Questo è un approccio a ciclo aperto (open-loop) statico che ignora lo stato corrente dell'attivazione, portando potenzialmente a un eccessivo steering (over-steering) o al degrado dell'azione.

• World-Action Linear Quadratic Regulator (WA-LQR):

  • Un metodo di controllo ottimale a ciclo chiuso (closed-loop), basato su modelli, progettato per i WAM.
  • Riduzione della Dimensionalità: Proietta le attivazioni ad alta dimensionalità in uno spazio latente a bassa dimensionalità utilizzando la Scomposizione a Valori Singolari (SVD) sulle direzioni contrastive.
  • Linearità Locale: Assume che la dinamica dei transformer di diffusione sia localmente lineare all'interno di questo sottospazio. Approssima le dinamiche utilizzando prodotti Jacobiano-vettore (JVP) per definire le matrici di transizione di stato ($A$) e le matrici di controllo ($B$).
  • Sintesi del Controllo: Formula il problema di steering come un compito di Regolatore Quadratico Lineare (LQR). Minimizza una funzione di costo che penalizza le deviazioni da un "setpoint di feature" target (desiderata forza di robustezza) e lo sforzo di controllo.
  • Intervento Adattivo: A differenza di ActAdd, WA-LQR calcola un guadagno di feedback ($K$) ad ogni livello e timestep. Applica lo steering solo quando l'attivazione devia dal target di forza della feature, adattandosi online alla specifica realizzazione delle dinamiche del WAM.

Contributi Chiave

1. Analisi Meccanicistica della Robustezza dei WAM: Gli autori forniscono il primo studio meccanicistico delle attivazioni WAM sotto perturbazioni rilevanti per la robustezza. Identificano che la separabilità lineare a bassa dimensionalità delle feature di disturbo è un prerequisito per un efficace steering delle attivazioni ed è altamente dipendente dall'architettura del modello.
2. Lo Steering come Diagnostica: Dimostrano che la hinge loss dell'SVM (metrica di separabilità lineare) correla fortemente con il successo dello steering. Ciò consente ai professioni di prevedere se un determinato WAM sia suscettibile di steering senza fine-tuning prima di tentare l'intervento.
3. Framework WA-LQR: Introducono WA-LQR, il primo metodo di steering delle attivazioni a ciclo chiuso per i WAM. Sfrutta la linearità locale delle dinamiche dei transformer di diffusione per sintetizzare controllori LQR a ordine ridotto che dirigono le attivazioni verso setpoint di robustezza senza fine-tuning.
4. Validazione Empirica: L'articolo valida che:
   • I modelli con alta separabilità lineare (Cosmos-Policy, DiT4DiT) mostrano miglioramenti significativi nella robustezza.
   • I modelli con bassa separabilità (LingBot-VA) mostrano miglioramenti minimi o nulli, e i metodi open-loop possono addirittura degradare le performance.
   • WA-LQR supera i metodi open-loop ActAdd e le baseline basate su prompt, particolarmente nel prevenire l'over-steering.

Risultati

Gli esperimenti sono stati condotti su Cosmos-Policy, DiT4DiT e LingBot-VA utilizzando il benchmark LIBERO-10 sotto tre tipi di perturbazione: spostamenti dell'orientamento della telecamera, cambiamenti della posizione iniziale della pinza e rumore Gaussiano sull'immagine.

• Cosmos-Policy: WA-LQR ha migliorato i tassi di successo fino al 41% rispetto alle baseline non steerate. Ad esempio, sotto perturbazioni dell'orientamento della telecamera, i tassi di successo sono passati da circa il 46% (non steerato) al 59% (WA-LQR). Il metodo ha generalizzato con successo le direzioni contrastive attraverso diversi task.
• DiT4DiT: Sono stati osservati miglioramenti simili, con WA-LQR che supera sia le baseline non steerate che ActAdd, in particolare nella gestione del rumore Gaussiano e degli spostamenti della posizione della pinza.
• LingBot-VA: In linea con l'analisi meccanicistica, lo steering ha prodotto guadagni di robustezza minimi. In alcuni casi, l'approccio open-loop ActAdd ha degradato le prestazioni a causa dell'over-steering, mentre WA-LQR ha mitigato questo effetto ma non è comunque riuscito a ottenere miglioramenti significativi, confermando la necessità della separabilità lineare affinché il metodo funzioni.
• Correlazione: È stata trovata una forte correlazione negativa tra la hinge loss dell'SVM (metrica di separabilità) e il tasso di miglioramento del successo, validando l'uso dell'analisi meccanicistica come predittore dell'efficacia dell'intervento.

Significato e Rivendicazioni

L'articolo sostiene che l'interpretabilità meccanicistica può servire come strumento diagnostico per determinare la fattibilità degli interventi di robustezza al momento dell'inferenza per i modelli di fondazione robotica. Identificando che le feature critiche per la robustezza in certi WAM (come Cosmos-Policy e DiT4DiT) risiedono in sottospazi a bassa dimensionalità e linearmente separabili, gli autori dimostrano che lo steering senza addestramento è una strategia praticabile per migliorare la robustezza in fase di deployment.

L'introduzione di WA-LQR rappresenta un passaggio dalla modifica statica e open-loop delle attivazioni allo steering dinamico a ciclo chiuso. Questo approccio tratta l'inferenza del WAM come un sistema dinamico a ordine ridotto, permettendo interventi adattivi che rispettano lo stato interno del modello. Gli autori concludono che, sebbene lo steering non sia universale tra tutte le architetture, per quelle che possiedono la necessaria struttura lineare, il controllo meccanicistico delle rappresentazioni nascoste offre una strada promettente per policy robotiche robuste senza la necessità di estesi ri-addestramenti o nuove raccolte di dati.

Limitazioni note dagli autori:

• L'applicabilità del metodo è attualmente limitata ai modelli che esibiscono una forte separabilità lineare; non esiste un metodo generale per prevedere la trasferibilità delle rappresentazioni tra task o ambienti arbitrari senza un'analisi meccanicistica per ogni configurazione.
• L'approccio mostra una forte dipendenza dall'architettura del modello, evidenziando la necessità di futuri design di WAM che siano intrinsecamente steerabili pur preservando le rappresentazioni del modello base.