Riepilogo Tecnico: OA-WAM: Modello di Azione Mondiale Indirizzabile per Oggetti per la Manipolazione Robotica Robusta

1. Enunciato del Problema

I modelli esistenti Vision-Language-Action (VLA) e World Action Models (WAM) hanno raggiunto alti tassi di successo su benchmark standard di manipolazione scalando backbones e dati. Tuttavia, questi modelli spesso falliscono sotto perturbazioni moderate della scena (ad esempio, cambiamenti nel layout degli oggetti, punto di vista della telecamera, illuminazione o stato iniziale del robot). Gli autori diagnosticano questa fragilità come una mancanza di indirizzabilità degli oggetti.

Nei WAM olistici, lo stato mondiale previsto è rappresentato come immagini a intero fotogramma, flussi di token video o latenti globali. Sebbene queste rappresentazioni catturino l'evoluzione della scena, esse intrecciano l'identità di un oggetto target con il suo contesto circostante all'interno del flusso di token. Quando la geometria della scena cambia, il decoder di azione fatica a isolare l'oggetto specifico nominato nell'istruzione, portando a una "deriva" in cui la politica agisce sull'oggetto sbagliato o non riesce a generalizzare. Gli approcci centrati sull'oggetto attuali spesso si affidano alla scoperta dinamica di slot (ad esempio, Slot Attention), che è sensibile all'occlusione e al disordine, oppure codificano identità, aspetto e posa in un singolo vettore, non riuscendo a disaccoppiare "su quale oggetto agire" da "cosa è attualmente quell'oggetto".

2. Metodologia: OA-WAM

Gli autori propongono OA-WAM (Object-Addressable World Action Model), che riformula la previsione mondiale come previsione dello stato per slot per oggetto. L'architettura impone una separazione rigorosa tra identità dell'oggetto e contenuto variabile nel tempo a livello di tensore.

2.1 Tokenizzazione Indirizzabile per Oggetti

Ogni fotogramma è scomposto in $N+1$ slot (1 slot robot, $N$ slot oggetto). Ogni vettore di slot $s^t_k$ è costruito concatenando:

• Indirizzo di Identità ($addr_k$): Un vettore congelato a 32 dimensioni calcolato una sola volta per episodio dall'etichetta linguistica e dalla feature iniziale DINOv3. Non viene mai aggiornato durante l'episodio.
• Contenuto Variabile nel Tempo ($cnt^t_k$): Un vettore a 256 dimensioni aggiornato ad ogni passo dalle maschere SAM 3 e dalle feature DINOv3, rappresentante lo stato corrente dell'oggetto (aspetto, posa).
• Embedding Ausiliari: Indice del fotogramma ($\pi^t$) e etichette di ruolo ($\rho_k$).

Questi slot sono proiettati in uno spazio nascosto a 4096 dimensioni tramite un adattatore di slot apprendibile e fusi con token di testo, image-VQ, propriocettione e azioni passate in una sequenza causale a blocchi elaborata da un tronco transformer stile Chameleon da 7B.

2.2 Attenzione Indirizzabile per Oggetti (Il Vincolo OA)

L'innovazione architetturale centrale è un vincolo privo di parametri applicato a ogni layer del transformer per garantire che il decoder di azione si concentri sull'oggetto corretto basandosi esclusivamente sulla sua identità, non sul suo aspetto o contesto corrente. Ciò è ottenuto tramite due operazioni:

1. Proiezione della Chiave Solo-Indirizzo: Per le posizioni di tipo slot, la proiezione della chiave ($K$) legge solo le prime 32 dimensioni (il sottovettore $addr$) del flusso residuo. Le proiezioni di query ($Q$) e valore ($V$) utilizzano il completo stato nascosto. Questo forza l'attenzione tra slot a essere instradata basandosi sull'identità da sola.
2. Reset dell'Indirizzo per Layer: Un hook forward sovrascrive le prime 32 dimensioni del flusso residuo alle posizioni degli slot con l'$addr_k$ memorizzato in cache dopo ogni blocco transformer. Questo impedisce all'indirizzo di identità di derivare o essere corrotto dagli aggiornamenti di contenuto nel flusso residuo.

2.3 Teste di Previsione

Il modello esegue un singolo passaggio in avanti per generare:

• Testa Mondiale: Regredisce lo stato del fotogramma successivo per ogni slot, prevedendo sia il contenuto ($\hat{c}^{t+1}$) che la posa ($\hat{p}^{t+1}$). Questo fornisce supervisione ausiliaria per la coerenza temporale.
• Testa di Azione: Un MLP di matching del flusso che decodifica un chunk di azione continua a 16 passi da un token di query di azione apprendibile ($[ACT\_Q]$).
• Testa Ausiliaria Image-VQ: Riutilizza la testa linguistica del tronco per prevedere i token VQ del fotogramma successivo, aiutando nel preaddestramento senza nuovi parametri.

2.4 Addestramento

Il modello è addestrato in tre fasi:

1. Fase 0: Preaddestramento del tronco da 7B su un corpus misto (immagini-testo web + dati robot) con l'imposizione del vincolo OA.
2. Fase I: Allineamento dell'adattatore di slot e della testa mondiale su pesi del tronco congelati.
3. Fase II: Fine-tuning completo del sistema utilizzando LoRA sul tronco e addestramento della testa di azione. La perdita combina il matching del flusso di azione, l'errore quadratico medio (MSE) della previsione mondiale e regolarizzatori ausiliari per l'invarianza alla permutazione dei distrattori e l'allineamento dei ruoli.

3. Contributi Chiave

1. Formulazione dell'Indirizzabilità degli Oggetti: Il documento identifica la mancanza di interfacce stabili e interrogabili per gli oggetti come la causa radice dei fallimenti di robustezza nei WAM esistenti sotto perturbazioni geometriche.
2. Disaccoppiamento Architetturale: OA-WAM introduce un meccanismo a livello di tensore (indirizzo congelato + instradamento solo-indirizzo) che disaccoppia strutturalmente "su quale oggetto agire" da "cosa è quell'oggetto", senza introdurre token extra o affidarsi alla scoperta dinamica di slot.
3. Robustezza allo Stato dell'Arte: Il modello ottiene nuovi risultati SOTA sugli assi geometrici del benchmark LIBERO-Plus, che testa specificamente la robustezza ai cambiamenti di layout, telecamera e stato iniziale del robot.

4. Risultati Sperimentali

Gli autori valutano OA-WAM su tre benchmark: LIBERO, SimplerEnv e LIBERO-Plus.

• Benchmark Standard: OA-WAM eguaglia o supera le baseline SOTA VLA e WAM su compiti in-distribution.
  • LIBERO: 97,8% di successo medio (vs 97,2% per VLA-JEPA).
  • SimplerEnv (WidowX): 79,3% di successo medio (vs 76,0% per CoWVLA).
• Robustezza (LIBERO-Plus): OA-WAM stabilisce un nuovo SOTA sugli assi geometrici più allineati con l'ipotesi (Telecamera, Inizializzazione Robot, Layout).
  • Geo-Avg (Telecamera/Robot/Layout): 84,3%, un miglioramento di +4,8% rispetto a $\pi0.5$.
  • Assi Specifici: 80,5% su Telecamera (+4,7% rispetto a Cosmos-Policy) e 89,6% su Inizializzazione Robot.
  • Rumore del Sensore: Il modello è in ritardo sul rumore del sensore (-17,1% rispetto al miglior precedente), che gli autori attribuiscono a fallimenti nello stack di percezione a monte (estrazione degli slot) piuttosto che alla politica stessa.
• Validazione del Meccanismo:
  • Ablazione: Rimuovere il vincolo OA (hook di mascheratura o reset) causa un calo drastico nella robustezza geometrica (ad esempio, -13,3% su Telecamera) lasciando invariata la performance in-distribution, confermando che il bias è specifico per OOD.
  • Intervento Causale: Quando l'indirizzo dello slot target viene scambiato con l'indirizzo di un distrattore durante l'inferenza, la traiettoria di OA-WAM si sposta verso il nuovo target con un allineamento coseno di 0,87. Al contrario, tutte le baseline olistiche mostrano un allineamento $\le 0,09$, provando che le azioni di OA-WAM sono ancorate allo spazio sottostante dell'indirizzo esplicito.

5. Significato e Affermazioni

Il documento afferma che organizzare esplicitamente un modello mondiale come stati di oggetti indirizzabili è una via efficace verso la manipolazione robotica robusta sotto perturbazioni della scena. Ancorando la selezione del target a un vettore di identità congelato e fondato sul linguaggio, OA-WAM rende la robustezza una proprietà strutturale dell'architettura piuttosto che un risultato della diversità dei dati di addestramento.

Gli autori sottolineano che questo approccio fornisce un'"interfaccia intervenibile a livello di oggetto" dove la politica può interrogare in modo affidabile gli oggetti rilevanti per il compito indipendentemente da come la scena viene riorganizzata. Riconoscono le limitazioni, notando che l'approccio è attualmente solo simulatore e che le prestazioni peggiorano quando lo stack di percezione congelato fallisce (ad esempio, sotto forte rumore del sensore o per oggetti trasparenti/occlusi), ma sostengono che il contributo architetturale isola con successo il meccanismo di instradamento dalle fasi di percezione e politica.