Riepilogo Tecnico: Guida di Politiche Vision-Language-Action Autoregressive tramite Intervento sui Token di Azione

1. Definizione del Problema

Le politiche Vision-Language-Action (VLA), come RT-2, OpenVLA e $\pi^0$, hanno dimostrato una forte capacità di generalizzazione combinando il pre-addestramento su larga scala di linguaggio e visione con dati di traiettoria robotica. Tuttavia, questi sistemi affrontano sfide persistenti nel radicamento del linguaggio nel mondo fisico, nell'esecuzione di ragionamenti a lungo raggio e nell'adattamento in tempo reale. I fallimenti derivano spesso da piccoli errori a livello di traiettoria che gli esseri umani potrebbero riconoscere e correggere immediatamente.

Le interfacce esistenti per la guida autonoma presentano una dicotomia:

• Prompting Linguistico: Sebbene flessibile, il linguaggio è poco adatto alla correzione della traiettoria fine e in tempo reale.
• Teleoperazione Completa: Il controllo diretto rimuove la destrezza autonoma e i priori del compito appresi dalla politica.

La sfida centrale è consentire agli utenti di influenzare il comportamento del robot durante le esecuzioni (rollout) per correggere errori o guidare l'intento senza sovrascrivere le capacità apprese dalla politica o richiedere un nuovo addestramento.

2. Metodologia: Token Steering (TS)

Gli autori propongono il Token Steering (TS), un metodo di inferenza per guidare le politiche VLA autoregressive attraverso l'intervento diretto nello spazio dei token di azione. Il TS opera senza modificare l'architettura sottostante del VLM, non richiedendo ulteriore addestramento o fine-tuning.

Meccanismo Core

Il TS sfrutta la struttura discreta e autoregressiva della generazione di token di azione (specificamente utilizzando il modello $\pi^0$-FAST). Invece di sostituire i segnali di controllo a basso livello, il TS inietta token di guida generati dall'utente direttamente nella sequenza di azione autoregressiva. La politica completa poi il resto della traiettoria condizionata su questo prefisso modificato.

Il processo prevede tre fasi principali:

1. Codifica dell'Input: Un input utente a bassa dimensionalità $u \in \mathbb{R}^6$ (ad esempio, direzioni da tastiera) viene convertito in un vettore di velocità cartesiana ($v_{cart}$).
2. Trasformazione Cinematica: La velocità cartesiana viene trasformata in velocità articolare del robot ($\dot{q}$) tramite cinematica inversa ($\dot{q} = J(q)^\dagger v_{cart}$).
3. Iniezione dei Token: La velocità articolare viene estesa al tempo di azione (action horizon), trasformata nel dominio della frequenza tramite una Trasformata Discreta del Coseno (DCT) e tokenizzata tramite Byte-Pair Encoding (BPE) per creare token FAST. Un sottoinsieme di questi token (definito da un indice di inizio $b$ e una dimensione della finestra $w$) sostituisce i corrispondenti token nel buffer autoregressivo della politica. La politica genera quindi il resto della sequenza basandosi sul prefisso modificato, sulle osservazioni visive, sulle istruzioni linguistiche e sullo stato del robot.

Strategia di Tokenizzazione

Il metodo si basa sulla tokenizzazione FAST, che rappresenta le traiettorie robotiche nel dominio della frequenza.

• I token rappresentano le traiettorie decomposte in coefficienti ordinati per frequenza.
• I token a bassa frequenza codificano la struttura globale grossolana della traiettoria.
• I token ad alta frequenza codificano i raffinamenti del movimento fine.
  Questa struttura gerarchica permette al TS di influenzare la semantica globale modificando i token iniziali, preservando al contempo la fluidità locale.

3. Contributi Chiave e Risultati

Il documento presenta tre scoperte primarie derivate dagli esperimenti sulla piattaforma robotica DROID:

1. Guida Controllabile con Autonomia Preservata: L'iniezione parziale di token consente una guida controllata mantenendo la capacità della VLA di generare traiettorie fluide, temporalmente coerenti e dinamicamente fattibili. La politica mantiene la sua destrezza appresa, utilizzando l'input dell'utente come una guida piuttosto che come un override forzato.
2. Influenza Dipendente dalla Frequenza: L'editing dei token FAST a bassa frequenza influenza in modo sproporzionato la semantica globale della traiettoria (ad esempio, la direzione del movimento), mentre l'editing dei token ad alta frequenza influisce principalmente sui raffinamenti locali. L'iniezione di token a bassa frequenza produce tassi di successo della guida significativamente più elevati.
3. Correzione dei Fallimenti di Grounding: Il TS consente agli utenti di correggere i "fallimenti di grounding" (dove il robot seleziona l'oggetto errato in base al linguaggio) e di completare compiti a lungo termine dipendenti dallo stato che una baseline VLA autoregressiva non riesce a eseguire.

Risultati Sperimentali

Gli autori hanno valutato il TS su due compiti di manipolazione domestica:

• Task 1: Chiusura del Cassetto (Post-Posizionamento)

  • Baseline: $\pi^0$-FAST ha ottenuto un tasso di successo del 10,0%.
  • Con TS: Il tasso di successo è salito al 72,5%.
  • Efficienza: Il tempo mediano di completamento è diminuito da 74,0s a 42,0s.
  • Osservazione: Gli utenti hanno potuto guidare la pinza verso una posizione ottimale per chiudere il cassetto delicatamente, mentre la politica gestiva i dettagli del movimento fine, evitando impatti duri.

• Task 2: Scambio di Oggetti Consapevole dello Stato

  • Baseline: La politica autonoma ha ottenuto lo 0% di successo (fallendo nello scambio delle spugne a causa della mancanza di memoria e tracciamento dello stato).
  • Con TS: Il tasso di successo è salito al 93,8%.
  • Osservazione: Gli utenti hanno gestito la logica del compito ad alto livello (tracciamento degli stati e delle posizioni delle spugne) tramite la guida, mentre la politica eseguiva la manipolazione destra.

Robustezza ed Entropia

Lo studio ha investigato se l'iniezione di token fuori distribuzione (OOD) causasse un "collasso dell'entropia" (perdita di diversità della politica). I risultati hanno mostrato che, sebbene l'entropia cali temporaneamente subito dopo l'iniezione dei token, essa si recupera rapidamente. La politica mantiene la capacità di generare azioni a valle diversificate (ad esempio, regolando l'orientamento della presa per blocchi orientati casualmente), indicando che il TS influenza la generazione della traiettoria senza distruggere l'adattabilità autonoma.

4. Significato

Il documento afferma che gli spazi dei token di azione autoregressivi non sono solo rappresentazioni compresse delle traiettorie, ma fungono da interfacce semantiche controllabili per il comportamento robotico guidato dall'uomo durante l'inferenza.

• Accessibilità: Consentendo una guida leggera e intuitiva (ad esempio, tramite tastiera o potenzialmente interfacce cervello-computer), il TS amplia l'accessibilità per individui con controllo fisico limitato che non possono eseguire una teleoperazione completa.
• Applicabilità Zero-Shot: Poiché il TS opera interamente al tempo di inferenza senza necessità di ri-addestramento, può essere applicato immediatamente a diversi compiti e ambienti.
• Interazione Uomo-Robot: L'interfaccia consente un modello di "autonomia condivisa" in cui gli utenti forniscono l'intento di alto livello (direzione/correzione) e la VLA gestisce la destrezza a basso livello, migliorando potenzialmente sicurezza e successo dei compiti in ambienti di consumo.

Gli autori rilevano i limiti riguardanti la latenza di inferenza intrinseca ai modelli autoregressivi rispetto agli approcci basati sulla diffusione, ma sottolineano che il TS fornisce un meccanismo innovativo per l'intervento in tempo reale nei modelli di fondazione senza cambiamenti architettonici.