🤖 machine learning

Reinforcement Learning for Real-Time Vision-Language-Action Policies

Questo articolo introduce Real-Time EXPO-FT, un framework di apprendimento per rinforzo che disaccoppia la generazione di azioni lente ed espressive dall'editing di azioni rapide e reattive per consentire un adattamento efficiente in termini di campionamento e ad alte prestazioni dei grandi modelli Vision-Language-Action alle dinamiche del mondo reale, nonostante la latenza di inferenza.

Autori originali: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

Pubblicato 2026-09-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I robot hanno lottato a lungo per muoversi con la fluidità degli esseri viventi. Sebbene possano essere programmati per seguire un insieme rigido di istruzioni in una fabbrica, il mondo reale è disordinato, imprevedibile e si muove velocemente. Per navigare in questo contesto, i ricercatori si sono rivolti a un tipo di intelligenza artificiale noto come modello visione-linguaggio-azione. Questi sono enormi programmi informatici addestrati su enormi quantità di dati, che permettono loro di capire ciò che vedono attraverso una telecamera, leggere un'istruzione testuale e decidere come muovere un braccio robotico. Sono potenti perché hanno visto così tanti esempi di come funziona il mondo, agendo come una vasta biblioteca di esperienze. Tuttavia, c'è un grosso problema: poiché questi modelli sono così grandi e complessi, impiegano un tempo considerevole per pensare. Nel frazione di secondo che il computer impiega per elaborare un'immagine e decidere un movimento, il mondo fisico è già cambiato. Se un robot sta cercando di afferrare una palla o di bilanciare un oggetto, l'informazione utilizzata per prendere la decisione è già vecchia al momento dell'effettivo movimento, causando spesso il fallimento dell'azione.

Un team di ricercatori dell'Università di Stanford ha sviluppato un nuovo modo per insegnare a questi grandi modelli come agire in tempo reale, anche quando sono lenti a pensare. Il loro approccio, chiamato Real-Time EXPO-FT, risolve il problema del ritardo dividendo il processo decisionale del robot in due parti distinte. Invece di costringere il modello enorme e lento a compiere ogni singolo aggiustamento al secondo, gli permettono di svolgere il lavoro pesante di pianificazione di un percorso generale, mentre un programma informatico molto più piccolo e veloce gestisce le correzioni immediate. Immaginate un direttore d'orchestra che guida un'orchestra; il direttore stabilisce il tempo e la melodia generale, ma i singoli musicisti devono regolare il proprio gioco istantaneamente per rimanere in sincronia. In questo sistema, il modello grande agisce come il direttore, proponendo una sequenza di movimenti basata su ciò che ha visto un momento prima. Poi, un assistente leggero osserva lo stato attuale del mondo e apporta piccole e rapide modifiche a quei movimenti proposti per garantire che siano ancora corretti per l'esatto momento in cui il robot deve agire. Ciò consente al robot di utilizzare la profonda conoscenza del grande modello senza essere frenato dalla sua velocità di pensiero.

I ricercatori hanno testato questo metodo in due ambienti molto diversi: un mondo simulato di fisica e il mondo fisico reale. Nella simulazione, hanno sfidato il robot con dieci diverse attività dinamiche, come bilanciare una palla su un piatto, calciare un pallone da calcio evitando un difensore e afferrare un oggetto in movimento. Hanno confrontato il loro nuovo metodo con diverse tecniche esistenti che cercavano di gestire i ritardi. I risultati sono stati chiari: il nuovo approccio ha permesso al robot di avere successo in quasi tutte le prove, superando tutti gli altri metodi, inclusi quelli che non dovevano affrontare alcun ritardo. Questo è stato un risultato significativo perché ha dimostrato che, insegnando esplicitamente al sistema di tenere conto della propria lentezza, il robot poteva diventare più affidabile rispetto ai sistemi che erano teoricamente più veloci ma meno adattabili.

Per dimostrare che questo funzionava nel mondo reale, il team ha spostato il robot in un ambiente di laboratorio e gli ha assegnato quattro compiti impegnativi che richiedevano una reazione costante e rapida. Questi includevano mantenere in equilibrio una pallina da ping pong su un piatto rotante, raccogliere un blocco da una superficie rotante, afferrare un oggetto passato da un altro braccio robotico e calciare una palla in un gol mentre un difensore si muove intorno. I ricercatori hanno limitato il tempo di addestramento a soli dieci minuti di interazione del robot con l'ambiente, assicurando che il sistema potesse imparare rapidamente senza necessitare di ore infinite di pratica. Prima di applicare il loro metodo, il tasso di successo del robot su questi compiti era piuttosto basso, con una media del 42 percento. Dopo l'uso del nuovo framework di addestramento in tempo reale, il tasso di successo è balzato al 97 percento. Il robot ha imparato ad adattarsi ai movimenti caotici degli oggetti e ai vincoli temporali dei compiti senza alcuna interazione umana durante il processo di addestramento.

Lo studio ha anche esplorato quanto bene il sistema reggesse sotto diverse condizioni. Quando i ricercatori hanno aumentato artificialmente il ritardo nel processo di pensiero del robot, il nuovo metodo ha mantenuto il suo alto livello di prestazione, mentre altri metodi fallivano al crescere del ritardo. Allo stesso modo, quando la velocità degli oggetti in movimento aumentava, il robot che utilizzava questo nuovo framework continuava a avere successo, mentre altri approcci faticavano a tenere il passo. Ciò dimostra che il sistema non funziona solo per una specifica velocità o ritardo, ma è abbastanza robusto da gestire la natura imprevedibile di un ambiente dinamico. I ricercatori hanno osservato che, sebbene il loro sistema sia altamente efficace, esso richiede ancora che un essere umano riposizioni il robot dopo che un compito è terminato, e richiede un modo specifico per definire il successo di ogni compito. Tuttavia, il traguardo fondamentale è la dimostrazione che i grandi e potenti modelli di IA possono essere resi operativi in tempo reale, colmando il divario tra la pianificazione lenta e riflessiva dell'intelligenza artificiale e le richieste rapide e reattive del mondo fisico.

Sintesi Tecnica: Real-Time EXPO-FT

Problematica
Il fine-tuning tramite apprendimento per rinforzo (RL) di modelli Vision-Language-Action (VLA) pre-addestrati di grandi dimensioni promette un deployment robotico affidabile. Tuttavia, la scala di questi modelli introduce una latenza di inferenza significativa. In ambienti reali dinamici, l'osservazione utilizzata per generare un'azione è spesso obsoleta al momento dell'esecuzione. Ciò crea uno shift della distribuzione in cui la policy agisce su informazioni di stato non aggiornate, degradando sostanzialmente l'affidabilità e le prestazioni. Sebbene il lavoro precedente abbia esplorato l'esecuzione asincrona (ad esempio, Real-Time Chunking) per mitigare la latenza, questi metodi si basano principalmente sull'apprendimento per imitazione e mancano di meccanismi per andare oltre la distribuzione di addestramento. Inoltre, l'applicazione diretta del classico RL a policy ritardate non riesce a catturare i pieni guadagni di affidabilità dell'RL perché le azioni sono predette da osservazioni precedenti, rompendo la proprietà di Markov necessaria per l'assegnazione del credito standard.

Metodologia: Real-Time EXPO-FT
Il documento propone Real-Time EXPO-FT, un framework che scinde la generazione di azioni espressiva e lenta dall'editing delle azioni rapido e reattivo per consentire il fine-tuning RL sotto vincoli in tempo reale. L'approccio si basa su EXPO-FT, un sistema di RL efficiente nel campionamento per il fine-tuning di VLA, e lo integra con i concetti di Training-Time Real-Time Chunking (RTC).

L'architettura centrale è composta da tre componenti che operano su diverse scale temporali:

Generazione di Azioni VLA Asincrona (Lenta): Una base policy VLA pre-addestrata e di grandi dimensioni ( $\pi_{VLA}$ ) gira asincronamente in background. Genera molteplici chunk di azioni candidati basandosi su un'osservazione $s_t$ e sul prefisso dell'azione "impegnata" dal chunk precedente ( $a^{prev}_{t:t+d}$ ) per tenere conto del ritardo di inferenza $d$ . Questo passaggio utilizza il flow-matching per campionare candidati diversificati.
Edit Sincroni Veloci (Veloci): Una volta che il robot raggiunge il tempo di esecuzione $t+d$ e acquisisce l'osservazione più recente $s_{t+d}$ , una policy di editing leggera ( $\pi_{edit}$ ) esegue il decision-making reattivo. Essa prende i chunk candidati generati dalla VLA e li modifica in base allo stato corrente per correggere eventuali cambiamenti di stato avvenuti durante il ritardo di inferenza.
Selezione tramite Q-Function: Una Q-function appresa ( $Q_\phi$ ) valuta sia gli originali candidati VLA che i candidati editati sotto lo stato corrente $s_{t+d}$ . Il sistema seleziona il chunk di azioni con il valore Q più elevato per l'esecuzione.

Procedura di Addestramento

Fine-tuning della VLA: La VLA di base viene sottoposta a fine-tuning utilizzando un obiettivo di flow-matching modificato che simula il ritardo di inferenza durante l'addestramento. La perdita è mascherata per escludere i primi $d$ azioni (la finestra di ritardo), costringendo il modello a imparare a predire le azioni rimanenti condizionate dal prefisso impegnato.
Addestramento della Edit Policy: La edit policy è addestrata per massimizzare il valore Q delle azioni editate, imparando efficacemente a spostare l'output della policy di base verso regioni ad alto valore dello spazio delle azioni.
Addestramento del Critic: Il critic è addestrato tramite apprendimento delle differenze temporali (temporal-difference learning) su interi chunk di azioni. Per ridurre il costo computazionale durante il Bellman backup, il metodo impiega un meccanismo di filtraggio dello spazio del rumore (ispirato a FASTER). Un critic leggero ( $Q^{dn}_\psi$ ) valuta i vettori di rumore candidati prima della decodifica completa, permettendo al sistema di filtrare i candidati nello spazio del rumore e di eseguire una singola decodifica VLA per il miglior candidato prima di applicare gli edit.

Contributi Chiave

Framework per il RL in Tempo Reale: Il documento introduce il primo framework che consente il fine-tuning RL di grandi modelli VLA che tiene esplicitamente conto della latenza di inferenza pur mantenendo frequenze di controllo in tempo reale.
Architettura di Controllo Decoupled: Propone un nuovo scissione tra la generazione di comportamento ad alta capacità e lenta (VLA) e la correzione dello stato rapida e reattiva (Edit Policy), permettendo al sistema di sfruttare la conoscenza a priori della VLA pur mantenendo la reattività.
Adattamento Efficiente nel Campionamento: Combinando l'efficienza di campionamento di EXPO-FT con strategie di esecuzione in tempo reale, il metodo raggiunge un rapido adattamento ad ambienti dinamici con un minimo di dati online.

Risultati Sperimentali
Gli autori valutano Real-Time EXPO-FT sul benchmark Kinetix (10 task di simulazione) e su quattro task reali dinamici (Passaggio di Oggetto al Robot, Bilanciamento della Palla, Calcio di Calcio e Picking di Oggetti Dinamici).

Simulazione: Sul benchmark Kinetix, Real-Time EXPO-FT ha ottenuto le migliori prestazioni tra i metodi ritardati e non ritardati in 10 ambienti su 10. Ha superato significativamente i baseline ritardati (DSRL, EXPO-FT con/senza RTC) e ha persino superato il baseline RLPD non ritardato (81.4% vs 96.2% di tasso medio di successo) nonostante operasse con un ritardo di inferenza di 4 step.
Realtà: Negli esperimenti reali limitati a 10 minuti di dati robotici online, Real-Time EXPO-FT ha migliorato il tasso medio di successo della policy dal 42% (12.5/30) al 97% (29/30). Ha raggiunto prestazioni quasi perfette (30/30) in Dynamic Picking e Object Passing, e 28/30 in Ball Balancing e Soccer Kicking, superando sostanzialmente tutti i baseline.
Robustezza: Il metodo ha dimostrato prestazioni stabili attraverso variazioni di ritardo di inferenza e velocità dell'ambiente, mentre i baseline come RTC hanno subito un degrado significativo all'aumentare dei ritardi.

Significatività e Rivendicazioni
Il documento afferma che Real-Time EXPO-FT colma con successo il divario tra l'alta affidabilità del fine-tuning RL e la reattività richiesta per la manipolazione reale dinamica. Modellando esplicitamente la latenza di inferenza e scindendo la generazione delle azioni dall'esecuzione, il metodo permette di distribuire grandi modelli VLA in loop di controllo ad alta frequenza senza sacrificare le prestazioni. I risultati dimostrano che è possibile ottenere un adattamento rapido ed efficiente nel campionamento a dinamiche reali sfidanti senza intervento umano durante l'addestramento, superando lo shift della distribuzione causato dalla latenza del modello.

Limitazioni
Gli autori riconoscono che la loro attuale implementazione si affida a operatori umani per i reset dell'ambiente, il che introduce un carico operativo. Inoltre, il segnale di ricompensa si basa su classificatori di successo specifici per il task (basati su regole o appresi), richiedendo una progettazione manuale per ogni nuovo task. Il documento nota che l'automazione dei reset e l'esplorazione di formulazioni di ricompensa alternative rimangono questioni aperte per il lavoro futuro.

Sintesi Tecnica: Real-Time EXPO-FT

Articoli simili