💻 computer science

RLinf-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models

Il documento presenta RLinf-VLA, un framework unificato ed efficiente che standardizza l'integrazione di diverse architetture VLA e algoritmi di RL, ottimizzando al contempo l'allocazione delle risorse per ottenere significativi incrementi della velocità di addestramento e prestazioni allo stato dell'arte in molteplici benchmark di intelligenza incarnata.

Autori originali: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao

Pubblicato 2026-08-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao Yu, Yu Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i robot non sono solo macchine insensate che seguono una rigida lista di istruzioni, ma apprendisti curiosi capaci di capire ciò che dite, vedere ciò che vedete e capire come muovere i propri corpi per portare a termine dei compiti. Questa è la frontiera entusiasmante dei modelli Vision-Language-Action (VLA). Pensate a questi modelli come al "cervello" del robot, addestrati su enormi quantità di dati provenienti da internet per comprendere il linguaggio e le immagini. Ma c'è un problema: il fatto che un robot sappia cos'è una tazza e senta dire "prendi la tazza", non significa che sappia il modo migliore per afferrarla senza rovesciarla. Per diventare davvero bravi nei compiti fisici, questi robot devono fare pratica, commettere errori e imparare dai risultati. È qui che entra in gioco l'Apprendimento per Rinforzo (Reinforcement Learning - RL). Potete pensare al RL come a un ciclo di addestramento di un videogioco: il robot prova un'azione, ottiene un "punteggio" (ricompensa) se ha successo e impara a ripetere le mosse buone evitando quelle sbagliate. La grande domanda che gli scienziati si pongono è: come possiamo costruire un sistema di addestramento abbastanza veloce e intelligente da permettere a questi robot di apprendere abilità complesse senza impiegare un tempo infinito?

Entra in gioco RLinf-VLA, un nuovo framework che agisce come una palestra di addestramento super efficiente per questi cervelli robotici. I ricercatori dietro questo articolo si sono resi conto che, sebbene abbiamo modelli robotici potenti e ottimi algoritmi di addestramento, la "palestra" stessa era spesso difettosa. I sistemi precedenti erano come cercare di correre una maratona portando uno zaino pesante; erano lenti, goffi e non riuscivano a gestire bene diversi tipi di ambienti di addestramento. A volte il cervello del robot (il modello) era in attesa che il simulatore (il mondo virtuale) lo raggiungesse, e altre volte il simulatore era in attesa del cervello, lasciando costosi chip informatici inattivi.

Il team ha costruito RLinf-VLA per risolvere questo ingorgo. Hanno creato un sistema unificato che può integrare contemporaneamente diversi simulatori robotici, diverse architetture cerebrali e diversi algoritmi di apprendimento. Ma la vera magia risiede nel modo in cui gestiscono la potenza di calcolo. Hanno introdotto una intelligente modalità "ibrida" che agisce come una danza ben coreografata. Invece di lasciare che il cervello del robot e il mondo virtuale si aspettino a vicenda, hanno implementato un sistema a pipeline: mentre il cervello sta pensando alla mossa successiva per una parte della simulazione, il simulatore sta già eseguendo la mossa precedente per un'altra parte. Questo mantiene tutto in movimento alla massima velocità.

I risultati di questo nuovo sistema sono impressionanti. Nelle loro simulazioni, il framework ha reso l'addestramento fino a 2,27 volte più veloce rispetto ai metodi precedenti. Quando hanno messo alla prova i modelli addestrati, i risultati sono stati solidi. Un singolo modello addestrato con RLinf-VLA ha ottenuto un tasso di successo del 98,11% su 130 diversi compiti nel benchmark LIBERO e del 97,66% su 25 compiti in ManiSkill. Anche sui complessi compiti di RoboTwin, che prevedono l'uso di due mani, i modelli hanno raggiunto un tasso di successo medio dell'84,63%. I ricercatori hanno anche testato una versione di questo nel mondo reale con un braccio robotico fisico che chiudeva un cassetto. Sebbene il tasso di successo fosse lo stesso di un modello standard (8 tentativi su 10), il robot addestrato con RL si muoveva in modo più fluido ed efficiente, evitando i movimenti goffi e scattosi della versione non addestrata.

L'articolo suggerisce che questo nuovo framework non è solo un aumento di velocità; è uno strumento fondamentale che rende possibile addestrare questi complessi cervelli robotici su una scala molto più ampia rispetto al passato. Standardizzando il modo in cui questi sistemi comunicano tra loro e ottimizzando l'uso delle risorse informatiche, RLinf-VLA offre una strada verso robot capaci di apprendere nuove abilità fisiche in modo rapido e affidabile, portandoci un passo più vicini al giorno in cui i robot potranno davvero aiutarci nella nostra vita quotidiana.

Sintesi Tecnica: RLinf-VLA

Problematica

I recenti progressi nei modelli Vision-Language-Action (VLA) hanno dimostrato il potenziale dell'apprendimento per rinforzo (RL) nel migliorare le prestazioni dei task attraverso l'interazione. Tuttavia, la ricerca attuale in questo dominio affronta tre sfide primarie:

Frammentazione: Gli sforzi esistenti mancano di una piattaforma unificata per un confronto equo tra diverse architetture VLA, algoritmi RL e simulatori.
Inefficienza: L'addestramento scalabile tramite RL è ostacolato da progettazioni di sistema che non tengono conto della specifica contesa di risorse negli ambienti embodied. A differenza dei Large Language Models (LLM), l'addestramento VLA comporta un forte accoppiamento tra inferenza del modello, rendering del simulatore e ottimizzazione, portando spesso a tempi di inattività significativi della GPU e a "pipeline bubbles".
Mancanza di Standardizzazione: L'assenza di un'interfaccia unificata rende difficile estrarre principi generali per l'addestramento VLA basato su RL, poiché i lavori esistenti si affidano a protocolli e codebase disparati.

Metodologia

Gli autori presentano RLinf-VLA, un framework unificato ed efficiente progettato per affrontare queste sfide attraverso l'astrazione a livello di sistema e l'ottimizzazione algoritmica.

1. Astrazione Unificata del Sistema

RLinf-VLA fornisce un'interfaccia standardizzata che integra:

Molteplici Simulatori: Supporta ambienti eterogenei, inclusi simulatori parallelizzati su CPU (es. LIBERO) e su GPU (es. ManiSkill, RoboTwin).
Diverse Architetture: Accoglie vari modelli VLA (es. OpenVLA, OpenVLA-OFT, $\pi_0$ ) e formulazioni di azione (single-step vs. action chunks).
Algoritmi RL: Supporta algoritmi on-policy come PPO e GRPO, con estensibilità per metodi off-policy.

2. Strategie di Allocazione Flessibile della GPU

Per massimizzare l'utilizzo delle risorse, il framework introduce tre modalità di esecuzione:

Modalità Collocated (Co-localizzata): Tutti i componenti (Generazione, Simulatore, Addestramento) condividono le stesse GPU. Gli autori hanno modificato l'approccio standard per minimizzare l'overhead di offload-onload limitando queste operazioni all'inizio e alla fine delle fasi di rollout.
Modalità Disaggregated (Disaggregata): I componenti sono assegnati a partizioni GPU distinte. Sebbene semplice, questa modalità porta spesso a un sotto-utilizzo a causa delle dipendenze tra i componenti (es. le GPU in attesa di dati).
Modalità Hybrid (Ibrida - Nuova): Questa modalità combina i vantaggi delle precedenti due. Assegna la Generazione e il Simulatore a diverse partizioni GPU, consentendo al contempo all'Addestramento di utilizzare tutte le GPU. Fondamentalmente, introduce un pipelining a grana fine, dove le istanze del simulatore sono partizionate in sub-simulatori ( $S^{(1)}, S^{(2)}, \dots$ ). Ciò consente ai componenti Simulator e Generation di eseguire in modo concorrente, mitigando le "GPU bubbles" causate dalle dipendenze sequenziali senza incorrere nell'overhead del frequente offloading dei dati.
Auto-Placement (Posizionamento Automatico): Un algoritmo leggero determina automaticamente l'allocazione ottimale della GPU e la profondità della pipeline ( $k=1$ o $k=2$ ) basandosi sul profiling a runtime per minimizzare il tempo di rollout.

3. Scelte di Design Algoritmico

Il framework distilla specifiche scelte di design per scalare l'RL ai VLA:

Supporto Multi-Granularità: Supporta il calcolo di advantage e log-probabilità a livelli di Chunk, Action e Token.
Miglioramenti PPO:
- Partial Reset (Reset Parziale): Resetta i sub-ambienti immediatamente dopo la terminazione anziché attendere una lunghezza fissa dell'episodio, migliorando l'efficienza del campionamento.
- Parameter-Sharing Critic: Attacca una testa di valore leggera al modello di linguaggio dell'attore per evitare il costo computazionale di una rete critic separata.
- Stima del Valore a Livello di Azione: Empiricamente risulta superiore alla stima a livello di chunk per gli action chunk.
Miglioramenti GRPO:
- Valid Action Mask (Maschera Azione Valida): Maschera i timestep che avvengono dopo il completamento del task per concentrare l'ottimizzazione sui passi rilevanti.
- Normalizzazione della Lunghezza della Traiettoria: Normalizza la perdita rispetto al numero di timestep validi per evitare che traiettorie più lunghe dominino i gradienti.
- Filtro del Tasso di Successo: Scarta i gruppi di traiettorie in cui tutti gli esiti sono identici (tutti successo o tutti fallimento) per garantire un calcolo dell'advantage significativo.

Risultati Chiave

Il framework è stato valutato su tre benchmark: LIBERO (130 task), ManiSkill (25 task) e RoboTwin (6 task).

Guadagni di Performance:
- LIBERO: Un singolo modello unificato ha raggiunto un tasso di successo del 98,11% su 130 task (rispetto a circa il 42% del baseline).
- ManiSkill: Un singolo modello ha raggiunto il 97,66% di successo su 25 task (rispetto al 18% del baseline per OpenVLA-OFT).
- RoboTwin: Sei modelli specifici per task hanno raggiunto una percentuale media di successo dell'84,63% (un miglioramento del 63,75% rispetto al modello base).
- I modelli addestrati con RL hanno superato costantemente i baseline di Supervised Fine-Tuning (SFT), in particolare nella generalizzazione Out-of-Distribution (OOD).
Efficienza del Sistema:
- La modalità Hybrid con pipelining a grana fine ha ottenuto accelerazioni di 1,61×–1,88× su ManiSkill rispetto ai baseline disaggregati.
- Complessivamente, RLinf-VLA ha ottenuto fino a 2,27× di velocità in più rispetto ai framework esistenti (es. SimpleVLA-RL) ottimizzando sia le fasi di rollout che di addestramento.
Trasferimento nel Mondo Reale:
- Un esperimento preliminare nel mondo reale su un task di chiusura di un cassetto ha mostrato che una policy ottimizzata tramite RL completa il compito in modo più efficiente rispetto a un baseline SFT-only, mostrando comportamenti più diretti e fluidi nonostante sia stata addestrata principalmente in simulazione.

Significato e Rivendicazioni

Gli autori posizionano RLinf-VLA come un framework fondamentale per il campo dell'intelligenza embodied. Il suo significato risiede in:

Unificazione: Fornisce la prima interfaccia unificata per supportare diversi simulatori, modelli e algoritmi, consentendo confronti equi e riproducibilità.
Efficienza: Affrontando i problemi specifici di contesa delle risorse dell'RL embodied (simulatore vs. inferenza vs. addestramento), offre una soluzione scalabile che riduce significativamente i tempi di addestramento.
Best Practices: Il paper distilla scelte di design azionabili (es. stima del valore a livello di azione, partial reset, valid action masking) che guidano la ricerca futura nell'addestramento VLA basato su RL.
Apertura: Rilasciato come piattaforma open-source e attivamente mantenuta, mira ad accelerare e standardizzare la ricerca in questo dominio.

Il paper conclude che, sebbene l'RL basato sulla simulazione sia promettente per l'implementazione nel mondo reale, il contributo primario è l'instaurazione di un'infrastruttura robusta, efficiente ed estensibile, necessaria per far avanzare le capacità VLA attraverso l'apprendimento per rinforzo.