💻 computer science

RLinf-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models

Het artikel introduceert RLinf-VLA, een verenigd en efficiënt framework dat de integratie van diverse VLA-architecturen en RL-algoritmen standaardiseert terwijl het de toewijzing van middelen optimaliseert om significante versnellingen in training en state-of-the-art prestaties over meerdere benchmarks voor belichaamde intelligentie te bereiken.

Oorspronkelijke auteurs: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Peihong Wang, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao Yu, Yu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen zielloze machines zijn die een strikte lijst met instructies volgen, maar nieuwsgierige leerlingen die kunnen begrijpen wat je zegt, kunnen zien wat jij ziet en kunnen uitzoeken hoe ze hun eigen lichaam moeten bewegen om taken uit te voeren. Dit is de opwindende grens van Vision-Language-Action (VLA)-modellen. Beschouw deze modellen als het "brein" van de robot, getraind op enorme hoeveelheden internetdata om taal en afbeeldingen te begrijpen. Maar er is een addertje onder het gras: alleen omdat een robot weet wat een beker is en "pak de beker op" hoort, betekent dit nog niet dat hij weet wat de beste manier is om hem vast te pakken zonder hem om te stoten. Om echt goed te worden in fysieke taken, moeten deze robots oefenen, fouten maken en leren van de resultaten. Hier komt Reinforcement Learning (RL) om de hoek kijken. Je kunt RL zien als een trainingslus van een videogame: de robot voert een actie uit, krijgt een "score" (beloning) als hij slaagt, en leert om de goede zetten te herhalen terwijl hij de slechte vermijdt. De grote vraag die wetenschappers zich stellen is: hoe bouwen we een trainingssysteem dat snel genoeg en slim genoeg is om deze robots complexe vaardigheden te laten leren zonder dat het eeuwig duurt?

Maak kennis met RLinf-VLA, een nieuw framework dat fungeert als een superefficiënte trainingsgym voor deze robotbreinen. De onderzoekers achter dit artikel realiseerden zich dat hoewel we krachtige robotmodellen en geweldige trainingsalgoritmen hebben, de "gym" zelf vaak defect was. Eerdere systemen waren als proberen een marathon te lopen terwijl je een zware rugzak draagt; ze waren traag, log en konden niet goed omgaan met verschillende soorten trainingsomgevingen. Soms wachtte het brein van de robot (het model) tot de simulator (de virtuele wereld) bijkwam, en andere keren wachtte de simulator op het brein, waardoor dure computerchips onbenut bleven.

Het team heeft RLinf-VLA gebouwd om deze verkeersopstopping op te lossen. Ze creëerden een verenigd systeem dat tegelijkertijd verschillende robotsimulators, verschillende hersenarchitecturen en verschillende leeralgoritmen kan koppelen. Maar de echte magie zit in de manier waarop ze het computervermogen beheren. Ze introduceerden een slimme "hybride" modus die werkt als een goed gechoreografeerde dans. In plaats van het brein van de robot en de virtuele wereld op elkaar te laten wachten, automatiseren ze het proces via een pipeline: terwijl het brein nadenkt over de volgende zet voor een deel van de simulatie, is de simulator al bezig met de vorige zet voor een ander deel. Dit houdt alles op volle snelheid draaiende.

De resultaten van dit nieuwe systeem zijn indrukwekkend. In hun simulaties maakte het framework de training tot wel 2,27 keer sneller dan eerdere methoden. Wanneer ze de getrainde modellen aan de test onderwierpen, waren de resultaten sterk. Een enkel model getraind met RLinf-VLA behaalde een succespercentage van 98,11% over 130 verschillende taken in de LIBERO-benchmark en 97,66% op 25 taken in ManiSkill. Zelfs op de lastige RoboTwin-taken, waarbij twee handen worden gebruikt, bereikten de modellen een gemiddeld succespercentage van 84,63%. De onderzoekers testten ook een versie hiervan in de echte wereld met een fysieke robotarm die een lade sluit. Hoewel het succespercentage hetzelfde was als bij een standaardmodel (8 van de 10 pogingen), bewoog de met RL getrainde robot soepeler en efficiënter, waarbij hij de onhandige, schokkerige bewegingen van de ongetrainde versie vermeed.

Het artikel suggereert dat dit nieuwe framework niet alleen een snelheidssprong is; het is een fundamenteel hulpmiddel dat het mogelijk maakt om deze complexe robotbreinen op een veel grotere schaal te trainen dan voorheen. Door te standaardiseren hoe deze systemen met elkaar communiceren en door het gebruik van computerbronnen te optimaliseren, biedt RLinf-VLA een pad naar robots die nieuwe fysieke vaardigheden snel en betrouwbaar kunnen leren, wat ons een stap dichter bij de dag brengt waarop robots ons echt in ons dagelijks leven kunnen helpen.

Technische Samenvatting: RLinf-VLA

Probleemstelling

Recente vooruitgangen in Vision-Language-Action (VLA) modellen hebben het potentieel van reinforcement learning (RL) aangetoond om taakprestaties te verbeteren door middel van interactie. De huidige research in dit domein staat echter voor drie primaire uitdagingen:

Fragmentatie: Bestaande inspanningen missen een verenigd platform voor een eerlijke vergelijking tussen diverse VLA-architecturen, RL-algoritmen en simulators.
Inefficiëntie: Schaalbare RL-training wordt gehinderd door systeemontwerpen die geen rekening houden met de specifieke resource-contention in belichaamde (embodied) omgevingen. In tegen tegenstelling tot Large Language Models (LLM's), omvat VLA-training een nauwe koppeling tussen modelinferentie, simulator-rendering en optimalisatie, wat vaak leidt tot aanzienlijke GPU-idle tijd en pipeline-bubbles.
Gebrek aan Standaardisatie: Het ontbreken van een uniforme interface maakt het moeilijk om algemene principes voor RL-gebaseerde VLA-training te extraheren, aangezien bestaande werken vertrouwen op uiteenlopende protocollen en codebases.

Methodologie

De auteurs presenteren RLinf-VLA, een verenigd en efficiënt framework dat deze uitdagingen aanpakt door middel van systeemniveau-abstractie en algoritmische optimalisatie.

1. Verenigde Systeemabstractie

RLinf-VLA biedt een gestandaardiseerde interface die het volgende integreert:

Meerdere Simulators: Ondersteunt heterogene omgevingen, waaronder CPU-geparalleliseerde (bijv. LIBERO) en GPU-geparalleliseerde (bijv. ManiSkill, RoboTwin) simulators.
Diverse Architecturen: Accommodeert diverse VLA-modellen (bijv. OpenVLA, OpenVLA-OFT, $\pi_0$ ) en actie-formuleringen (single-step vs. action chunks).
RL-Algoritmen: Ondersteunt on-policy algoritmen zoals PPO en GRPO, met uitbreidbaarheid voor off-policy methoden.

2. Flexibele GPU-allocatiestrategieën

Om de resource-benutting te maximaliseren, introduceert het framework drie executiemodi:

Collocated Mode: Alle componenten (Generatie, Simulator, Training) delen dezelfde GPU's. De auteurs hebben de standaardaanpak aangepast om de offload-onload overhead te minimaliseren door deze operaties te beperken tot het begin en einde van de rollout-fasen.
Disaggregated Mode: Componenten worden toegewezen aan afzonderlijke GPU-partities. Hoewel eenvoudig, leidt dit vaak tot onderbenutting door inter-component afhankelijkheden (bijv. GPU's die wachten op data).
Hybrid Mode (Nieuw): Deze modus combineert de voordelen van de vorige twee. Het wijst Generatie en Simulator toe aan verschillende GPU-partities, terwijl het Training toestaat om alle GPU's te gebruiken. Cruciaal is dat het fijnmazige pipelining introduceert, waarbij simulator-instanties worden opgedeeld in sub-simulators ( $S^{(1)}, S^{(2)}, \dots$ ). Dit stelt de Simulator en Generatie-componenten in staat om gelijktijdig te draaien, waardoor "GPU-bubbles" veroorzaakt door sequentiële afhankelijkheden worden gemitigeerd zonder de overhead van frequente data-offloading te veroorzaken.
Auto-Placement: Een lichtgewicht algoritme bepaalt automatisch de optimale GPU-allocatie en pipeline-diepte ( $k=1$ of $k=2$ ) op basis van runtime-profiling om de rollout-tijd te minimaliseren.

3. Algoritmische Ontwerpkeuzes

Het framework destilleert specifieke ontwerpkeuzes voor het schalen van RL naar VLA's:

Multi-Granulariteit Ondersteuning: Ondersteunt advantage en log-waarschijnlijkheidsberekening op Chunk-, Action- en Token-niveau.
PPO Verbeteringen:
- Partial Reset: Reset sub-omgevingen onmiddellijk bij terminatie in plaats van te wachten op een vaste episode-lengte, wat de sample-efficiëntie verbetert.
- Parameter-Sharing Critic: Koppelt een lichtgewicht value head aan de actor's taalmodel om de computationele kosten van een apart critic-netwerk te vermijden.
- Action-Level Value Estimation: Is empirisch superieur gebleken aan chunk-level estimatie voor action chunks.
GRPO Verbeteringen:
- Valid Action Mask: Maskeert tijdstappen die plaatsvinden na taakvoltooiing om de optimalisatie te foceren op relevante stappen.
- Trajectlengte Normalisatie: Normaliseert de loss door het aantal valide tijdstappen om te voorkomen dat langere trajecten de gradiënten domineren.
- Success Rate Filter: Verwerpt trajectgroepen waar alle uitkomsten identiek zijn (allemaal succes of allemaal falen) om zinvolle advantage-berekening te garanderen.

Belangrijkste Resultaten

Het framework werd geëvalueerd over drie benchmarks: LIBERO (130 taken), ManiSkill (25 taken) en RoboTwin (6 taken).

Prestatiewinst:
- LIBERO: Een enkel verenigd model bereikte een succespercentage van 98,11% over 130 taken (omhoog van ~42% baseline).
- ManiSkill: Een enkel model bereikte 97,66% succes op 25 taken (omhoog van ~18% baseline voor OpenVLA-OFT).
- RoboTwin: Zes taakspecifieke modellen bereikten een gemiddeld succespercentage van 84,63% (een verbetering van 63,75% ten opzichte van het basismodel).
- RL-getrainde modellen presteerden consistent beter dan Supervised Fine-Tuning (SFT) baselines, met name in Out-of-Distribution (OOD) generalisatie.
Systeemefficiëntie:
- De Hybrid mode met fijnmazige pipelining behaalde versnellingen van 1,61×–1,88× op ManiSkill vergeleken met disaggregated baselines.
- In totaal behaalde RLinf-VLA tot wel 2,27× versnelling ten opzichte van bestaande frameworks (bijv. SimpleVLA-RL) door zowel de rollout- als de trainingsfasen te optimaliseren.
Real-World Transfer:
- Een voorlopig real-world experiment op een lade-sluitings-taak toonde aan dat een RL-geoptimaliseerd beleid de taak efficiënter voltooide dan een SFT-only baseline, waarbij het directere en vloeiendere gedragingen vertoonde ondanks het feit dat het voornamelijk in simulatie is getraind.

Betekenis en Claims

De auteurs positioneren RLinf-VLA als een fundamenteel framework voor het veld van belichaamde intelligentie. De betekenis ligt in:

Unificatie: Het biedt de eerste verenigde interface die diverse simulators, modellen en algoritmen ondersteunt, wat een eerlijke vergelijking en reproduceerbaarheid mogelijk maakt.
Efficiëntie: Door de specifieke resource-contention problemen van embodied RL (simulator vs. inferentie vs. training) aan te pakken, biedt het een schaalbare oplossing die de trainingstijd aanzienlijk verkort.
Best Practices: Het paper destilleert bruikbare ontwerpkeuzes (bijv. action-level value estimation, partial reset, valid action masking) die toekomstig onderzoek naar RL-gebaseerde VLA-training kunnen leiden.
Openheid: Als een open-source, actief onderhouden platform, heeft het als doel onderzoek in dit domein te versnellen en te standaardiseren.

Het paper concludeert dat hoewel simulatie-gebaseerde RL veelbelovend is voor real-world deployment, de primaire bijdrage de vestiging is van een robuuste, efficiënte en uitbreidbare infrastructuur die noodzakelijk is om de VLA-capaciteiten door middel van reinforcement learning te bevorderen.