💻 computer science

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR introduceert een schaalbaar closed-loop reinforcement learning-framework voor end-to-end autonoom rijden dat een residuele waypoint-policy traint bovenop vooraf getrainde Vision-Language-Action-modellen met behulp van een heterogene simulatiepipeline, waarmee een state-of-the-art prestatie wordt behaald op uitdagende benchmarks door de beperkingen van distributieverschuiving bij traditionele imitation learning te overwinnen.

Oorspronkelijke auteurs: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto leert rijden. Lange tijd was de beste manier om dit te doen Imitation Learning (imitatie-leren). Denk hierbij aan een leerling-bestuurder die op de achterbank zit van een auto die wordt bestuurd door een perfecte expert. De leerling kopieert gewoon wat de expert doet. Als de expert naar links afslaat, slaat de leerling ook naar links af.

Het probleem? Dit werkt alleen bij een "open boek"-toets. Als de leerling een situatie ziet die de expert hem nooit heeft laten zien, of als de leerling een kleine fout maakt, raakt hij in de war. In de echte wereld (of een complexe simulatie) kan één kleine fout leiden tot een botsing, en de leerling weet niet hoe hij moet herstellen omdat hij alleen geleerd heeft om te kopiëren, en niet om te denken of zich aan te passen.

Onlangs begonnen onderzoekers Vision-Language-Action (VLA)-modellen te gebruiken. Dit zijn als superintelligente instructeurs die de weg kunnen "zien", verkeersborden kunnen "lezen" en alle drie de rijcommando's tegelijkertijd kunnen "spreken". Maar zelfs deze slimme instructeurs werden grotendeels getraind met de "kopieer de expert"-methode, waardoor ze kwetsbaar bleven wanneer er dingen misgingen.

Maak kennis met CLEAR.

Het Grote Idee: De "Residual" Coach

De auteurs van dit paper hebben een systeem genaamd CLEAR gebouwd om dit op te lossen. In plaats van alleen maar te kopiëren, hebben ze de AI geleerd om een coach te zijn die een trainee corrigeert.

De Pre-trained "Trainee": Eerst nemen ze een zeer slim VLA-model (de trainee) en leren hen de basis met behulp van een enorme bibliotheek aan expert-rijdata. Deze trainee is goed in het voorspellen van een algemeen pad, zoals een GPS die zegt: "Over 500 voet linksaf slaan."
De "Coach" (RL): Vervolgens introduceren ze Reinforcement Learning (RL). Stel je een coach voor die naast de trainee staat. De trainee maakt een voorspelling (het "basispad"), en de coach zegt: "Eigenlijk moet je een klein beetje meer naar links sturen om die kuil te vermijden."
- De AI leert niet opnieuw hoe hij moet rijden vanaf nul (wat te veel rekenkracht zou kosten).
- In plaats daarvan leert het een residual policy. Dit is als het leren van het verschil tussen een goed plan en een perfect plan. Het leert alleen de kleine "correcties" die nodig zijn om de fouten van de trainee te herstellen.

De "Heterogene Pipeline": Het Oplossen van de Files

Het trainen van deze AI-coaches is extreem data-hongerig. Je moet miljoenen rijsimulaties draaien om ze te leren.

Hier is de flessenhals:

De Simulator (De Weg): Het draaien van een realistische rijsimulator (zoals CARLA) is zwaar voor de computergraphics. Het is alsof je een high-end videogame speelt.
De Learner (De Hersenen): Het AI-model is ook enorm en heeft krachtige grafische kaarten (GPU's) nodig om na te denken.

Als je de simulator en de hersenen op dezelfde computer probeert te draaien, vechten ze om de grafische kaarten. Het is alsochten een marathon te lopen en tegelijkertijd een zware gewichtheftijdwedstrijd te houden in dezelfde kleine sportschool; alles vertraagt of crasht.

CLEAR's Oplossing: Ze hebben een heterogene pipeline gebouwd.

Ze plaatsten de Simulators (de wegen) op een andere set oudere, goedkopere computers.
Ze plaatsten de AI-Hersenen (de learner) op een aparte, superkrachtige cluster van computers.
Ze verbonden ze met een digitale tunnel (SSH).

Dit is als een vloot van afgelegen racebanen (de simulators) die data naar een centraal hoofdkwartier (de hersenen) sturen. De banen hoeven niet fancy te zijn; ze moeten alleen draaien. De hersenen krijgen alle data die ze nodig hebben zonder dat ze worden vertraagd door de graphics-rendering. Hierdoor konden ze 64 simulaties tegelijkertijd draaien en trainen op 100 miljoen samples.

De Resultaten: Van "Falen" naar "Winnen"

Het paper testte dit systeem op enkele zeer moeilijke rijuitdagingen (zoals de "longest6" en "Bench2Drive" benchmarks).

Vóór CLEAR: Eerdere methoden, zelfs de slimme, faalden bijna 100% van de tijd op deze moeilijke routes. Ze zouden crashen of vast komen te zitten omdat ze niet konden herstellen van kleine fouten.
Met CLEAR: Het systeem leerde om zijn eigen fouten te corrigeren. Het volgde niet alleen een script; het leerde om om obstakels heen te navigeren en complex verkeer te verwerken.
- Op de ene benchmark steeg het succespercentage van 0% (totaal falen) naar 25%.
- Op een andere benchmark behaalde het de hoogste scores ooit geregistreerd, waarbij het alle eerdere methoden versloeg op het gebied van rij-efficiëntie en veiligheid.

Samenvatting

Beschouw CLEAR als het nemen van een slimme maar rigide leerling-bestuurder, het geven van een superintelligente coach die hem een duwtje in de juiste richting geeft wanneer hij begint af te wijken, en het bouwen van een enorme, gedistribueerde trainingsfaciliteit zodat hij miljoenen kilometers kan oefenen zonder dat de computer crasht. Het resultaat is een zelfrijdend systeem dat aanzienlijk beter is in het omgaan met de rommelige, onvoorspelbare realiteit van de weg.

Technische Samenvatting: CLEAR – Closed-Loop Reinforcement Learning op Schaal voor End-to-End Autonoom Rijden

Probleemstelling

End-to-end autonoom rijden (E2E-AD) streeft ernaar om ruwe sensordata direct te mappen naar rijacties. Recentelijk zijn Vision-Language-Action (VLA) modellen een veelbelovend paradigma geworden, waarbij visuele perceptie, taalbegrip en actievoorspelling worden geïntegreerd binnen één enkele policy. De huidige VLA-gebaseerde benaderingen vertrouwen echter voornamelijk op Imitation Learning (IL). Hoewel IL goed schaalt met data, lijdt het onder een kritische distributieverschuiving tussen open-loop training (leren van gelogde expert-trajecten) en closed-loop inferentie (waarbij de eigen acties van de agent toekomstige toestanden beïnvloeden). Deze verschuiving leidt vaak tot suboptimale prestaties en falen in complexe, dynamische scenario's.

Bovendien vormt het toepassen van Reinforcement Learning (RL) op visuele policies op schaal aanzienlijke technische hindernissen. RL is data-hongerig en vereist duizenden parallelle simulatieomgevingen. In de praktijk zorgt het draaien van de simulator (bijv. CARLA) en de VLA-learner op dezelfde hardware voor resource contention (specifiek GPU-geheugen en rendering-instabiliteit), wat het aantal parallelle omgevingen beperkt en effectieve training belemmert.

Methodologie: Het CLEAR-systeem

De auteurs stellen CLEAR voor, een systeem ontworpen om grootschalige closed-loop RL-finetuning voor VLA-policies mogelijk te maken. De aanpak bestaat uit drie kerncomponenten:

1. Tweestaps Trainingsframework

Fase 1: Open-Loop Pretraining: Het systeem pretraint eerst een VLA-model (met InternVL3-1B als backbone) op een grote dataset van expert-trajecten (~3,1 miljoen samples) met behulp van imitation learning. Dit vestigt een "waypoint prior", waardoor het model wordt uitgerust met basisrijvaardigheden en robuuste perceptie.
Fase 2: Closed-Loop RL Finetuning: In plaats van vanaf nul te trainen of direct lage-niveau controles uit te voeren, leert CLEAR een residual waypoint policy.
- De getrainde VLA genereert een basispad en snelheid-waypoints.
- De RL-agent (geoptimaliseerd via Proximal Policy Optimization, PPO) leert residual corrections ( $\Delta y, \Delta v$ ) te voorspellen op deze basis-waypoints.
- Het uiteindelijke waypoint-commando is de som van het basisplan en de residual, afgeknipt binnen veilige grenzen.
- Een deterministische controller mapt deze waypoints vervolgens naar lage-niveau voertuigcontroles (sturen, gas geven, remmen). Cruciaal is dat de controller wordt behandeld als onderdeel van de omgeving-dynamiek, wat betekent dat er geen gradiënten doorheen stromen tijdens RL-updates.

2. Heterogene Finetuning Pipeline

Om de schaalbaarheid-bottleneck te overwinnen, gebruikt CLEAR een heterogene pipeline die de simulatie-omgeving ontkoppelt van de leeragent:

Scheiding van Compute: De CARLA-simulators worden gelanceerd op standalone host-machines (gebruikmakend van oudere generaties of consumenten-grade GPU's zoals de Tesla V100), terwijl de VLA-learner draait op high-performance clusters (bijv. NVIDIA H100).
Communicatie: Secure Shell (SSH) tunnels faciliteren de communicatie tussen de server (simulator) en de client (learner).
Impact: Deze architectuur elimineert resource contention, waardoor het systeem simultaan 64 parallelle CARLA-omgevingen kan lanceren. Dit maakt het mogelijk om te trainen op 100 miljoen samples met grote batchgroottes (totale batch: 16.384; mini-batch: 4.096), wat cruciaal is voor de convergentie van data-hongerige RL-algoritmen.

3. Beloningsfunctie (Reward Function)

Het RL-doel maximaliseert de verwachte gedisconteerde return op basis van Route Completion (RC). De beloningsfunctie bevat:

Een zachte straffactor voor afwijkingen.
Harde straffen (die de episode beëindigen) voor botsingen, het overtreden van rode verkeerslichten of het negeren van stopborden.

Belangrijkste Bijdragen

Closed-Loop RL voor VLA: CLEAR is het eerste systeem dat effectief grootschalige closed-loop RL-finetuning voor VLA-gebaseerde E2E-AD mogelijk maakt, waarmee het voorbijgaat aan de beperkingen van pure imitation learning.
Residual Waypoint Policy: Door correcties te leren rond een getrainde waypoint prior in plaats van directe lage-niveau controle, benut de methode effectief de kennis die in de pre-getrainde VLA is ingebed, terwijl de robuustheid in closed-loop settings wordt verbeterd.
Schaalbare Heterogene Infrastructuur: De voorgestelde pipeline lost het probleem van GPU-resource contention op, waardoor de inzet van een massaal aantal parallelle simulators (64+) en training op 100 miljoen samples mogelijk wordt, wat de auteurs identificeren als een sleutelfactor bij het bereiken van state-of-the-art prestaties.

Experimentele Resultaten

CLEAR werd geëvalueerd op drie uitdagende benchmarks:

CARLA longest6 v2: Deze benchmark bevat lange routes met complexe, veiligheidskritische scenario's.
- Eerdere methoden (inclusief grootschalige IL en eerdere IL+RL pogingen) behaalden een Success Rate (SR) van 0%, waarbij ze elke route faalden.
- CLEAR (InternVL3-1B) behaalde een SR van 25,00% en een Route Completion (RC) van 47,24%, waarmee het alle baselines aanzienlijk overtrof.
Bench2Drive: Een benchmark met 220 verschillende veiligheidskritische scenario's.
- CLEAR behaalde de hoogste Driving Score (86,8), Success Rate (69,5%) en Efficiency van alle vergeleken methoden, inclusief andere VLA- en transformer-gebaseerde benaderingen.
nuScenes: Een real-world dataset.
- CLEAR werd geëvalueerd in een zero-shot setting (geen training op nuScenes data). Het behaalde de beste gemiddelde L2-fout (0,49m) en competitieve botsingspercentages vergeleken met modellen die specifiek op nuScenes zijn getraind, wat sterke generalisatie demonstreert.

Betekenis en Beperkingen

Het paper beweert dat CLEAR een nieuwe state-of-the-art zet voor VLA-policies in rijsimulatoren, en laat zien dat Reinforcement Learning op schaal essentieel is om de kloof tussen open-loop training en closed-loop prestaties te dichten. Het werk benadrukt dat het simpelweg opschalen van data via imitation learning onvoldoende is; closed-loop optimalisatie is noodzakelijk om distributieverschuivingen aan te pakken.

De auteurs erkennen enkele beperkingen en richtingen voor toekomstig onderzoek:

Sim2Real Transfer: Het huidige succes is in simulatie; het implementeren in de echte wereld vereist onderzoek naar Sim2Real transfertechnieken.
Schaalbaarheidslimieten: De huidige schaalbaarheid wordt beperkt door het aantal parallelle CARLA-instanties. Het verbeteren van de stabiliteit van de CARLA GPU-rendering stack zou nog grotere schaalbaarheid mogelijk maken.
Reward Design: De huidige beloningsfunctie sluit aan bij het globale optimum van de metriek. Het ontwerpen van effectieve beloningen voor metrieken die geen duidelijk globaal optimum hebben, blijft een openstaand onderzoeksveld.