💻 computer science

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR führt ein skalierbares, geschlossenes Reinforcement-Learning-Framework für end-to-end autonomes Fahren ein, das eine Residual-Waypoint-Policy auf Basis vortrainierter Vision-Language-Action-Modelle mittels einer heterogenen Simulationspipeline trainiert und durch die Überwindung der Verteilungsverschiebungs-Beschränkungen traditioneller Imitationslernverfahren eine State-of-the-Art-Leistung auf anspruchsvollen Benchmarks erzielt.

Ursprüngliche Autoren: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem selbstfahrenden Auto das Fahren bei. Lange Zeit war der beste Weg hierfür das Imitation Learning (Imitationslernen). Stellen Sie sich das wie einen Fahrschüler vor, der auf dem Rücksitz eines Autos sitzt, das von einem perfekten Experten gesteuert wird. Der Schüler kopiert einfach, was der Experte tut. Wenn der Experte nach links abbiegt, biegt auch der Schüler nach links ab.

Das Problem? Das funktioniert nur bei einer „Closed-Book“-Prüfung (einer Prüfung mit festem Stoff). Wenn der Schüler eine Situation sieht, die der Experte ihm nie gezeigt hat, oder wenn der Schüler einen winzigen Fehler macht, wird er verwirrt. In der realen Welt (oder in einer komplexen Simulation) kann ein einzener kleiner Fehler zu einem Unfall führen, und der Schüler weiß nicht, wie er sich davon erholen kann, weil er nur darauf trainiert wurde, zu kopieren, und nicht darauf, zu denken oder sich anzupassen.

Vor kurzem begannen Forscher, Vision-Language-Action (VLA)-Modelle einzusetzen. Dies sind wie superintelligente Fahrlehrer, die gleichzeitig die Straße „sehen“, Verkehrsschilder „lesen“ und Fahrbefehle „sprechen“ können. Aber selbst diese klugen Instruktoren wurden größtenteils mit der „Kopieren des Experten“-Methode trainiert, was sie anfällig macht, wenn Dinge schiefgehen.

Hier kommt CLEAR.

Die große Idee: Der „Residual“-Coach

Die Autoren dieser Arbeit haben ein System namens CLEAR entwickelt, um dies zu beheben. Anstatt nur zu kopieren, haben sie die KI dazu gebracht, ein Coach zu sein, der einen Trainee (Schüler) korrigiert.

Der vortrainierte „Trainee“: Zuerst nehmen sie ein sehr intelligentes VLA-Modell (den Trainee) und bringen ihm die Grundlagen mithilfe einer riesigen Bibliothek aus Experten-Fahrdaten bei. Dieser Trainee ist gut darin, einen allgemeinen Pfad vorherzusagen, wie etwa ein GPS, das sagt: „In 500 Fuß biegen Sie links ab.“
Der „Coach“ (RL): Dann führen sie Reinforcement Learning (RL) ein. Stellen Sie sich einen Coach vor, der neben dem Trainee steht. Der Trainee trifft eine Vorhersage (den „Basis-Pfad“), und der Coach sagt: „Eigentlich bieg ein kleines bisschen weiter nach links ab, um diesem Schlagloch auszuweichen.“
- Die KI lernt nicht das Autofahren von Grund auf neu (was zu viel Rechenleistung beanspruchen würde).
- Stattdessen lernt sie eine Residual Policy (eine Restfehler-Strategie). Dies ist wie das Lernen der Differenz zwischen einem guten Plan und einem perfekten Plan. Sie lernt nur die kleinen „Korrekturen“, die nötig sind, um die Fehler des Trainees zu beheben.

Die „Heterogene Pipeline“: Den Stau lösen

Das Training dieser KI-Coaches ist extrem datenhungrig. Man muss Millionen von Fahrsimulationen durchlaufen lassen, um sie zu trainieren.

Hier liegt der Flaschenhals:

Der Simulator (Die Straße): Das Ausführen eines realistischen Fahrsimulators (wie CARLA) ist rechenintensiv in Bezug auf die Computergrafik. Es ist wie das Ausführen eines High-End-Videospiels.
Der Lerner (Das Gehirn): Das KI-Modell ist ebenfalls riesig und benötigt leistungsstarke Grafikkarten (GPUs), um zu „denken“.

Wenn man versucht, den Simulator und das Gehirn auf demselben Computer laufen zu lassen, kämpfen sie um die Grafikkarten. Es ist, als würde man versuchen, gleichzeitig einen Marathon zu laufen und ein schweres Gewichtheben-Wettbewerb in demselben kleinen Fitnessstudio abzuhalten; alles wird langsamer oder stürzt ab.

CLEARs Lösung: Sie haben eine heterogene Pipeline gebaut.

Sie platzierten die Simulatoren (die Straßen) auf einem Satz älterer, günstigerer Computer.
Sie platzierten das KI-Gehirn (den Lerner) auf einem separaten, superstarken Cluster von Computern.
Sie verbanden sie mit einem digitalen Tunnel (SSH).

Dies ist wie eine Flotte von entfernten Rennstrecken (den Simulatoren), die Daten an eine zentrale Zentrale (das Gehirn) senden. Die Strecken müssen nicht schick sein; sie müssen nur funktionieren. Das Gehirn erhält alle Daten, die es benötigt, ohne durch das Rendering der Grafik ausgebremst zu werden. Dies ermöglichte es ihnen, 64 Simulationen gleichzeitig laufen zu lassen und auf 100 Millionen Proben zu trainieren.

Die Ergebnisse: Von „Scheitern“ zu „Gewinnen“

Das Paper testete dieses System bei einigen sehr schwierigen Fahrherausforderungen (wie den Benchmarks „longest6“ und „Bench2Drive“).

Vor CLEAR: Frühere Methoden, selbst die intelligenten, scheiterten fast zu 100 % bei diesen schwierigen Routen. Sie stürzten ab oder blieben stecken, weil sie sich nicht von kleinen Fehlern erholen konnten.
Mit CLEAR: Das System lernte, seine eigenen Fehler zu korrigieren. Es folgte nicht nur einem Skript; es lernte, Hindernissen auszuweichen und komplexen Verkehr zu bewältigen.
- Bei einem Benchmark stieg die Erfolgsquote von 0 % (totaler Fehlschlag) auf 25 %.
- Bei einem anderen erreichte es die bisher höchsten Werte und übertraf alle bisherigen Methoden in Bezug auf Fahreffizienz und Sicherheit.

Zusammenfassung

Betrachten Sie CLEAR als einen intelligenten, aber starren Fahrschüler, dem man einen superintelligenten Coach an die Seite stellt, der lernt, ihn sanft in die richtige Richtung zu lenken, wenn er beginnt, vom Weg abzukommen, und dabei eine massive, verteilte Trainingsanlage baut, damit er Millionen von Meilen üben kann, ohne dass der Computer abstürzt. Das Ergebnis ist ein selbstfahrendes System, das deutlich besser mit der chaotischen, unvorhersehbaren Realität der Straße umgehen kann.

Technisches Resümee: CLEAR – Closed-Loop Reinforcement Learning im großen Maßstab für End-to-End autonomes Fahren

Problemstellung

End-to-End-autonomes Fahren (E2E-AD) zielt darauf ab, Rohsensordaten direkt auf Fahrbewegungen abzubilden. Kürzlich sind Vision-Language-Action (VLA)-Modelle als vielversprechendes Paradigma hervorgegangen, das visuelle Wahrnehmung, Sprachverständnis und Aktionsvorhersage innerhalb einer einzigen Policy integriert. Bestehende VLA-basierte Ansätze stützen sich jedoch überwiegend auf Imitationslernen (Imitation Learning, IL). Während IL gut mit Daten skaliert, leidet es unter einem kritischen Distribution Shift (Verteilungsverschiebung) zwischen dem Open-Loop-Training (Lernen aus protokollierten Experten-Trajektorien) und der Closed-Loop-Inferenz (wo die eigenen Aktionen des Agenten zukünftige Zustände beeinflussen). Dieser Shift führt oft zu suboptimaler Leistung und Fehlern in komplexen, dynamischen Szenarien.

Darüber hinaus stellt die Anwendung von Reinforcement Learning (RL) auf visuelle Policies im großen Maßstab erhebliche technische Hürden dar. RL ist datenhungrig und erfordert tausende parallele Simulationsumgebungen. In der Praxis führt das Ausführen des Simulators (z. B. CARLA) und des VLA-Learners auf derselben Hardware zu Ressourcenkonflikten (insbesondere GPU-Speicher und Rendering-Instabilität), was die Anzahl der parallelen Umgebungen begrenzt und das effektive Training behindert.

Methodik: Das CLEAR-System

Die Autoren schlagen CLEAR vor, ein System, das darauf ausgelegt ist, groß angelegtes Closed-Loop-RL-Finetuning für VLA-Policies zu ermöglichen. Der Ansatz besteht aus drei Kernkomponenten:

1. Zwei-Stufen-Trainingsrahmen

Stufe 1: Open-Loop Pretraining: Das System führt zunächst ein Pretraining eines VLA-Modells (unter Verwendung von InternVL3-1B als Backbone) auf einem großen Datensatz von Experten-Trajektorien (~3,1 Millionen Samples) mittels Imitationslernen durch. Dies etabliert einen „Waypoint-Prior“, der das Modell mit grundlegenden Fahrfähigkeiten und robuster Wahrnehmung ausstattet.
Stufe 2: Closed-Loop RL Finetuning: Anstatt von Grund auf neu zu trainieren oder direkt niedrige Steuerbefehle (Low-Level Controls) auszugeben, lernt CLEAR eine Residual-Waypoint-Policy.
- Die vortrainierte VLA generiert einen Basis-Pfad und Geschwindigkeits-Waypoints.
- Der RL-Agent (optimiert via Proximal Policy Optimization, PPO) lernt, Residual-Korrekturen ( $\Delta y, \Delta v$ ) zu diesen Basis-Waypoints vorherzusagen.
- Der endgültige Waypoint-Befehl ist die Summe aus dem Basis-Plan und dem Residual, begrenzt auf sichere Grenzwerte.
- Ein deterministischer Controller bildet diese Waypoints dann auf niedrige Fahrzeugsteuerungen (Lenkung, Gas, Bremse) ab. Entscheidend ist, dass der Controller als Teil der Umgebungsdynamik behandelt wird, was bedeutet, dass während der RL-Updates keine Gradienten durch ihn fließen.

2. Heterogene Finetuning-Pipeline

Um den Skalierungsengpass zu überwinden, nutzt CLEAR eine heterogene Pipeline, die die Simulationsumgebung vom Lernagenten entkoppelt:

Trennung der Rechenleistung: Die CARLA-Simulatoren werden auf eigenständigen Host-Maschinen gestartet (unter Verwendung älterer Generationen oder Consumer-Grafikkarten wie der Tesla V100), während der VLA-Learner auf Hochleistungsclustern (z. B. NVIDIA H100) läuft.
Kommunikation: SSH-Tunnel ermöglichen die Kommunikation zwischen dem Server (Simulator) und dem Client (Learner).
Auswirkung: Diese Architektur eliminiert Ressourcenkonflikte bei der GPU und ermöglicht es dem System, 64 parallele CARLA-Umgebungen gleichzeitig zu starten. Dies ermöglicht das Training auf 100 Millionen Samples mit großen Batch-Größen (Gesamt-Batch: 16.384; Mini-Batch: 4.096), was entscheidend für die Konvergenz datenhungriger RL-Algorithmen ist.

3. Belohnungsfunktion (Reward Function)

Das RL-Ziel maximiert den erwarteten diskontierten Ertrag basierend auf der Routenvollendung (Route Completion, RC). Die Belohnungsfunktion umfasst:

Einen weichen Strafenfaktor für Abweichungen.
Harte Strafen (Abbruch der Episode) für Kollisionen, Rotlichtverstöße oder Missachtung von Stoppschildern.

Wichtigste Beiträge

Closed-Loop RL für VLA: CLEAR ist das erste System, das effektiv groß angelegtes Closed-Loop-RL-Finetuning für VLA-basierte E2E-AD ermöglicht und damit über die Grenzen reinen Imitationslernens hinausgeht.
Residual Waypoint Policy: Durch das Lernen von Korrekturen um einen vortrainierten Waypoint-Prior statt direkter Low-Level-Steuerung nutzt die Methode effektiv das im vortrainierten VLA eingebettete Wissen, während sie gleichzeitig die Robustheit in Closed-Loop-Szenarien verbessert.
Skalierbare heterogene Infrastruktur: Die vorgeschlagene Pipeline löst das Problem der GPU-Ressourcenkonflikte und ermöglicht den Einsatz einer massiven Anzahl paralleler Simulatoren (6+), was die Autoren als Schlüsselfaktor für das Erreichen der State-of-the-Art-Leistung identifizieren.

Experimentelle Ergebnisse

CLEAR wurde auf drei anspruchsvollen Benchmarks evaluiert:

CARLA longest6 v2: Dieser Benchmark umfasst lange Routen mit komplexen, sicherheitskritischen Szenarien.
- Zuvorige Methoden (einschließlich groß angelegtem IL und früherer IL+RL-Versuche) erreichten eine Erfolgsrate (Success Rate, SR) von 0 % und scheiterten an jeder Route.
- CLEAR (InternVL3-1B) erreichte eine SR von 25,00 % und eine Routenvollendung (RC) von 47,24 % und übertraf damit alle Baselines deutlich.
Bench2Drive: Ein Benchmark mit 220 distinkten sicherheitskritischen Szenarien.
- CLEAR erreichte den höchsten Driving Score (86,8), die höchste Erfolgsrate (69,5 %) und die höchste Effizienz unter allen verglichenen Methoden, einschließlich anderer VLA- und Transformer-basierter Ansätze.
nuScenes: Ein Real-World-Datensatz.
- CLEAR wurde in einem Zero-Shot-Setting evaluiert (kein Training auf nuScenes-Daten). Es erreichte den besten durchschnittlichen L2-Fehler (0,49 m) und wettbewerbsfähige Kollisionsraten im Vergleich zu Modellen, die spezifisch auf nuScenes trainiert wurden, was eine starke Generalisierung demonstriert.

Bedeutung und Limitationen

Das Paper behauptet, dass CLEAR einen neuen Stand der Technik (State-of-the-Art) für VLA-Policies in Fahrsimulatoren setzt und zeigt, dass Reinforcement Learning im großen Maßstab essenziell ist, um die Lücke zwischen Open-Loop-Training und Closed-Loop-Performance zu schließen. Die Arbeit hebt hervor, dass die bloße Skalierung von Daten via Imitationslernen nicht ausreicht; eine Closed-Loop-Optimierung ist notwendig, um Distribution Shifts zu bewältigen.

Die Autoren räumen zudem mehrere Limitationen und Richtungen für zukünftige Arbeiten ein:

Sim2Real Transfer: Der aktuelle Erfolg liegt in der Simulation; die Bereitstellung in der realen Welt erfordert die Untersuchung von Sim2Real-Transfertechniken.
Skalierungsgrenzen: Die aktuelle Skalierung wird durch die Anzahl der parallelen CARLA-Instanzen begrenzt. Eine Verbesserung der Stabilität des GPU-Rendering-Stacks von CARLA könnte eine noch größere Skalierung ermöglichen.
Reward-Design: Die aktuelle Belohnungsfunktion stimmt mit dem globalen Optimum der Metrik überein. Das Entwerfen effektiver Belohnungen für Metriken, die kein klares globales Optimum besitzen, bleibt eine offene Forschungsfrage.