💻 computer science

CLOVER: Closed-Loop Value Estimation \& Ranking for End-to-End Autonomous Driving Planning

CLOVER ist ein Closed-Loop-Werteschätzungs- und Ranking-Framework, das die Diskrepanz zwischen Training und Evaluation beim end-to-end autonomen Fahren adressiert, indem es eine Generator-Scorer-Architektur mit Pseudo-Expertentrajektorien und konservativer Selbst-Distillation verwendet, um State-of-the-Art-Leistung auf dem NAVSIM-Benchmark zu erreichen.

Ursprüngliche Autoren: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Auto zu fahren. Lange Zeit bestand die Standardmethode, um diesem Roboter das Fahren beizubringen, darin, ihm ein einziges Video eines Menschen zu zeigen, der perfekt fährt, und zu sagen: „Kopiere das genau."

Das Problem? Manchmal kopiert der Roboter den Menschen zu wörtlich. Wenn der Mensch einen winzigen Fehler machte oder eine seltsame Bewegung ausführte, könnte der Roboter diesen Fehler kopieren, obwohl er gefährlich ist. Umgekehrt könnte der Roboter manchmal einen besseren Weg finden, um zu fahren (zum Beispiel eine leicht andere Spur zu wählen, um einen langsamen Lkw zu vermeiden), aber da dieser Pfad nicht in dem einzigen Video enthalten war, das ihm gezeigt wurde, kam er nie auf die Idee, es zu versuchen.

Dies ist das vom Papier beschriebene Missverhältnis zwischen „Training" und „Testen". Der Roboter wird darauf trainiert, einen einzigen Pfad nachzuahmen, aber er wird an einem komplexen Checklisten-Set aus Regeln für Sicherheit, Komfort und Fortschritt getestet.

Enter CLOVER: Der Roboter-Fahrtrainer

Die Autoren schlagen ein neues System namens CLOVER (Closed-Loop Value Estimation & Ranking) vor. Betrachten Sie CLOVER nicht als einen einzelnen Schüler, sondern als eine Fahrschule mit zwei distincten Rollen: einen Generator (den Fahrschüler) und einen Scorer (den strengen Fahrlehrer).

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der alte Weg vs. der CLOVER-Weg

Der alte Weg: Der Fahrschüler darf nur die eine Route üben, die der Fahrlehrer gestern gefahren ist. Wenn der Fahrlehrer eine scharfe Kurve nahm, muss der Schüler diese scharfe Kurve nehmen, selbst wenn es einen geradlinigeren, sichereren Weg gab.
Der CLOVER-Weg: Der Fahrschüler wird ermutigt, für jede Situation 64 verschiedene mögliche Routen zu generieren. Vielleicht ist eine schnell, eine super sicher, eine sehr sanft und eine etwas riskant.

2. Der zweistufige Trainingsprozess

Stufe 1: Aufbau eines „Sicherheitsnetzes" aus Ideen
Anstatt nur einen Pfad zu kopieren, erstellt das System eine Bibliothek von „Pseudo-Experten".

Die Analogie: Stellen Sie sich vor, der Fahrlehrer zeigt nicht nur ein Video. Stattdessen generiert er eine Reihe von „Was-wäre-wenn"-Szenarien: „Was wäre, wenn wir 5 mph langsamer fahren würden?" „Was wäre, wenn wir 2 Fuß weiter links blieben?" „Was wäre, wenn wir früher bremsen würden?"
Das System filtert diese Szenarien mit einem strengen Regelwerk (dem Bewerter). Es behält diejenigen, die sicher und legal sind, auch wenn sie nicht exakt dem Pfad entsprechen, den der Mensch genommen hat.
Der Fahrschüler (Generator) wird dann darauf trainiert, all diese verschiedenen „sicheren" Möglichkeiten abzudecken, nicht nur den einen ursprünglichen Pfad. Dies stellt sicher, dass der Roboter ein breites Menü an guten Optionen zur Auswahl hat.

Stufe 2: Das „geschlossene Regelkreis"-Coaching
Jetzt, wo der Schüler ein breites Menü an Optionen hat, muss er lernen, die beste auszuwählen.

Die Analogie: Der Schüler generiert 64 Routen. Der strenge Fahrlehrer (der Scorer) betrachtet sie und gibt Noten basierend auf dem realen Regelwerk (Sicherheit, Komfort, Geschwindigkeit).
Der Twist: Der Fahrlehrer ist nicht perfekt. Manchmal könnte er eine leicht falsche Note vergeben. Daher nutzt CLOVER einen „Lehrer" (eine eingefrorene Version des Systems), um den Schüler zu führen. Der Lehrer sagt: „Verfolge nicht blindlings die höchste Note; schaue dir die Top-10-besten Routen und diejenigen an, die am besten Sicherheit und Geschwindigkeit ausbalancieren."
Der Schüler verfeinert dann sein Fahren, um diese „Top-Tier"-Beispiele zu entsprechen, ohne dabei seine Fähigkeit zu verlieren, diverse Optionen zu generieren. Es ist wie ein Trainer, der sagt: „Du wirst besser darin, gute Routen zu finden, jetzt lass uns deine Auswahlfähigkeiten polieren, ohne dich starr zu machen."

3. Warum dies funktioniert (Die „magische" Bedingung)

Das Papier stellt eine kluge Frage: Was passiert, wenn der Fahrlehrer (Scorer) Fehler macht?
Die Autoren beweisen mathematisch, dass das System sich verbessert, solange der Fahrlehrer statistisch besser ist als zufälliges Raten – das heißt, er kann normalerweise die „guten" Routen von den „schlechten" unterscheiden. Er braucht keinen perfekten Fahrlehrer; er braucht nur einen, der gut genug ist, um den Schüler in die richtige Richtung zu weisen.

Die Ergebnisse

Als sie CLOVER an den NAVSIM-Fahrbenchmarks testeten (die wie die „Abschlussprüfungen" für autonome Fahrzeuge sind):

Es erreichte eine Punktzahl von 94,5 (von 100) und schlug alle bisherigen Methoden.
Es war besonders gut im Umgang mit schwierigen, kniffligen Fahrszenarien (NavHard) und erzielte die besten jemals berichteten Ergebnisse.
Entscheidend ist, dass es nicht nur besser darin wurde, die eine beste Route auszuwählen; es wurde tatsächlich besser darin, zuerst eine breitere Vielfalt hochwertiger Routen zu generieren.

Zusammenfassung

CLOVER ist wie die Aufrüstung eines Fahrschülers von „Kopiere die exakten Bewegungen des Fahrlehrers" zu „Generiere viele sichere Möglichkeiten und nutze dann einen klugen Trainer, um dir zu helfen, die absolut beste auszuwählen." Es löst das Problem, dass Roboter zu starr sind, indem es sie lehrt, viele gute Optionen zu erkunden und diese dann sorgfältig zu rangieren, was zu sichererem und menschlicherem autonomen Fahren führt.

Technische Zusammenfassung: CLOVER

Problemstellung

End-to-End-Planer für autonomes Fahren werden typischerweise durch Imitationslernen auf einer einzigen protokollierten menschlichen Trajektorie trainiert. Sie werden jedoch mithilfe regelbasierter Planungsmetriken (z. B. NAVSIM PDMS/EPDMS) evaluiert, die Sicherheit, Durchführbarkeit, Fortschritt und Komfort bewerten. Dies erzeugt eine fundamentale Diskrepanz zwischen Training und Evaluation:

Trajektorien, die der protokollierten Pfadnahe sind, können dennoch Sicherheitsregeln verletzen oder unsichere Interaktionen hervorrufen.
Alternative Trajektorien, die von der Demonstration abweichen, können gültig und hochbewertet sein, werden aber während des Trainings nie gesehen.

Diese Diskrepanz ist besonders einschränkend für Planer zur Vorschlagsauswahl, die mehrere Kandidatentrajektorien generieren und die beste auswählen. Ihre Leistung wird durch zwei gekoppelte Faktoren begrenzt: die Fähigkeit des Generators, hochwertige Alternativen abzudecken (Abdeckung) und die Fähigkeit des Scorers, diese korrekt zu rangieren (Rangierungsqualität). Die Überwachung durch eine einzelne Trajektorie kollabiert den Kandidatensatz oft um ein einziges realisiertes Verhalten und erfasst nicht die multimodale Natur des Fahrens (z. B. Geschwindigkeit beibehalten vs. bremsen vs. Spurwechsel).

Methodik: CLOVER-Rahmenwerk

CLOVER (Closed-LOop Value Estimation and Ranking) ist ein Rahmenwerk, das entwickelt wurde, um die Schleife zwischen Vorschlagsgenerierung und Trajektorienrangierung zu schließen. Es verwendet eine leichte Generator-Scorer-Architektur und arbeitet in zwei distincten Trainingsphasen.

Architektur

Generator: Erzeugt $K$ Kandidaten für zukünftige Ego-Trajektorien ( $\tau_i$ ) basierend auf Multi-View-Kamerabildern und dem Ego-Zustand.
Scorer: Ein Modul auf Trajektorienebene, das Teil-Scores für Planungsmetriken (Kollision, befahrbare Fläche, Fortschritt, Komfort usw.) für jeden Kandidaten vorhersagt.
Inferenz: Kandidaten werden nach dem zusammengesetzten vorhergesagten Score (unter Verwendung der offiziellen PDMS-Regel $\Gamma_{PDMS}$ ) rangiert, und die am höchsten bewertete Trajektorie wird ausgewählt. Der regelbasierte Evaluierer ist beim Einsatz nicht erforderlich.

Phase 1: Evaluatoren-gefilterte Vorschlagsabdeckung

Um den Mangel an Vielfalt bei der Imitation einer einzelnen Trajektorie zu adressieren, konstruiert CLOVER für jede Szene während des Trainings einen Pseudo-Experten-Satz $\mathcal{E}(o)$ .

Generierung: Anstatt die protokollierte Trajektorie zu stören, werden Kandidaten aus interpretierbaren Aktionsfamilien generiert (z. B. variierende laterale Versätze, Beschleunigungsprofile, Stop-Go-Verhalten, Randfälle) unter Verwendung privilegierter Metrik-Cache-Informationen (Routenmittellinien, zukünftige Hindernisbelegung), die nur während des Trainings verfügbar sind.
Filterung: Kandidaten werden vorab auf befahrbare Fläche und Belegung gefiltert, vom echten regelbasierten Evaluierer bewertet und über eine abdeckungsorientierte Strategie ausgewählt, um diverse Teil-Score-Muster und Score-Bereiche sicherzustellen.
Trainingsziel: Der Generator wird trainiert, diese Pseudo-Experten abzudecken, wobei die protokollierte Trajektorie als Prior beibehalten wird. Der Scorer wird vortrainiert, um die echten Evaluierer-Teil-Scores vorherzusagen.
- Verlust: $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$ , wobei $L_{pe}$ die Abdeckung des Pseudo-Experten-Satzes fördert.

Phase 2: Konservative Closed-Loop-Selbstdistillation

Diese Phase verfeinert die erweiterte Vorschlagsverteilung unter Verwendung eines konservativen, alternierenden Verfahrens, um die Instabilität der direkten Maximierung eines unvollkommenen gelernten Rewards zu vermeiden.

Scorer-Phase: Der Scorer wird an die echten Evaluierer-Teil-Scores auf dem aktuellen Satz generierter Vorschläge angepasst.
Generator-Phase: Ein eingefrorener „Lehrer" (der aktuelle Generator) erzeugt Vorschläge. Der Scorer bewertet sie, um zwei Zielsätze auszuwählen:
- Top-k-Satz: Ausgewählt nach dem zusammengesetzten vorhergesagten Score.
- Vektor-Pareto-Satz: Bestehend aus nicht-dominierten Vorschlägen im Teil-Score-Raum (Erhaltung der Trade-offs zwischen Sicherheit, Fortschritt und Komfort).
- Der Student-Generator wird trainiert, diese Ziele abzudecken, unter Verwendung eines Stabilitätsregularisierungsterms, der Abweichungen von der Verteilung des Lehrers unterdrückt.
- Verlust: $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$ .

Theoretische Begründung

Die Arbeit analysiert, wann ein unvollkommener Scorer den Generator zuverlässig verbessern kann. Sie postuliert eine Bedingung zur Bereicherung des ausgewählten Satzes: Wenn die vom Scorer ausgewählten Ziele (Top-k oder Pareto) im Vergleich zur aktuellen Vorschlagsverteilung statistisch mit echten hochwertigen Trajektorien angereichert sind, dann erhöht die konservative Satz-Ebene-Distillation die Wahrscheinlichkeitsmasse auf Trajektorien mit hohem Score. Die Autoren zeigen, dass CLOVER diese Bedingung empirisch erfüllt, da die vom Scorer ausgewählten Ziele signifikant höhere echte Scores aufweisen als der durchschnittliche Vorschlagspool.

Hauptbeiträge

CLOVER-Rahmenwerk: Ein Rahmenwerk zur Closed-Loop-Wertschätzung und Rangierung, das Vorschlagsgenerierung und Trajektorien-Scoring koppelt, um die Diskrepanz zwischen Training und Evaluation zu adressieren.
Evaluatoren-gefilterte Pseudo-Experten-Überwachung: Eine Methode, um die Imitation einer einzelnen Trajektorie auf ein Satz-Level multimodales Training zu erweitern, indem diverse, hochwertige Kandidatensätze unter Verwendung privilegierter Trainingszeit-Informationen konstruiert werden.
Konservative Closed-Loop-Selbstdistillation: Eine alternierende Trainingsstrategie, die den Scorer an echte Teil-Scores anpasst und den Generator unter Verwendung von vom Lehrer ausgewählten Top-k- und Vektor-Pareto-Zielen mit Stabilitätsregularisierung verfeinert, um die Fallstricke der uneingeschränkten Reward-Maximierung zu vermeiden.
Theoretische und empirische Analyse: Ein Nachweis, dass unvollkommene Scorer die Verfeinerung effektiv leiten können, wenn die ausgewählten Ziele unter dem echten Evaluierer statistisch angereichert sind, validiert durch empirische Daten, die signifikante Anreicherungslücken in den vom Scorer ausgewählten Sätzen zeigen.

Experimentelle Ergebnisse

CLOVER wurde auf NAVSIM v1, NAVSIM v2 (EPDMS), NavHard und nuScenes Open-Loop-Benchmarks evaluiert.

NAVSIM v1: Erreichte 94,5 PDMS und übertraf die starke Baseline DrivoR (93,7), wobei es in allen Teil-Scores den ersten oder zweiten Platz belegte.
NAVSIM v2 (navtest): Erreichte 90,4 EPDMS (aktualisierte offizielle Implementierung) und 87,2 EPDMS (Originalcode) und entsprach oder übertraf die stärksten berichteten Ergebnisse.
NavHard: Erreichte 48,3 EPDMS auf dem anspruchsvollen navhard-two-stage-Split und entsprach dem stärksten berichteten Ergebnis.
nuScenes Open-Loop: Erreichte den niedrigsten L2-Versetzungsfehler (0,31 m unter ST-P3-Protokoll) und die beste/mitbeste Kollisionsrate (0,10 %) unter den verglichenen Methoden.
Ablation & Analyse:
- Phase 1 erweiterte den Vorschlagsraum erheblich (Oracle@64 stieg von 0,9933 auf 0,9976), führte jedoch einen Low-Score-Schwanz ein.
- Phase 2 verfeinerte diese Verteilung und verbesserte den ausgewählten PDMS auf 0,9448, während die hohe Vielfalt erhalten blieb (Pairwise ADE von 5,20 gegenüber 1,80 bei der Baseline).
- Die Gewinne wurden einer stärkeren Kandidatenverteilung zugeschrieben und nicht nur der Auswahl einer besseren Top-1-Trajektorie.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CLOVER einen neuen State-of-the-Art für die Leistung auf wichtigen Benchmarks für die Planung im autonomen Fahren etabliert. Ihre Bedeutung liegt in:

Auflösung der Diskrepanz: Explizite Nutzung von vom Evaluierer bereitgestelltem Feedback zum Trainieren eines Trajektorien-Level-Werteschätzers und zur Verfeinerung der Kandidatenverteilung, anstatt sich ausschließlich auf die Imitation einer einzelnen Trajektorie zu verlassen.
Zuverlässige Verfeinerung: Nachweis, dass ein unvollkommener gelernter Scorer als nützliches Medium für die Vorschlagsverfeinerung dienen kann, sofern die ausgewählten Ziele unter dem echten Evaluierer statistisch angereichert sind und die Updates konservativ bleiben.
Vorschlagszentrierte Verbesserung: Demonstration, dass Verbesserungen bei den finalen Planungsmetriken aus der Stärkung sowohl der Qualität als auch der Vielfalt des gesamten Kandidatensatzes resultieren und nicht nur aus der finalen Auswahl.

Die Autoren stellen fest, dass CLOVER zwar dem Actor-Critic-Reinforcement-Learning ähnelt, sich jedoch dadurch unterscheidet, dass es vollständig offline auf protokollierten Szenen mit einem regelbasierten Evaluierer operiert, ohne Online-Interaktion mit der Umgebung oder Trial-and-Error-Exploration. Als zukünftige Arbeit wird die Integration von geschichtsbewussten oder sequenzbasierten Scorern vorgeschlagen, um die zeitliche Konsistenz für Metriken wie Extended Comfort (EC) besser zu modellieren.