🤖 machine learning

DriveJudge: Rethinking Autonomous Driving Evaluation with Vision-Language Models

Dieses Paper stellt DriveJudge vor, einen neuartigen Evaluierungsagenten für autonomes Fahren, der das Reasoning von Vision-Language-Modellen mit physikalisch fundierten Regelfunktionen integriert, um eine überlegene, interpretierbare und kontextsensitive Leistung bei menschenorientierten Benchmark-Aufgaben zu erzielen.

Ursprüngliche Autoren: Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Autofahren bei. Sie haben ihm die Verkehrsregeln beigebracht: „Bleib in deiner Spur“, „Berühre keine Menschen“ und „Fahre immer vorwärts weiter“. Aber das echte Leben ist chaotisch. Manchmal muss ein Roboter kurzzeitig eine Fahrbahnmarkierung überqueren oder unerwartet abbremsen, um einem Schlagloch oder einem stehenden Lkw auszuweichen.

Hier versagt die alte Art, den Roboter zu bewerten, und die neue Methode, DriveJudge, kommt ins Spiel.

Das Problem: Das „starre Regelwerk“ vs. der „verwirrte Richter“

Die Arbeit identifiziert zwei Hauptwege, wie Menschen bisher versucht haben, selbstfahrende Autos zu bewerten, und beide haben Mängel:

Das starre Regelwerk (Old School):
Stellen Sie sich einen strengen Lehrer vor, der nur eine Checkliste hat. Wenn das Auto eine weiße Linie überquert, setzt er es als falsch ab. Wenn das Auto 3 Sekunden lang anhält, setzt er es als falsch ab.
- Der Fehler: Dieser Lehrer versteht keinen Kontext. Wenn das Auto die Linie überquert, um einem herabfallenden Ast auszuweichen, sagt das Regelwerk trotzdem: „Falsch!“ Es bestraft kluge, sichere Entscheidungen, weil sie technisch gesehen eine Regel gebrochen haben.
Der verwirrte Richter (Neue KI):
In jüngster Zeit haben Menschen angefangen, hochentwickelte KIs (genannt Vision-Language-Modelle oder VLMs) einzusetzen, um als Richter zu fungieren. Diese KIs können die Szene „sehen“ und verstehen, dass: „Oh, das Auto ist über die Linie gefahren, um einem Baum auszuweichen, das ist okay.“
- Der Fehler: Diese KIs sind großartig darin, die Geschichte zu verstehen, aber sie sind schrecklich darin, exakte Entfernungen zu messen. Sie könnten sagen: „Das Auto ist sicher“, während es eigentlich kurz vor einem Crash steht, weil sie nicht in der Lage sind, die Zoll genau zu zählen. Sie sind zudem etwas vage, was es schwierig macht zu wissen, war Warum sie eine bestimmte Punktzahl vergeben haben.

Die Lösung: DriveJudge (Der „schlaue Vorarbeiter“)

Die Autoren haben DriveJudge entwickelt, das wie ein schlaue Vorarbeiter auf einer Baustelle fungiert.

Anstatt nur das Auto anzusehen und zu raten, oder nur eine Liste zu prüfen, vollführt DriveJudge einen zweistufigen Tanz:

Die „Schau-und-Denk“-Phase: Die KI (der Vorarbeiter) betrachtet die Szene und fragt: „Was passiert hier eigentlich?“ Sie nutzt ihr Gehirn, um den Kontext zu verstehen. Gibt es eine Baustelle? Gibt es einen stehenden Lkw?
Die „Werkzeugwahl“-Phase: Basierend auf dem, was sie sieht, entscheidet sie, welche spezifischen Werkzeuge sie einsetzt.
- Szenario A: Das Auto fährt normal auf einer Autobahn. Der Vorarbeiter greift zum Werkzeug „Spurhalten“ und zum Werkzeug „Geschwindigkeit“.
- Szenario B: Das Auto weicht einem Baustellenhindernis aus. Der Vorarbeiter denkt: „Ah, das Spurhalten ist gerade nicht wichtig; das Auto muss jetzt in der anderen Spur sein, um sicher zu sein.“ Also legt er das Werkzeug „Spurhalten“ beiseite und nimmt stattdessen das Werkzeug „Kollisionsvermeidung“ zur Hand.

Durch das selektive Ein- und Ausschalten von Regeln basierend auf der Situation erhält DriveJudge das Beste aus beiden Welten: die Präzision des starren Regelwerks (weil es echte mathematische Werkzeuge nutzt) und das Verständnis der smarten KI (weil sie weiß, wann sie die Regeln ignorieren muss).

Wie sie es getestet haben

Um zu beweisen, dass dies funktioniert, hat das Team nicht einfach nur geraten. Sie bauten einen massiven „Fahrprüfung“-Datensatz:

Sie sammelten über 33.000 schwierige Fahrclips (den „Long Tail“ des Fahrens, wo seltsame Dinge passieren).
Sie ließen Menschen diese Clips bewerten: „War dieses Fahrverhalten vernünftig, selbst wenn eine Regel gebrochen wurde?“
Sie nutzten diese Daten, um DriveJudge darauf zu trainieren, wie ein menschlicher Experte zu agieren.

Die Ergebnisse

Als das Team DriveJudge gegen die alten Methoden testen ließ:

Beating the Rulebook (Besser als das Regelwerk): DriveJudge war viel besser darin, „vernünftiges“ Fahren zu erkennen, das das alte Regelwerk ungerechtfertigt bestraft hätte.
Beating the Confused AI (Besser als die verwirrte KI): DriveJudge war besser darin, den sichersten Pfad zu wählen als die KI, die nur basierend auf „Gefühl“ rät.
Die Punktzahl: Vereinfacht gesagt, erhielt DriveJudge eine viel bessere Note (21 Punkte besser in einem Test, 6,5 % besser in einem anderen) als die bisherigen besten Methoden.

Das Fazit

Die Arbeit argumentet, dass wir, um selbstfahrende Autos wirklich sicher und intelligent zu machen, uns nicht nur auf eine Liste von Regeln oder nur auf die Meinung eines Chatbots verlassen können. Wir brauchen ein System, das die Geschichte der Straße versteht und dann die richtige Mathematik anwendet, um sie zu beurteilen. DriveJudge ist dieses System: ein Richter, der weiß, wann er streng und wann er flexibel sein muss.

Technisches Resümee: DriveJudge: Neugestaltung der Bewertung des autonomen Fahrens mit Vision-Language-Modellen

1. Problemstellung

Das Feld des autonomen Fahrens bewegt sich zunehmend in Richtung End-to-End-Policy-Learning, welches in nominalen Szenarien gut abschneidet, aber Schwierigkeiten mit Long-Tail-, also nicht-nominalen Ereignissen hat. Ein kritischer Engpass für die Weiterentwicklung dieser Policies ist der Mangel an zuverlässigen, interpretierbaren und kontextbewussten Bewertungsmetriken. Bestehende Bewertungsparadigmen leiden unter erheblichen Einschränkungen:

Regelbasierte Metriken (z. B. EPDMS): Obwohl sie interpretierbar und physikalisch fundiert sind, sind sie inhärent kontextagnostisch. Sie wenden feste Regeln einheitlich an und bestrafen oft ungebührlich angemessene Verhaltensweisen in komplexen Szenarien (z. B. das vorübergehende Lockern von Spurhaltebeschränkungen, um ein Hindernis zu umfahren).
Auf Vision-Language-Modellen (VLM) basierende Bewertungen: Obwohl sie kontextbewusst sind, verlassen sie sich oft auf ambivalente Präferenzvergleiche oder direkte Score-Vorhersagen. Diese Ansätze mangelt es an expliziter physikalischer Fundierung und räumlicher Präzision, was sie für feingliedrige Sicherheitsbewertungen unzuverlässig macht und eine Zerlegung in spezifische Fahraspekte (Sicherheit, Komfort, Fortschritt) erschwert.

Die Kernherausforderung besteht darin, ein Bewertungsframework zu entwickeln, das die kontextuelle Verständigung von VLMs mit der räumlichen Präzision und physikalischen Fundierung deterministischer regelbasierter Metriken kombiniert.

2. Methodik: DriveJudge

Die Autoren schlagen DriveJudge vor, einen durch VLMs gesteuerten, regelbasierten Bewertungsagenten. Im Gegensatz zu früheren Arbeiten, die ausschließlich auf VLM-Urteilen beruhen, formuliert DriveJudge die Fahrbewertung als agentenbasierte Entscheidungsfindung.

2.1 Kernarchitektur

DriveJudge operiert durch die Interpretation des Umgebungskontexts und die selektive Aufrufung deterministischer Regel-Funktionen.

Input: Der Agent erhält multimodale Eingaben, einschließlich Frontkamera-Bildern und Bird's-Eye-View-Visualisierungen (BEV), die Objektboxen, Fahrplan-Karten und vorhergesagte Trajektorien enthalten.
Kontextuelles Reasoning: Ein VLM (speziell Qwen-3) analystierte die Szene, um zu bestimmen, welche Bewertungsregeln relevant sind. Es gibt einen Gating-Vektor $\hat{g}_i$ aus, wobei jedes Element die Relevanz einer spezifischen Regel (z. B. Spurhalten, Kollisionszeit/Time to Collision) für den aktuellen Fahrzustand angibt.
Regel-Aufruf (Rule Invocation): Basierend auf dem Gating-Vektor führt das System selektiv deterministische Regel-Funktionen ( $f^m$ ) aus einem vordefinierten Satz aus (z. B. EPDMS-Regeln, die Sicherheit, Spurtreue, Fortschritt und Komfort abdecken).
Score-Aggregation: Der endgültige Fahr-Score wird berechnet, indem die Outputs der ausgewählten Regeln gewichtet aggregiert werden. Dies ermöglicht es dem System, irrelevante Beschränkungen zu ignorieren (z. B. das Ignorieren von Strafen für die Spurtreue, wenn ein Ausweichen zur Hindernisumfahrung notwendig ist).

2.2 Trainings-Pipeline

Um DriveJudge zu trainieren und zu validieren, haben die Autoren einen groß angelegten Datensatz kuratiert und eine zweistufige Post-Training-Pipeline eingesetzt:

Datensatz-Kuratierung: Ein Datensatz mit 33.577 herausfordernden Fahrproben wurde aus dem PhysicalAI-Autonomous-Vehicles-Datensatz erstellt. Er konzentriert sich auf Long-Tail-Szenarien, in denen menschliches Fahren bestimmte Regeln verletzen kann, aber im Kontext dennoch "angemessen" bleibt. Menschliche Annotatoren haben markiert, ob das Verhalten angemessen war, und Begründungen geliefert.
Supervised Fine-Tuning (SFT): Das Modell wird darauf trainiert, den korrekten Gating-Vektor (welche Regeln aufzurufen sind) basierend auf menschlichen Annotationen vorherzusagen. Die Ground Truth für den Regel-Aufruf wird dadurch abgeleitet, dass Regeln identifiziert werden, die eine als "angemessen" gelabelte menschliche Trajektorie fälschlicherweise bestraft hätten.
Reinforcement Learning (RL): Im Anschluss an das SFT durchläuft das Modell eine RL-Optimierung (unter Verwendung von Group Relative Policy Optimization, GRPO), um die Leistung bei Downstream-Aufgaben, speziell der Auswahl von Trajektorien-Präferenzen, zu verbessern. Die Belohnung basiert darauf, ob das Ranking von Trajektorien durch das Modell mit menschlichen Präferenzen übereinstimmt.

3. Evaluierungs-Benchmarks

Das Paper führt zwei, am Menschen ausgerichtete Benchmark-Aufgaben ein, um die Qualität der Fahr-Metriken selbst zu bewerten:

Klassifizierung der Fahrqualität: Die Metrik muss zwischen angemessenem und unangemessenem Fahrverhalten unterscheiden (binäre Klassifikation). Die Leistung wird über Genauigkeit (Accuracy), AUC und Average Precision (AP) gemessen.
Trajektorien-Präferenzselektion: Gegeben sind zwei Kandidaten-Trajektorien; die Metrik muss derjenigen einen höheren Score zuweisen, die von Menschen bevorzugt wird. Die Leistung wird über die Selektionsgenauigkeit gemessen.

4. Kernergebnisse

Experimente zeigen, dass DriveJudge bestehende Baselines über beide Benchmark-Aufgaben hinweg signifikant übertrifft:

Klassifizierung der Fahrqualität: DriveJudge (8B Modell) erreicht eine AUC von 78,90 und übertrifft die Standard-Regel-Metrik EPDMS um +21,23 AUC. Es zeigt zudem eine massive Verbesserung bei der Erkennung von Fehlern (AP-), die von 26,34 (EPDMS) auf 59,04 ansteigt.
Trajektorien-Präferenzselektion: DriveJudge erreicht eine Genauigkeit von 82,83 % und übertrifft damit den jüngsten VLM-basierten Kritiker DriveCritic (76,33 %) sowie andere Baselines wie GPT-5 und Gemini.
Ablationsstudien:
- VLM + Tools: Die Kombination aus VLM-Reasoning und regelbasiertem Tool-Aufruf ist essenziell. Direkte VLM-Scoring-Verfahren (oh sich Tools zu bedienen) oder Nicht-VLM-Agenten schneiden signifikant schlechter ab.
- SFT + RL: Reinforcement Learning liefert nur dann substanzielle Gewinne, wenn es von einem durch Supervised Fine-Tuning initialisierten Modell ausgeht. Der Start von RL mit einem Zero-Shot-Modell führt zu vernachlässigbaren Verbesserungen, was die Notwendigkeit von SFT unterstreicht, um das Modell in der Aufgabenstruktur zu verankern.
- Skalierung: Die SFT-Leistung skaliert linear mit der Datengröße, während RL nach einem gewissen Punkt abnehmende Grenzerträge zeigt, was auf die Notwendigkeit hochwertiger Präferenzdaten statt bloßer Volumina hindeutet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DriveJudge einen neuen Standard für interpretierbare und präzise Fahrbewertung setzt, indem es die Lücke zwischen semantischem Reasoning und physikalischer Fundierung schließt.

Kontextbewusstsein: Es adresst erfolgreich das "Long-Tail"-Problem, bei dem starre Regeln versagen, indem es die Bewertung von Manövern ermöglicht, die eine vorübergehende Lockerung von Regeln erfordern.
Interpretierbarkeit: Durch den expliziten Aufruf von Regeln ist der Bewertungsprozess transparent und zerlegbar, im Gegensatz zum Black-Box-VLM-Scoring.
Bewertung von Policies: Bei der Anwendung auf Benchmark-State-of-the-Art-Planungsmodelle (z. B. Hydra-MDP, DriveSuprim) weist DriveJudge höhere Scores zu als EPDMS, was darauf hindeutet, dass aktuelle Policies leistungsfähiger sein könnten, als konventionelle Metriken vermuten lassen. Es deutet zudem darauf hin, dass aktuelle Benchmarks (wie NAVSIM) eine Sättigung erreichen könnten, was nuanciertere Bewertungsmethoden erforderlich macht.

Die Autoren kommen zu dem Schluss, dass DriveJudge eine stärkere Grundlage für die zukünftige Forschung im autonomen Fahren bietet, insbesondere für das Training von Policies in komplexen Long-Tail-Szenarien, in denen traditionelle Metriken unzureichend sind.