DriveCritic: Towards Context-Aware, Human-Aligned Evaluation for Autonomous Driving with Vision-Language Models

Dit paper introduceert DriveCritic, een nieuw framework dat bestaat uit een zorgvuldig samengesteld dataset en een visueel-taalmodel om autonome rijplanners nauwkeuriger en menselijker te evalueren door contextbewuste oordelen te treffen die beter overeenkomen met menselijke voorkeuren dan bestaande metrieke.

De kern

DriveCritic: De Slimme Vriend die Autopiloten Echte Menselijke Oordeelskracht Leren

Stel je voor dat je een nieuwe, superslimme robotchauffeur hebt. Deze robot kan perfect reageren op de weg, maar hoe weten we of hij ook goed rijdt volgens menselijke maatstaven? Dat is de grote uitdaging waar dit onderzoek over gaat.

Hier is een uitleg van het papier "DriveCritic", vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.

1. Het Probleem: De "Stijve" Regelspelers

Vroeger (en nog steeds vaak) keken we naar hoe goed een autonome auto reed door te kijken naar cijfers. Denk aan een sportwedstrijd waar je alleen naar de tijd kijkt.

• De oude methode (EPDMS): Dit is als een strenge scheidsrechter die alleen naar een lijstje met vaste regels kijkt. "Als je 10 centimeter uit je rijbaan rijdt, krijg je een straf." "Als je te langzaam gaat, krijg je een straf."
• Het probleem: Mensen zijn niet zo stijf. Soms duw je even een klein beetje naar links om een geparkeerde auto te passeren, of je remt iets eerder om een kind op de stoep niet bang te maken. De strenge scheidsrechter ziet dit als een fout en straft je af. Maar een menselijke bestuurder zou zeggen: "Dat was slim en veilig!"

De huidige systemen zijn dus contextblind. Ze zien de regels, maar niet de situatie.

2. De Oplossing: DriveCritic

De onderzoekers hebben een nieuwe oplossing bedacht: DriveCritic.
Stel je voor dat je in plaats van een strenge scheidsrechter, een ervaren rijinstructeur aan boord hebt. Deze instructeur kijkt niet alleen naar de cijfers, maar begrijpt ook de sfeer, de gevaarlijke situaties en wat "netjes" is.

DriveCritic bestaat uit twee delen:

A. De "Moeilijke Oefeningen" (Het Dataset)

Om de instructeur te trainen, hebben de onderzoekers een verzameling van lastige situaties gemaakt.

• Vergelijking: Stel je voor dat je rijles neemt. Je krijgt twee scenario's:
  1. Je rijdt netjes in je rijbaan, maar komt er niet uit omdat je te voorzichtig bent.
  2. Je duwt even een beetje de berm op om vooruit te komen, maar het is veilig.
• De oude computer zou zeggen: "Optie 1 is beter, want je zat in je rijbaan."
• De menselijke instructeur zegt: "Optie 2 is beter, want je bent veilig vooruitgekomen."
  De onderzoekers hebben duizenden van deze "twijfelachtige" situaties verzameld, waarbij echte experts hebben gezegd welke optie de beste was.

B. De "Slimme Instructeur" (Het Model)

Ze hebben een kunstmatige intelligentie (een Vision-Language Model, ofwel een AI die zowel kan zien als begrijpen) getraind om deze instructeur te spelen.

• Hoe werkt het? De AI kijkt naar de camera-beelden, de kaart en de snelheid. Ze krijgt twee routes voorgeschoteld (Route A en Route B).
• De training: Eerst leerden ze de AI met voorbeelden (Supervised Learning), alsof je een kind leert rijden met een boekje. Daarna lieten ze de AI zelf oefenen door fouten te maken en te leren van de juiste antwoorden (Reinforcement Learning), net als een sporter die traint voor de Olympische Spelen.

3. Wat is het Resultaat?

Toen ze de nieuwe DriveCritic AI testten, gebeurde er iets moois:

• De oude strenge regels (EPDMS) hadden maar 41% van de keren gelijk met wat mensen wilden.
• De nieuwe DriveCritic AI had 76% van de keren gelijk!

De analogie:
Het is alsof je een robot hebt die eerst dacht: "Rijden is alleen maar lijnen volgen." DriveCritic heeft hem geleerd: "Rijden is ook begrijpen dat je soms even uit je lijn moet duiken om een vriendje te helpen, of om veilig te blijven."

4. Waarom is dit belangrijk?

Autonome auto's moeten niet alleen veilig zijn, ze moeten zich ook sociaal gedragen. Ze moeten voelen wat een mens zou voelen.

• Als een auto te star is, wordt hij een last op de weg (hij remt te vaak).
• Als hij te agressief is, is hij gevaarlijk.
  DriveCritic helpt ontwikkelaars om auto's te maken die zich voelen als een ervaren, beleefde menselijke bestuurder, in plaats van als een robot die alleen maar cijfers volgt.

Samenvatting in één zin

DriveCritic is een slimme AI-instructeur die leert om te oordelen of een autonome auto goed rijdt, niet door naar stijve regels te kijken, maar door de echte, menselijke situatie te begrijpen – net zoals een ervaren chauffeur dat zou doen.

Technische samenvatting

Probleemstelling

Het evalueren van autonome rijplanners blijft een uitdaging, vooral omdat de huidige state-of-the-art (SOTA) metrics, zoals de Extended Predictive Driver Model Score (EPDMS), vaak ontbreken aan contextbewustzijn.

• Beperkingen van bestaande methoden: EPDMS is een regelgebaseerde metric die trajecten beoordeelt op basis van vaste drempels voor veiligheid, comfort en voortgang. Dit leidt tot misleidingen in genuanceerde scenario's. Bijvoorbeeld: een lichte zijwaartse verschuiving (nudge) om een veilig buffer te creëren wordt door EPDMS vaak zwaar bestraft als een "baanverlaten" (Lane Keeping violation), terwijl een menselijke expert dit als een veilige en logische actie zou zien.
• Het "Context Gap": Menselijke bestuurders balanceren voortgang en veiligheid dynamisch op basis van visuele en semantische context. Regelgebaseerde systemen missen deze nuance, wat resulteert in een discrepantie tussen de score van de metric en de voorkeur van menselijke experts.

Methodologie: DriveCritic Framework

DriveCritic is een nieuw framework dat bestaat uit twee hoofdcomponenten: een nieuw dataset en een Vision-Language Model (VLM) als evaluator.

1. DriveCritic Dataset

De dataset is een geselecteerde verzameling van uitdagende scenario's afkomstig uit de NAVSIM-benchmark, specifiek ontworpen om de tekortkomingen van EPDMS bloot te leggen.

• Selectie Strategie: De auteurs hebben scenario's geselecteerd waar menselijke experttrajecten lage scores krijgen op de sub-metrics Lane Keeping (LK) of Ego Progress (EP), terwijl deze acties contextueel gerechtvaardigd zijn.
• Twee Casestudies:
  1. Lane-Progress Trade-off: Scenario's waar een menselijke bestuurder de baan tijdelijk verlaat (LK=0) om voortgang te behouden, versus een traject dat strikt in de baan blijft (LK=1) maar minder vooruitgang boekt.
  2. Progress-only Contrast: Scenario's waar menselijke bestuurders bewust minder vooruitgang boeken (conservatief gedrag) in vergelijking met agressievere trajecten.
• Annotatie: Het dataset bevat paarsgewijze vergelijkingen (A vs. B) met menselijke voorkeuren. De testset is handmatig geannoteerd door een expert (meer dan 5 jaar ervaring), terwijl de trainset gebruikmaakt van pseudo-labels en een geavanceerd LLM (GPT-5) voor schaalbaarheid.

2. DriveCritic Model

Het model is een Vision-Language Model (VLM) dat fungeert als een "mens-gealigneerde rechter".

• Architectuur: Gebaseerd op Qwen2.5-VL-7B.
• Input: Het model ontvangt vier soorten input:
  1. Gesteekte beelden van drie camera's (linksvoor, voor, rechtsvoor).
  2. Een Bird's Eye View (BEV) kaart met de twee kandidaat-trajecten erop getekend.
  3. Status van het eigen voertuig (snelheid, versnelling, commando).
  4. De EPDMS-subscores (LK en EP) als symbolische context.
• Training Pipeline (Twee Stappen):
  1. Supervised Fine-Tuning (SFT): Het model wordt eerst getraind op een subset van 1.100 paren met Chain-of-Thought (CoT) redeneringen gegenereerd door GPT-5. Dit "warmt" het model op om de juiste outputformaat en redeneerlogica te volgen.
  2. Reinforcement Learning Fine-Tuning (RLFT): Vervolgens wordt het model verfijnd met RLVR (Reinforcement Learning from Verifiable Rewards). Er wordt gebruikgemaakt van het DAPO-algoritme (Decoupled Clip and Dynamic Sampling Policy Optimization), een verbetering van GRPO, om stabiliteit en convergentie te waarborgen. De beloning (reward) is gebaseerd op zowel format-naleving als nauwkeurigheid van de keuze.

Belangrijkste Resultaten

De experimenten werden uitgevoerd op de DriveCritic testset, waarbij de prestaties werden gemeten aan de hand van nauwkeurigheid (hoe vaak stemt de keuze van het model overeen met de menselijke expert?).

• Vergelijking met Baselines:
  • EPDMS (Regelgebaseerd): 41,4% nauwkeurigheid (slechtste prestatie, bevestigt het gebrek aan context).
  • Zero-shot VLMs (bijv. GPT-5, Qwen2.5-VL): Variëren tussen 48% en 55%. Ze hebben contextbegrip, maar zijn niet specifiek getraind voor deze taak.
  • Supervised Pairwise Classifier (Zonder VLM): 64,8%.
  • DriveCritic (Ours): 76,0%. Dit is een significante verbetering ten opzichte van alle baselines.
• Robuustheid: DriveCritic toont een hoge robuustheid (81,8%) tegenover het verwisselen van de volgorde van de trajecten in de prompt (A vs. B), wat aantoont dat het model niet afhankelijk is van de inputvolgorde, in tegenstelling tot de traditionele classifier.
• Kwalitatieve Analyse: Het model kan complexe redeneringen genereren (bijv. "Traject A is beter omdat het een veilig buffer houdt bij geparkeerde auto's, terwijl Traject B onnodig remt"), wat dicht bij menselijk oordeel ligt.

Bijdragen en Significantie

1. Identificatie van Limitaties: Het paper demonstreert empirisch dat zelfs de beste regelgebaseerde metrics (EPDMS) falen in het aligneren met menselijke experts in ambigue situaties door gebrek aan contextbewustzijn.
2. Nieuwe Dataset: De introductie van de DriveCritic dataset, een gecureerde collectie van paarsgewijze menselijke voorkeuren in moeilijke scenario's, die dient als een nieuwe benchmark voor evaluatiemethoden.
3. Nieuwe Architectuur: De ontwikkeling van DriveCritic, een VLM-gebaseerde evaluator die wordt getraind met een combinatie van SFT en RLVR. Dit bewijst dat VLMs superieur zijn in het begrijpen van visuele en semantische context voor rijevaluatie.
4. Toekomstperspectief: Het werk biedt een fundament voor het ontwikkelen van schaalbare, mens-gecentreerde evaluatie-tools. Het kan worden geïntegreerd in RL-pipelines (zoals TrajHF) om autonome planners te trainen op basis van menselijke voorkeuren in plaats van starre regels.

Conclusie: DriveCritic markeert een verschuiving van starre, regelgebaseerde evaluatie naar een contextbewuste, mens-gealigneerde benadering, wat essentieel is voor het vertrouwen en de veiligheid van toekomstige autonome voertuigen.