Technische Samenvatting: DriveJudge: Het heroverwegen van de evaluatie van autonoom rijden met Vision-Language Modellen

1. Probleemstelling

Het vakgebied van autonoom rijden verschuift steeds meer naar end-to-end beleersleren (policy learning), wat goed presteert in nominale scenario's, maar moeite heeft met long-tail, niet-nominale gebeurtenissen. Een kritieke flessenhals bij het verbeteren van deze beleidsprocessen is het gebrek aan betrouwbare, interpreteerbare en contextbewuste evaluatiemetrieken. Bestaande evaluatieparadigma's lijden onder aanzienlijke beperkingen:

• Regelgebaseerde metrieken (bijv. EPDMS): Hoewel interpreteerbaar en fysiek gefundeerd, zijn ze inherent context-onafhankelijk. Ze passen vaste regels uniform toe, waardoor ze redelijk gedrag in complexe scenario's vaak te streng bestraffen (bijv. het tijdelijk versoepelen van rijstrookbevestigingsrestricties om een obstakel te ontwijken).
• Evaluaties op basis van Vision-Language Modellen (VLM): Hoewel contextbewust, vertrouwen deze vaak op ambigue voorkeursvergelijkingen of directe scorevoorspellingen. Deze benaderingen missen expliciete fysieke gronding en ruimtelijke precisie, wat ze onbetrouwbaar maakt voor fijnmazige veiligheidsbeoordelingen en moeilijk te ontleden in specifieke rijaspecten (veiligheid, comfort, voortgang).

De kernuitdaging is het ontwikkelen van een evaluatiekader dat de contextuele begrip van VLM's combineert met de ruimtelijke precisie en fysieke gronding van deterministische regelgebaseerde metrieken.

2. Methodologie: DriveJudge

De auteurs stellen DriveJudge voor, een door VLM gestuurde, op regels gebaseerde evaluatie-agent. In tegen tegenstelling tot eerdere werken die uitsluitend vertrouwen op VLM-oordelen, formuleert DriveJudge de rij-evaluatie als een agentisch besluitvormingsproces.

2.1 Kernarchitectuur

DriveJudge werkt door de context van de omgeving te interpreteren en selectief deterministische regelfuncties aan te roepen.

• Input: De agent ontvangt multimodale inputs, waaronder frontale camerabeelden en Bird's-Eye View (BEV) visualisaties met objectboxen, rijstrookkaarten en voorspelde trajecten.
• Contextueel Redeneren: Een VLM (specifiek Qwen-3) analyseert de scène om te bepalen welke evaluatieregels relevant zijn. Het genereert een gating-vector $\hat{g}_i$, waarbij elk element de relevantie van een specifieke regel (bijv. Rijstrookbevestiging, Time to Collision) aangeeft voor de huidige rijtoestand.
• Regel Aanroeping: Op basis van de gating-vector voert het systeem selectief deterministische regelfuncties ($f^m$) uit uit een vooraf gedefinieerde set (bijv. EPDMS-regels die veiligheid, rijstrooknaleving, voortgang en comfort dekken).
• Score Aggregatie: De uiteindelijke rij-score wordt berekend door de outputs van de geselecteerde regels te aggregeren, gewogen naar hun relevantie. Dit stelt het systeem in staat om irrelevante beperkingen te negeren (bijv. het negeren van straffen voor rijstrookafwijking wanneer een zijwaartse beweging nodig is voor het ontwijken van een obstakel).

2.2 Trainingspipeline

Om DriveJudge te trainen en te valideren, hebben de auteurs een grootschalige dataset gecureerd en een tweestaps post-training pipeline toegepast:

1. Dataset Curatie: Een dataset van 33.577 uitdagende rij-samples is samengesteld uit de PhysicalAI-Autonomous-Vehicles dataset. Deze richt zich op long-tail scenario's waar menselijk rijgedrag specifieke regels kan schenden maar toch "redelijk" blijft binnen de context. Menselijke annotatoren labelden of het gedrag redelijk was en leverden rechtvaardigingen.
2. Supervised Fine-Tuning (SFT): Het model wordt getraind om de juiste gating-vector te voorspellen (welke regels moeten worden aangeroepen) op basis van menselijke annotaties. De grondwaarheid voor regelaanroeping wordt afgeleid door regels te identificeren die een door mensen als "redelijk" gelabeld menselijk traject onterecht zouden bestraffen.
3. Reinforcement Learning (RL): Na de SFT ondergaat het model RL-optimalisatie (met behulp van Group Relative Policy Optimization, GRPO) om de prestaties op downstream-taken te verbeteren, specifal de selectie van trajectvoorkeuren. De beloning is gebaseerd op of de rangschikking van trajecten door het model overeenkomt met menselijke voorkeuren.

3. Evaluatie Benchmarks

Het artikel introduceert twee door mensen gealigneerde benchmark-taken om de kwaliteit van de rij-metrieken zelf te evalueren:

1. Classificatie van Rijkwaliteit: De metriek moet onderscheid maken tussen redelijk en onredelijk rijgedrag (binaire classificatie). Prestaties worden gemeten via Accuracy, AUC en Average Precision (AP).
2. Selectie van Trajectvoorkeur: Gegeven twee kandidaat-trajecten, moet de metriek het traject een hogere score toekennen dat door mensen wordt verkozen. Prestaties worden gemeten via selectienauwkeurigheid.

4. Belangrijkste Resultaten

Experimenten tonen aan dat DriveJudge de bestaande baselines aanzienlijk overtreft op beide benchmark-taken:

• Classificatie van Rijkwaliteit: DriveJudge (8B model) bereikt een 78.90 AUC, waarmee het de standaard regelgebaseerde metriek EPDMS met +21.23 AUC verslaat. Het vertoont ook een enorme verbetering in het detecteren van fouten (AP-), van 26.34 (EPDMS) naar 59.04.
• Selectie van Trajectvoorkeur: DriveJudge bereikt een nauwkeurigheid van 82.83%, waarmee het de recente VLM-gebaseerde critic DriveCritic (76.33%) en andere baselines zoals GPT-5 en Gemini verslaat.
• Ablatie-studies:
  • VLM + Tools: Het combineren van VLM-redeneren met regelgebaseerde tool-aanroeping is essentieel. Directe VLM-scoring (zonder tools) of niet-VLM agenten presteren aanzienlijk slechter.
  • SFT + RL: Reinforcement learning levert substantiële winst op alleen wanneer het is geïnitialiseerd vanaf een Supervised Fine-Tuned model. Starten met RL vanaf een zero-shot model resulteert in verwaarloosbare verbetering, wat de noodzaak van SFT benadrukt om het model in de taakstructuur te verankeren.
  • Scaling: SFT-prestaties schalen lineair met de datagrootte, terwijl RL afnemende meeropbrengsten vertoont na een bepaald punt, wat wijst op een behoefte aan hoogwaardige voorkeursdata in plaats van enkel volume.

5. Betekenis en Claims

Het artikel beweert dat DriveJudge een nieuwe standaard zet voor interpreteerbare en precieze rij-evaluatie door de kloof tussen semantisch redeneren en fysieke gronding te overbruggen.

• Contextbewustzijn: Het adresseert succesvol het "long-tail" probleem waarbij rigide regels falen, waardoor de evaluatie van manoeuvres mogelijk wordt die een tijdelijke versoepeling van regels vereisen.
• Interpreteerbaarheid: Door expliciet regels aan te roepen, is het evaluatieproces transparant en ontleedbaar, in tegen tegenstelling tot black-box VLM-scoring.
• Benchmarking van Beleid: Wanneer toegepast op benchmark state-of-the-art planningmodellen (bijv. Hydra-MDP, DriveSuprim), kent DriveJudge hogere scores toe dan EPDMS, wat suggereert dat huidige beleidssystemen (policies) krachtiger kunnen zijn dan conventionele metrieken aangeven. Het hint er ook op dat huidige benchmarks (zoals NAVSIM) mogelijk verzadiging naderen, wat meer genuanceerde evaluatiemethoden noodzakelijk maakt.

De auteurs concluderen dat DriveJudge een sterker fundament biedt voor toekomstig onderzoek naar autonoom rijden, met name voor het trainen van beleid in complexe, long-tail scenario's waar traditionele metrieken ontoereikend zijn.