💻 computer science

Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive

Deze studie analyseert de correlatie tussen NAVSIM open-loop-metrics en Bench2Drive gesloten-lusprestaties over state-of-the-art-methoden, en onthult dat terwijl geaggregeerde NAVSIM-scores een sterke maar niet-monotoon correlatie vertonen met succes in het echt rijden, Ego Progress de meest voorspellende enkele metric is en een vereenvoudigde formule met drie metrics de volledige score met vijf metrics effectief kan vervangen voor rangschikkingsdoeleinden.

Oorspronkelijke auteurs: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren autorijden. Om te zien of de robot goed is, heb je twee manieren om het te testen:

De "Papertest" (Open-Loop): Je geeft de robot een kaart en een reeks instructies, en vraagt het om een lijn op een stuk papier te tekenen die aangeeft waar het zou rijden. Je vergelijkt die lijn vervolgens met het perfecte pad. Dit is snel, goedkoop en je kunt het duizend keer per seconde doen.
De "Echte Rit" (Closed-Loop): Je zet de robot daadwerkelijk in een auto (of een superrealistische videospel) en laat het rijden. De auto reageert op verkeerslichten, andere auto's en voetgangers. Als de robot vastloopt of te langzaam rijdt, faalt het. Dit is de "gouden standaard", maar het kost uren, veel geld en is moeilijk exact op dezelfde manier te herhalen.

De Grote Vraag: Kan de "Papertest" betrouwbaar voorspellen hoe de robot zal presteren in de "Echte Rit"?

Lange tijd was het antwoord nee. Oude tests maten alleen hoe ver de tekening van de robot afweek van de perfecte lijn (zoals het meten van de afstand tussen twee punten). Het papier toont aan dat zelfs als een robot een bijna perfecte lijn tekent, het in het echt nog steeds kan crashen of vastlopen.

Wat dit artikel deed

De auteurs keken naar 8 verschillende toonaangevende robotbestuurders. Ze controleerden hoe deze robots presteerden op de "Papertest" (met behulp van een nieuwe, slimmere test genaamd NAVSIM) en vergeleken dit met hoe ze het daadwerkelijk deden in de "Echte Rit" (met behulp van een test genaamd Bench2Drive).

Hier is wat ze vonden, eenvoudig uitgelegd:

1. De "Veiligheid vs. Snelheid"-valkuil

De nieuwe "Papertest" (NAVSIM) is veel beter dan de oude. Het controleert op veiligheid (heb je iets geraakt?) en vooruitgang (ben je vooruitgegaan?).

Het Probleem: Sommige robots zijn te veilig. Ze rijden als een schildpad, stoppen bij elke kleine schaduw om zeker te zijn dat ze niets raken.
Het Resultaat: Op de "Papertest" krijgen deze schildpad-robots hoge scores omdat ze nooit iets raken. Maar in de "Echte Rit" worden ze bestraft omdat ze te langzaam rijden of vastlopen in het verkeer. Ze zakken voor de echte test omdat ze te voorzichtig zijn.
De Analogie: Stel je een student voor die op een toets elk antwoord geeft met "Ik weet het niet" om te voorkomen dat hij één punt verliest. Op een toets die alleen fouten meet, krijgt hij een A. Maar op een toets waarbij je het examen daadwerkelijk moet afmaken, krijgt hij een onvoldoende omdat hij het niet heeft afgerond.

2. Het Geheime Ingrediënt: "Eigen Vooruitgang"

De onderzoekers splitsten de "Papertest" op in onderdelen om te zien welke daarvan daadwerkelijk succes in de echte wereld voorspelde.

Ze ontdekten dat het belangrijkste getal niet "Ben je gecrasht?" was (Veiligheid). Het was "Ben je vooruitgegaan?" (Vooruitgang).
De Analogie: Denk aan een marathon. Als je perfect loopt zonder te struikelen (Veiligheid) maar elke 10 seconden stopt om je schoenveter te strikken, win je de race niet. De robot moet vooruit blijven gaan. De "Vooruitgangs"-score was de enige beste voorspeller of de robot de rit daadwerkelijk succesvol zou voltooien.

3. Het "Sneeuwbaleffect"

Waarom worden kleine fouten in de "Papertest" enorme mislukkingen in de "Echte Rit"?

De Analogie: Stel je voor dat je door een gang loopt. Als je één klein stapje naar links zet, maakt het niet uit. Maar als je 10 minuten lang kleine stapjes naar links blijft zetten, loop je uiteindelijk tegen een muur.
In de "Papertest" plant de robot slechts 4 seconden vooruit. Een klein aarzelen lijkt misschien een kleine fout. Maar in de "Echte Rit" zorgt die kleine aarzeling ervoor dat de robot een groen licht mist, wacht op een rood licht, achterloopt op schema en uiteindelijk wordt afgekeurd door tijdsoverschrijding. Kleine fouten "rollen op" tot een totale mislukking.

4. Een Simpler Formule

De "Papertest" gebruikt een complexe formule met 5 verschillende getallen om een eindcijfer te berekenen. De auteurs beseften dat twee van die getallen (hoe comfortabel de rit is en hoe dicht je bij een crash bent) voor alle toprobots nagenoeg hetzelfde waren; ze waren allemaal perfect op die punten.

De Ontdekking: Je kunt de complexe formule weggooien en gewoon 3 simpele getallen gebruiken: "Ben je gecrasht?", "Blijf je in je rijbaan?" en "Ben je vooruitgegaan?"
Het Resultaat: Deze super-simpele formule voorspelde de resultaten in de echte wereld net zo goed als de complexe. Het is alsof je beseft dat je geen 50 pagina's rapport nodig hebt om te weten of een auto goed is; je hoeft alleen maar te weten of hij beweegt en niet crasht.

De Conclusie

Het artikel concludeert dat we, hoewel we niet perfect kunnen voorspellen hoe het rijden in het echt verloopt door alleen naar een tekening te kijken, er veel dichter bij komen.

Kijk niet alleen naar veiligheid: Een robot die veilig is maar niet beweegt, is een slechte bestuurder.
Let op "Vooruitgang": Het vermogen om vooruit te blijven gaan is het beste teken van een goede bestuurder.
Vereenvoudig: We hebben geen overmatig complexe scoresystemen nodig om goede bestuurders van slechte te onderscheiden; een simpele focus op veiligheid en beweging werkt op dit moment het beste.

De auteurs waarschuwen dat naarmate robots beter worden, we deze regels misschien weer moeten aanpassen, maar voor nu is deze "Vooruitgangs"-metriek de sleutel om te weten wie het op de weg daadwerkelijk zal redden.

1. Probleemstelling

Het evalueren van planners voor autonoom rijden (AD) houdt een afweging in tussen open-loop en closed-loop evaluatie:

Closed-loop evaluatie (bijv. Bench2Drive op CARLA) is de "gouden standaard" voor het beoordelen van competentie in de echte wereld, maar is rekenkundig duur, lijdt aan hoge variantie en vereist complexe infrastructuur.
Open-loop evaluatie (bijv. NAVSIM) is snel en reproduceerbaar, maar vertrouwt traditioneel op geometrische metrieken zoals Average Displacement Error (ADE) en Final Displacement Error (FDE).
De Kernvraag: Kunnen moderne, veiligheidsbewuste open-loop metrieken (specifiek die van NAVSIM v2) betrouwbaar closed-loop rijprestaties voorspellen? Vorig werk suggereert dat traditionele metrieken hierin falen, maar het is onduidelijk of het nieuwe paradigma van NAVSIM de kloof overbrugt.

2. Methodologie

De auteurs voerden een systematische cross-benchmark correlatiestudie uit met behulp van een gepaarde dataset van state-of-the-art (SOTA) methoden.

Dataverzameling:
- Het team kruiste gepubliceerde resultaten van 15 methoden die rapporteerden over zowel NAVSIM (open-loop) als Bench2Drive (closed-loop).
- Ze filterden op methoden die consistente modelconfiguraties gebruikten voor beide benchmarks om verstorende variabelen te vermijden (bijv. verschillende backbones of trainingsdata).
- Finale Dataset: 8 methoden met volledige gepaarde datapunten (NAVSIM sub-metrieken versus Bench2Drive Driving Score).
Geanalyseerde Metrieken:
- Open-Loop (NAVSIM): PDM Score (PDMS) en zijn sub-metrieken: No at-fault Collision (NC), Drivable Area Compliance (DAC), Time-to-Collision (TTC), Ego Progress (EP) en Comfort (C).
- Closed-Loop (Bench2Drive): Driving Score (DS), die routevoltooiing combineert met straffen voor overtredingen (botsingen, traag rijden, time-outs).
Statistische Analyse:
- Berekening van Spearman rangcorrelatie ( $\rho$ ) en Kendall's $\tau$ om de relatie tussen open-loop scores en closed-loop prestaties te meten.
- Onderzoek naar specifieke "ranginversies" waarbij de open-loop rang van een methode significant afweek van zijn closed-loop rang.
- Voorstellen en testen van een vereenvoudigde proxy-metriek (CL-Proxy) om te bepalen of minder sub-metrieken dezelfde voorspellende kracht konden bereiken.

3. Belangrijkste Bevindingen & Resultaten

A. Traditionele Metrieken Falen

Bevinding: Traditionele verplaatsingsmetrieken (L2-fout, ADE, FDE) tonen geen significante correlatie met de closed-loop Driving Score ( $\rho = -0.36, p = 0.43$ ).
Implicatie: Het minimaliseren van geometrische trajectfouten garandeert geen veilig of succesvol rijden in interactieve omgevingen.

B. NAVSIM PDMS Toont Sterke maar Niet-Monotone Correlatie

Bevinding: De geaggregeerde NAVSIM PDM Score (PDMS) vertoont een sterke positieve correlatie met Bench2Drive DS ( $\rho = 0.90, p = 0.002$ ).
Nuance: De correlatie is niet perfect monotoon. Er zijn opmerkelijke ranginversies.
- Voorbeeld: SafeDrive staat 3e in PDMS (91,6) maar zakt naar 5e in DS (66,77).
- Oorzaak: SafeDrive optimaliseert zwaar voor veiligheid (NC, DAC, TTC), waardoor het bijna perfecte scores behaalt, maar offert Ego Progress (EP) op. In closed-loop leidt dit conservatisme tot straffen voor "Te Traag" en "Time-out", wat de Driving Score drastisch verlaagt.

C. Ego Progress (EP) is de Sterkste Predictor

Bevinding: Onder de individuele NAVSIM sub-metrieken is Ego Progress (EP) de enige beste predictor van closed-loop succes ( $\rho = 0.83$ ).
Verrassing: De meest veiligheidskritische metriek, No at-fault Collision (NC), toont slechts een zwakke tot matige correlatie ( $\rho = 0.45$ ).
Redenering: Huidige SOTA-methoden behalen al zeer hoge NC-scores (plafondeffect, bijv. >98%). Daarom vertalen marginale verbeteringen in NC zich niet naar betere closed-loop prestaties, terwijl het vermogen om vooruitgang te boeken (EP) de primaire differentiator is.

D. Het "Snowball Effect"

Het artikel identificeert een mechanisme voor de resterende kloof tussen open- en closed-loop: Het Snowball Effect.
Kleine afwijkingen in een 4-seconden open-loop traject (bijv. iets te traag rijden) kunnen leiden tot kleine straffen in NAVSIM. Echter, in een closed-loop route van meerdere minuten, stapelen deze kleine vertragingen zich op: een groen licht missen $\rightarrow$ wachten op een volledige rode cyclus $\rightarrow$ achterlopen op schema $\rightarrow$ zware "Te Traag"- of time-out-straffen activeren. Dit verklaart waarom EP (een maat voor de neiging tot vooruitgang) voorspellender is dan instantane veiligheidsmetrieken.

E. Een Eenvoudigere Proxy: CL-Proxy

De auteurs stellen een vereenvoudigde formule voor: $CL\text{-}Proxy = NC \times DAC \times EP$ .
Resultaat: Deze formule met 3 metrieken bereikt exact dezelfde rangcorrelatie ( $\rho = 0.90$ ) als de volledige 5-metriek PDMS op de dataset.
Implicatie: Voor huidige top-tier methoden voegen TTC en Comfort verwaarloosbare marginale informatie toe voor rangschikking, omdat ze ofwel smal verdeeld zijn of verzadigd (bijna 100%).

4. Belangrijkste Bijdragen

Cross-Benchmark Dataset: Samenstellen van de eerste gepaarde dataset van 8 SOTA-methoden die zijn geëvalueerd op zowel NAVSIM als Bench2Drive.
Kwantitatieve Kloofanalyse: Aantonen dat hoewel NAVSIM PDMS sterk correleert met closed-loop prestaties, het lijdt aan ranginversies door de veiligheid-vooruitgang afweging.
Metriekhiërarchie: Identificeren van Ego Progress (EP) als de kritieke predictor van closed-loop succes, die botsingsmetrieken in voorspellende kracht voorbijstrijdt voor huidige SOTA-modellen.
Vereenvoudigde Proxy: Voorstellen van CL-Proxy, een lichtgewicht formule met 3 metrieken die de voorspellende kracht van de complexe 5-metriek PDMS evenaart, wat suggereert dat huidige benchmarks gestroomlijnd kunnen worden.
Mechanisme-identificatie: Voorstellen van het Snowball Effect als de primaire reden waarom kleine open-loop afwijkingen leiden tot closed-loop falen.

5. Betekenis & Aanbevelingen

Voor Benchmarkontwerp:
- Rapporteer Sub-metrieken: Aggregaten verbergen de veiligheid-vooruitgang afweging. Leaderboards moeten individuele sub-metrieken tonen (vooral EP).
- Introduceer Straffen voor Traag Rijden: NAVSIM zou een "Te Traag"-straf moeten adopteren die vergelijkbaar is met Bench2Drive om open-loop evaluatie beter af te stemmen op closed-loop uitkomsten.
- Vereenvoudig Aggregatie: Huidige top-methoden verzadigen op Comfort en TTC; deze metrieken kunnen voor rangschikking worden gedeprioriteerd ten gunste van EP, NC en DAC.
Voor Onderzoek:
- Onderzoekers moeten niet uitsluitend vertrouwen op geaggregeerde open-loop scores. Optimaliseren voor veiligheid (NC) ten koste van vooruitgang (EP) leidt tot slechte prestaties in de echte wereld.
- Toekomstig werk moet zich richten op sub-metriek regressie over architecturen heen in plaats van te vertrouwen op enkele geaggregeerde scores.

Conclusie

Het artikel concludeert dat hoewel open-loop metrieken aanzienlijk zijn verbeterd met NAVSIM, ze geen perfecte proxies zijn. De veiligheid-vooruitgang afweging en het snowball effect creëren een kloof waarbij te conservatieve planners falen in closed-loop. Door te focussen op Ego Progress en een vereenvoudigde CL-Proxy-metriek te gebruiken, kan de gemeenschap betrouwbaardere open-loop voorspellingen van closed-loop rijcompetentie bereiken.