Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

De droom van een auto die uit zichzelf rijdt, is al decennia een vast onderdeel van sciencefiction, met de belofte van een toekomst waarin de last van sturen, remmen en navigeren door het verkeer van menselijke schouders wordt genomen. De afgelopen twintig jaar hebben ingenieurs gewerkt om die belofte werkelijkheid te maken door systemen te bouwen die de weg kunnen zien, kunnen voorspellen wat andere bestuurders zullen doen, en kunnen beslissen hoe ze veilig kunnen bewegen. Deze systemen rusten op drie belangrijke pijlers: het vermogen om de wereld waar te nemen via camera's en sensoren, het vermogen om te raden waar andere mensen en voertuigen als volgende heen zullen gaan, en het vermogen om een veilig pad naar voren te plannen. Hoewel we testvloten hebben gezien die opereren in specifieke steden, is de technologie nog niet klaar voor de openbare weg overal. Een grote hindernis blijft: hoe weten we of het ene computerprogramma echt beter is dan het andere? Verschillende onderzoeksteams testen hun software vaak in verschillende virtuele werelden of met verschillende regels, wat een eerlijke vergelijking onmogelijk maakt. Zonder een gemeenschappelijke grond is het moeilijk te zeggen of een nieuwe methode een echte sprong voorwaarts is of slechts een methode die alleen werkt op een specifieke test.

Een team van onderzoekers aan de University of Southern California besloot dit probleem op te lossen door acht van de meest geavanceerde zelfrijdende planners in één enkele, gedeelde virtuele arena onder te brengen. Ze kozen een populair simulatieplatform genaamd CARLA, dat de fysica van het rijden en de complexiteit van stadsstraten nabootst, en gebruikten het als een neutrale rechter. De onderzoekers namen softwaremodellen die eerder topposities hadden behaald in drie verschillende grote competities — één gebaseerd op real-world data van Waymo, een andere op de nuPlan-dataset, en enkele uit de CARLA-gemeenschap zelf — en dwongen hen om op dezelfde banen te rijden, geconfronteerd met dezelfde files, voetgangers en bouwzones. Het doel was niet om een nieuwe benchmark te creëren, maar om te zien hoe deze verschillende benaderingen, die in isolatie waren ontwikkeld, zouden presteren wanneer ze door exact dezelfde standaarden worden beoordeeld. De studie omvatte een breed scala aan methoden: sommige die vertrouwen op strikte regels geschreven door mensen, sommige die leren door menselijke bestuurders te observeren, sommige die leren door middel van vallen en opstaan zoals een videogame-personage, en sommige die complexe wiskundige modellen gebruiken om de toekomst te voorspellen.

De resultaten van deze head-to-head vergelijking onthulden dat er niet één "beste" manier is om een autonome bestuurder te bouwen. In plaats daarvan toonde de studie aan dat de sterktes en zwaktes van een systeem sterk afhangen van hoeveel informatie het mag zien en hoe het wordt getraind. De onderzoekers ontdekten dat planners die "geprivilegieerde" informatie kregen — wat betekent dat ze de exacte locatie en snelheid van elk ander voertuig en voetganger konden zien, alsof ze een perfecte kaart van de hele wereld hadden — aanzienlijk beter presteerden op lange, aaneengesloten routes. Deze systemen, die een regelgebaseerde planner en een model dat menselijk rijgedrag imiteert bevatten, slaagden erin bijna 97 procent van hun toegewezen routes te voltooien zonder te crashen. In contrast hiermee voltooide het meest succesvolle systeem dat alleen vertrouwde op standaard sensoren, zoals camera's en laserscanners, ongeveer 70 procent van de routes. Dit suggereert dat hoewel sensoren goed zijn voor het afhandelen van snelle, lokale interacties, het hebben van een perfect vogelperspectief op de verkeerssituatie cruciaal is voor het behouden van voortgang over lange afstanden.

Het hebben van een perfect beeld of een hoog voltooiingspercentage garandeert echter niet veilig of legaal rijden. De studie onthulde een verrassende afruil tussen het bereiken van de bestemming en het volgen van de regels. Een van de best presterende modellen, dat een krachtige voorspellingsmotor combineerde met een controlesysteem dat ontworpen is om een bepaald pad te volgen, was uitstekend in het op de weg blijven en het bereiken van de bestemming. Toch overtrad het regelmatig verkeersregels, zoals het negeren van rode stoplichten of het negeren van stopborden, omdat de instructies gericht waren op het volgen van het pad in plaats van het naleven van de regels. Aan de andere kant was een model dat werd getraind met reinforcement learning, dat leert door beloningen te ontvangen voor goed gedrag en straffen voor slecht gedrag, erg goed in het vermijden van overtredingen, maar had moeite om lange routes efficiënt te voltooien. Dit benadrukt een kritieke uitdaging: een zelfrijdende auto kan heel goed zijn in vooruitkomen of heel goed in beleefd zijn, maar het combineren van beide eigenschappen in één enkel systeem blijft moeilijk.

Misschien wel de meest onthullende bevinding was dat geen enkele benadering consistent de meest chaotische situaties kon afhanden. Wanneer de onderzoekers de modellen testten tegen specifieke scenario's met obstakels, zoals een autodeur die in de rijstrook openvalt, een bouwzone of een voetganger die onverwacht de weg op stapt, hadden alle methoden moeite. Of het systeem nu gebaseerd was op regels, leerde van data, of complexe wkundige voorspellingen deed, geen van hen kon betrouwbaar door deze lastige, obstakelrijke omgevingen navigeren zonder fouten te maken. Dit suggereert dat het vermogen om verfijnde beslissingen te nemen rond ongebruikelijke objecten een gedeelde flessenhals is voor het hele vakgebied. De studie toonde ook aan dat het kijken naar alleen een eindscore misleidend kan zijn. Twee systemen kunnen uiteindelijk met dezelfde algemene score eindigen, maar het ene systeem kan gefaald hebben omdat het een crash veroorzaakte, terwijl het andere faalde omdat het de regels overtrad. Door de resultaten op te splitsen in specifieke soorten rijsituaties, lieten de onderzoekers zien dat een hoge score zeer verschillende soorten fouten kan verbergen.

De onderzoekers introduceerden ook een nieuwe hybride benadering voor de test, waarbij ze een model dat beroemd is om het voorspellen waar andere auto's heen gaan, een planningmodule toevoegden. Dit nieuwe systeem presteerde goed in het houden van de auto op zijn pad, maar net als de andere topperformers had het nog steeds moeite met verkeersregels. De studie concludeerde dat hoewel we enorme vooruitgang hebben geboekt in het simuleren en testen van zelfrijdende technologie, we nog niet op het punt zijn dat deze systemen klaar zijn voor massale inzet. De kloof tussen een auto die kan rijden op een rustig testcircuit en een auto die de onvoorspelbare chaos van een echte stad kan aan, is nog steeds aanzienlijk. Het werk dient als een duidelijke roadmap voor de toekomst, waarbij wordt aangegeven dat de volgende doorbraken niet simpelweg zullen komen door één onderdeel van het systeem sneller of slimmer te maken, maar door het oplossen van de moeilijke balans tussen het volgen van een pad, het naleven van de wet en het veilig reageren op het onverwachte. Totdat die balans wordt gevonden, blijft de belofte van volledig autonome voertuigen net buiten bereik.