From Learned-Mode AV-Traffic Pairing to Planner Decisions: A Marginal-Preserving Study on Argoverse 2

Autonome voertuigen vertrouwen op een constante stroom van voorspellingen om veilig door de wereld te navigeren. Voordat een auto kan beslissen of hij afslaat, stopt of versnelt, moet hij eerst raden wat de andere weggebruikers om hem heen zullen doen. Jarenlang hebben onderzoekers zich gericht op het meten van hoe nauwkeurig deze gissingen zijn voor elke individuele actor, zoals een voetganger of een nabijgelegen vrachtwagen. Als een systeem correct voorspelt dat een voetganger de stoeprand afstapt, wordt dit beschouwd als een goede voorspelling. De ultieme test voor een voorspellingssysteem is echter niet alleen hoe goed deze beschrijvingen individuele toekomsten beschrijven, maar hoe die beschrijvingen de uiteindelijke beslissing van het voertuig beïnvloeden. Een planner, de software die daadwerkelijk de auto stuurt, moet niet alleen begrijpen wat een voetganger zou kunnen doen, maar ook hoe de actie van die voetganger verbonden is aan de eigen potentiële bewegingen van de auto. Deze relatie, waarbij de toekomst van de auto wordt gekoppeld aan de toekomst van het omringende verkeer, is de verborgen laag van intelligentie die bepaalt of een voertuig handelt met zelfvertrouwen of aarzeling.

Een nieuwe studie door onafhankelijk onderzoeker Jingyu Wang onderzoekt of deze specifieke koppeling van toekomsten daadwerkelijk noodzakelijk is voor een planner om goede beslissingen te nemen. Het onderzoek stelt een ogenschijnlijk eenvoudige vraag: als we een geavanceerd voorspellingssysteem nemen dat heeft geleerd hoe de toekomst van de auto te koppelen aan de toekomst van het verkeer, en we verbreken die koppeling doelbewust, verandert het gedrag van de auto dan? Om dit te ontdekken, heeft de onderzoeker geen nieuw model getraind of een nieuwe auto gebouwd. In plaats daarvan nam de onderzoeker de output van een bestaand, hoogwaardig getraind voorspellingssysteem en herschikte deze wiskundig. Elke voorspelde baan voor de auto en elke voorspelde baan voor het omringende verkeer bleef exact hetzelfde. Ook de waarschijnlijkheid van elke baan bleef exact gelijk aan die van het originele model. Het enige wat werd veranderd, was de verbinding tussen hen. In het oorspronkelijke systeem was een specifieke baan van de auto altijd gekoppeld aan een specifiek verkeersscenario. In de gewijzigde versie werd elke mogelijke baan van de auto gekoppeld aan elk mogelijk verkeersscenario, waardoor een enorme raster van nieuwe combinaties ontstond. Dit proces, een productcontrole genoemd, verwijderde effectief de geleerde relatie tussen de auto en het verkeer, terwijl alle individuele voorspellingen intact bleven.

De onderzoekers testten dit herschikte systeem tegen het origineel met behulp van 1.400 real-world rijscenario's uit de Argoverse 2-dataset. Ze voedden beide versies van de voorspelling aan dezelfde planningsoftware en keken of de auto een andere actie zou kiezen. De resultaten toonden aan dat de koppeling er wel degelijk toe doet, maar alleen onder bepaalde omstandigheden. Wanneer de planner enigszins flexibel was ingesteld en een breder scala aan mogelijkheden overwoog, veranderde de wijziging in de koppeling de uiteindelijke beslissing van de auto in ongeveer 3 procent van de gevallen. Echter, wanneer de planner veel gevoeliger was ingesteld voor de exacte afstand tussen de auto en de voorspelde banen, zorgde de wijziging in de koppeling ervoor dat de planner in ongeveer 8 procent van de gevallen een andere actie koos. In deze gevallen zou de auto in de ene versie van de vooriipstelling hebben versneld en in de andere vertraagd, simpelweg omdat de manier waarop de toekomsten gegroepeerd waren, de berekende risico's had verschoven.

Ondanks deze veranderingen in de besluitvorming, stelden de resultaten van de studie vast dat de bevindingen inconclusief zijn met betrekking tot een duidelijk voordeel voor een van beide systemen. Wanneer de onderzoekers naar de uiteindelijke resultaten keken—of de gekozen baan van de auto daadwerkelijk zou botsen met een geregistreerde voetganger of voertuig—vonden zij dat de statistische intervallen voor het prestatieverschil de nul kruisten. Dit betekent dat de gegevens niet kunnen bevestigen dat er een voordeel is voor de geleerde koppeling, noch kunnen ze een dergelijk voordeel uitsluiten. De analyse van de koppeling kan echter niet het effect op de uitkomst van de geregistreerde gebeurtenis scheiden van de bijbehorende verandering in geconditioneerde concentratie. De verschillen in de keuzes van de planner vertaalden zich niet in een meetbaar, statistisch significant verschil in veiligheid of efficiëntie dat definitief aan de geleerde koppelingen alleen kon worden toegeschreven. Dit suggereert dat de specifieke manier waarop het model leerde de toekomst van de auto te koppelen aan die van het verkeer, misschien niet de cruciale factor voor veiligheid is zoals velen aannemen, of dat het effect onlosmakelijk verbonden is met hoe de planner zijn aandacht concentreert op de meest waarschijnlijke toekomsten.

De studie onderzocht ook waarom de planner anders reageerde, zelfs toen de individuele voorspellingen voor de auto en het verkeer onveranderd bleven. Het bleek dat wanneer de planner naar een specifieke kandidaat-baan kijkt, meer gewicht toekent aan de verkeersscenario's die het dichtst bij die baan liggen. In het oorspronkelijke systeem, omdat de baan van de auto nauw verbonden was met een specifiek verkeersscenario, zag de planner een zeer gefocuste set mogelijkheden. In het herschikte systeem, omdat elke baan van de auto werd gekopperd aan elk verkeersscenario, zag de planner een veel bredere, meer diffuse set mogelijkheden. Deze verschuiving in hoe de opties werden geconcentreerd, veranderde de risicoberekening van de planner, wat leidde tot andere acties. Het onderzoek geeft aan dat voor dit specifieke type model en planner, het voordeel van het hebben van geleerde koppelingen geen duidelijke verbetering is in veiligheidsresultaten, maar eerder een verandering in de manier waarop het systeem zijn aandacht concentreert op de meest waarschijnlijke toekomsten.

Uiteindelijk daagt dit werk de aanname uit dat complexe, geleerde verbindingen tussen een voertuig en zijn omgeving altijd noodzakelijk zijn voor veilige rijbeslissingen. De studie laat zien dat een planner andere keuzes kan maken op basis van hoe de toekomsten gegroepeerd zijn, zelfs als de individuele voorspellingen identiek zijn. Hoewel de geleerde koppelingen van het oorspronkelijke systeem in deze simulaties niet leidden tot betere veiligheidsresultaten, benadrukt het experiment dat de evaluatie van voorspellingssystemen verder moet gaan dan eenvoudige nauwkeurigheidsscores. Het is niet genoeg om te weten dat een systeem kan voorspellen waar een voetganger zal zijn; men moet ook begrijpen hoe die voorspellingen gecombineerd worden om de uiteindelijke beweging van het voertuig te beïnvloeden. De bevindingen suggereren dat voor autonoom rijden de structuur van de voorspelling ertoe doet, maar dat de specifieke geleerde relaties tussen de auto en het verkeer misschien niet het magische ingrediënt voor veiligheid zijn waar velen op hopen.