Closed-Loop Evaluation of Bird's-Eye-View Maps from Cross-View Transformers as Inputs to Behavior-Cloning Policies

Stel je een zelfrijdende auto niet voor als een robot met een brein, maar als een student die leert rijden door naar een meester te kijken. Dit is de kern van het idee achter "behavioral cloning" (gedragscloning), een methode waarbij een kunstmatige intelligentie uren aan videomateriaal van een menselijke expert bestudeert en probeert elke beweging ervan te kopiëren. Om dit leerproces te laten werken, heeft de auto een duidelijke, vereenvoudigde kaart van de wereld direct boven zich nodig, bekend als een vogelvluchtperspectief. Dit bovenaanzicht verwijdert de verwarrende hoeken en vervormingen van een normale camera en toont de weg, rijstroken en andere objecten in een plat, gemakkelijk leesbaar raster. Hoewel deze perfecte kaart eenvoudig te genereren is in een computersimulatie, moeten auto's in de echte wereld deze zelf creëren met behulp van alleen hun camera's, een proces dat onvermijdelijk kleine fouten introduceert. De kritische vraag voor onderzoekers is of deze kleine fouten in de kaart ervoor zullen zorgen dat de auto crasht of veilig rijdt.

Een team onderzoekers aan de Federale Universiteit van Santa Catarina in Brazilië zette zich in om dit te beantwoorden door te testen hoe goed een zelfrijdende agent een gesimuleerde stad kon navigeren wanneer deze werd gevoed met kaarten die door een cameragebaseerd systeem waren gemaakt. Ze gebruikten een geavanceerd hulpmiddel genaamd een Cross-View Transformer, die beelden van meerdere camera's aan elkaar naait om die top-down kaart op te bouwen. Om de kaart zo bruikbaar mogelijk te maken, leerden ze het systeem om zes verschillende soorten informatie tegelijkertijd te herkennen: het wegdek, het geplande pad dat de auto moet volgen, de lijnen die de rijstroken markeren, andere voertuigen, voetgangers en verkeerslichten. Vervolgens trainden ze een rijbeleid om de auto te sturen op basis van deze kaarten, waarbij ze de prestaties van de auto vergeleken wanneer deze camera-gegenereerde kaarten gebruikte versus wanneer deze de perfecte, "ground-truth" kaarten kreeg die alleen in de simulatie beschikbaar zijn.

De onderzoekers ontdekten dat het simpelweg nauwkeuriger maken van de kaart in algemene zin niet garandeert dat er veiliger wordt gereden. Ze ontdekten dat de belangrijkste factor niet de gemiddelde kwaliteit van de gehele kaart was, maar de kwaliteit van de kaart op specifieke, gevaarlijke momenten: scherpe bochten en drukke kruispunten. Om dit aan te pakken, introduceerden ze een slimme trainingsmethode. Ze leerden het systeem om extra aandacht te besteden aan de zeldzame en moeilijke rijsituaties, zoals het nemen van een bocht of het oversteken van een kruispunt, door het leerproces te wegen zodat de focus op deze ondervertegenwoordigde momenten kwam te liggen. Deze aanpak, die ze kernel density estimation noemden, zei in feite tegen de computer: "Leer niet alleen rijden op rechte wegen; leer hoe je bochten moet aanpakken."

De resultaten van hun simulatie waren veelzeggend. Wanneer ze de auto's testten in twee verschillende virtuele steden, presteerde het model dat getraind was met deze speciale focus op moeilijke bochten en kruispunten beter dan alle andere. Het was de enige versie van de auto die erin slaagde een volledige rijroute te voltooien zonder een enkele verkeersovertreding te begaan, zoals van de weg afrijden of het niet volgen van een rijstrook. In tegen tegenstelling hiertoe faalden andere modellen, zelfs diegene die kaarten met hogere gemiddelde nauwkeurigheidsscores produceerden, herhaaldelijk. De onderzoekers observeerden dat de auto's vaak faalden op de momenten dat de kaart net iets fout zat over de vorm van een bocht of de richting van een afslag.

Dit inzicht benadrukt een cruciale inzichten voor de toekomst van autonoom rijden: globale nauwkeurigheidsmetrieken kunnen misleidend zijn. Een kaart kan gemiddeld genomen perfect lijken, maar nog steeds gevaarlijk zijn als deze faalt op het exacte punt waar een bestuurder een kritieke beslissing moet nemen. De studie toonde aan dat het "geplande route"-kanaal — het deel van de kaart dat laat zien waar de auto naartoe moet gaan — het meest kritieke element was. Als het systeem de bocht vooruit niet duidelijk kon zien, zou de auto recht in een muur rijden of van de weg afrijden, ongeacht hoe goed het andere auto's of voetgangers herkende. Hoewel het systeem nog steeds moeite had met het identificeren van bewegende objecten zoals mensen en andere voertuigen, concludeerden de onderzoekers dat het verbeteren van de helderheid van de route en de weggeometrie bij deze kritieke knooppunten de meest urgente stap is naar het betrouwbaar maken van zelfrijdende auto's. Het werk suggereert dat een zelfrijdende auto om te slagen niet alleen getraind moet worden om de wereld te zien, maar om de wereld correct te zien wanneer het er echt toe doet.