LightEMMA: A Longitudinal Evaluation of Vision-Language Models for Autonomous Driving

Zelfrijdende auto's vertrouwen al lang op rigide, regelgebaseerde systemen die een strikt script volgen, of op leergebaseerde kaders die ruwe sensordata direct vertalen naar stuurcommando's. Hoewel deze benaderingen aanzienlijke vooruitgang hebben geboekt, worstelen ze vaak met het onverwachte: zeldzame, complexe situaties die buiten hun trainingsdata vallen, zoals een bouwvakker die met een hand gebaart of een plotseling, ambigu verkeerspatroon. Om dit gat te overbruggen, hebben onderzoekers zich tot vision-language modellen gewend. Dit zijn krachtige kunstmatige intelligentiesystemen die getraind zijn om zowel afbeeldingen als menselijke taal te begrijpen, in staat om een scène te interpreteren zoals een menselijke bestuurder dat zou doen—het beschrijven van wat ze zien, het interpreteren van intentie en het nemen van beslissingen op basis van context. De heersende hoop is geweest dat naarmate deze modellen geavanceerder en in staat tot algemeen redeneren worden, ze vanzelf betere bestuurders zullen worden, om uiteindelijk gespecialiseerde systemen die uitsluitend voor de weg zijn ontworpen, te overtreffen.

Een team van onderzoekers aan de Universiteit van Michigan nam het initiatief om deze aanname te testen met een grondige, langdurige blik op hoe deze modellen daadwerkelijk presteren. Ze introduceerden een nieuw evaluatiekader genaamd LightEMMA, ontworpen om de rijvaardigheid van deze modellen te meten zonder ze speciale training te geven of hun interne instellingen aan te passen. In plaats van de modellen te leren hoe ze moeten rijden, vroegen de onderzoekers hen simpelweg om naar een straatscène te kijken en te voorspellen waar de auto als volgende heen moet gaan. Ze testten vijftien verschillende modellen uit vijf grote families, verspreid over drie jaar van snelle ontwikkeling, met behulp van een uitdagende dataset van realistische stedelijke rijscènes. Het doel was om te zien of de nieuwste, krachtigste modellen werkelijk betere bestuurders waren dan hun voorgangers, of dat de sprong in algemene intelligentie er niet in geslaagd was te vertalen naar veiliger en nauwkeuriger rijgedrag.

De resultaten van deze longitudinale studie onthullen een verrassende disconnect. Ondanks dat de modellen groter, sneller in algemeen redeneren en beter in staat werden om complexe taal te begrijpen, werden ze niet consistent beter in het voorspellen van voertuigtrajecten. Sterker nog, sommige nieuwere generaties presteerden slechter dan oudere versies van dezelfde familie. Wanneer de onderzoekers de nauwkeurigheid van de voorspelde paden afzetten tegen de werkelijke paden die door echte auto's werden afgelegd, ontdekten ze dat nieuwere modellen vaak grotere fouten maakten. Zo behaalde een van de best presterende modellen uit de GPT-familie een gemiddelde fout van net iets meer dan één meter over een voorspellingsvenster van drie seconden, terwijl andere nieuwere modellen uit dezelfde familie of andere families hogere foutmarges vertoonden, soms meer dan twee meter. Dit suggereert dat het simpelweg "slimmer" maken van een model in algemene zin niet automatisch een betere bestuurder maakt.

De studie bracht ook specifieke manieren aan het licht waarop deze modellen falen wanneer ze worden geconfronteerd met echte rijsituaties. Een veelvoorkomende fout betrof een overmatige afhankelijkheid van de recente geschiedenis van de auto. Als een voertuig net rechtsaf is geslagen bij een kruispunt, voorspelden de modellen vaak een rechtsom buigende beweging, zelfs toen de auto weer gestrekt reed en de weg voor zich vrij was. Ze hadden moeite om hun mentale model bij te werken op basis van het huidige beeld en projecteerden in plaats daarvan de vorige actie naar voren. In andere gevallen slaagden de modellen er niet in om conflicterende visuele signalen met elkaar te verzoenen. Wanneer een verkeerslicht op groen sprong maar er een voertuig direct voor stond, voorspelden sommige modellen correct dat de auto moest wachten, terwijl anderen het obstakel negeerden en voorspelden dat de auto de kruising zou doordenderen. Op vergelijkbare wijze, bij het naderen van een rood licht, voorspelden sommige modellen een plotselinge, harde stop in plaats van een geleidelijke vertraging, terwijl anderen helemaal niet afremden.

Naast nauwkeurigheid onderzochten de onderzoekers de praktische kosten van het gebruik van deze modellen voor het rijden. Ze ontdekten dat de inferentietijd—de tijd die het model nodig heeft om een afbeelding te verwerken en een voorspelling te genereren—enorm varieerde. Het snelste model deed er ongeveer 4,5 seconde over om één frame te verwerken, terwijl het langzaamste meer dan 40 seconden nodig had. Voor een auto die met snelheden op de snelweg rijdt, is wachten op zelfs maar enkele seconden om een beslissing te nemen veel te lang; real-time rijden vereist beslissingen in milliseconden. Bovendien was de kostprijs voor het gebruik van commerciële modellen voor deze taak aanzienlijk; sommige kostten enkele centen per frame, wat een verbijsterende uitgave zou betekenen voor continu gebruik. De studie merkte ook op dat zelfs de beste modellen incidenteel niet de instructies opvolgden, waarbij ze outputs produceerden die moeilijk te lezen of te parsen waren, hoewel de onderzoekers een methode hadden ontwikkeld om de meeste van deze formateringsfouten te corrigeren.

Uiteindelijk suggereert het werk dat de weg naar veilig, autonoom rijden met vision-language modellen meer vereist dan alleen wachten op de volgende generatie algemene AI. De modellen zijn in staat om een scène te beschrijven en taal te begrijpen, maar ze missen de specifieke, domein-getrainde intuïtie die nodig is om de fysieke wereld veilig en betrouwbaar te navigeren. De onderzoekers concluderen dat om deze systemen levensvatbaar te maken, ze een gespecialiseerde adaptatie nodig hebben om de specifieke regels en dynamiek van het rijden te leren, in plaats van enkel te vertrouwen op hun brede, algemene redeneervermogen. Het LightEMMA-framework dient nu als een instrument voor de gemeenschap om deze modellen te blijven testen en te verfijnen, om ervoor te zorgen dat toekomstige vooruitgang in kunstmatige intelligentie zich vertaalt in tastbare verbeteringen op de weg.