Foundation Models and Agentic AI for Autonomous Driving: A Systematic Review
Deze systematische review synthetiseert meer dan 100 werken om een verenigde taxonomie van negen thema's te presenteren die foundationmodellen, agentic AI en coöperatieve V2X-systemen integreert, waarbij deze zich onderscheidt van eerdere surveys door gezamenlijk de afweging tussen redeneren en efficiëntie, de simulatie-naar-realiteit-kloof en veiligheidsbestuur te adresseren binnen een uitgebreid cognitief architectuurperspectief voor autonoom rijden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De weg naar een werkelijk zelfrijdende auto is lang geplaveid met een specifiek soort engineering: een rigide assemblageband waarbij het ene computeronderdeel de wereld ziet, een ander deel beslist wat te doen, en een derde deel het stuur draait. Jarenlang werkte deze modulaire aanpak goed genoeg om auto's in beweging te houden, maar het worstelde wanneer het geconfronteerd werd met de rommelige, onvoorspelbare aard van het echte leven. Een menselijke bestuurder ziet niet alleen een rood licht; zij begrijpen de context van een bouwzone, de intentie van een voetganger die de weg oversteekt, en de urgentie van een naderende ambulance, terwijl ze tegelijkertijd hun acties aan een passagier uitleggen. Om de kloof tussen rigide code en menselijke intuïtie te overbruggen, zijn onderzoekers begonnen zich te wenden tot een nieuwe klasse kunstmatige intelligentie die bekend staat als foundation models. Dit zijn enorme systemen die getraind zijn op enorme hoeveelheden tekst en afbeeldingen, in staat om taal en visie samen te begrijpen. Wanneer ze worden toegepast op rijden, beloven ze voertuigen te transformeren van eenvoudige geautomatiseerde machines naar cognitieve partners die kunnen redeneren over complexe verkeerssituaties, hun keuzes in begrijpelijk Engels kunnen uitleggen en kunnen zich aanpassen aan scenario's die ze nog nooit eerder hebben gezien.
Een uitgebreide review die in september 2026 werd gepubliceerd door een team van onderzoekers van instellingen uit India, Maleisië, de Verenigde Arabische Emiraten en Saoedi-Arabië, brengt dit snel veranderende landschap in kaart. De auteurs, onder leiding van A. Srinivaas en Jeswin K F, hebben niet simpelweg nieuwe gadgets opgesomd; zij voerden een systematische analyse uit van meer dan honderd recente studies om te begrijpen hoe deze krachtige taal- en visiemodellen in het weefsel van autonoom rijden worden geweven. Hun werk onthult dat het veld beweegt van geïsoleerde waarnemingssystemen naar een verenigde "cognitieve architectuur". In deze nieuwe visie reageert de auto niet alleen op sensoren, maar redeneert hij actief over de wereld, gebruikt hij instrumenten om informatie te verzamelen en werkt hij samen met andere voertuigen en de stedelijke infrastructuur om veilig te navigeren.
De review benadrukt een significante evolutie in de manier waarop deze systemen worden gebouwd. Vroege pogingen vertrouwden op afzonderlijke modules voor zien en denken, maar het nieuwste onderzoek richt zich op Vision-Language-Action modellen. Deze systemen combineren het vermogen om een scène te zien, de taal te begrijpen die deze beschrijft, en direct de bewegingen van het voertuig te besturen in één enkel, samenhangend proces. Bijvoorbeeld, in plaats van alleen een voetganger te detecteren, kan een systeem dat gebruikmaakt van deze modellen begrijpen dat er een bord staat met "Schoolzone" en redeneren dat het moet afremmen, zelfs als de voetganger nog niet zichtbaar is. De onderzoekers vonden dat frameworks zoals DriveMLM en TeLL-Drive nu al de bekende capaciteit laten zien om de besluitvorming te verbeteren en de tijd die de auto nodig heeft om na te denken te verminderen. In één specifieke test met behulp van een simulatieomgeving genaamd CARLA, verbeterde een model genaamd DriveMLM de rijscores met 4,7 punten, specifiek op de CARLA Town05 Long rijscore, door zijn visuele begrip beter af te stemmen op zijn planningbeslissingen.
De weg naar een volledig autonome toekomst is echter niet zonder aanzienlijke hindernissen, en de review maakt zorgvuldig onderscheid tussen wat werkt in een computersimulatie en wat werkt op een echte straat. De auteurs wijzen op een hardnekkige "simulatie-naar-realiteit kloof". Hoewel veel van deze geavanceerde modellen indrukwekkend presteren in virtuele werelden zoals CARLA of nuScenes, hebben ze vaak moeite wanneer ze worden overgebracht naar real-world condities. De kloof is substantieel; in sommige gevallen daalt de prestatie van coöperatieve waarnemingssystemen met wel 40 procent wanneer ze van een gesimuleerde omgeving naar de echte wereld worden overgebracht. Dit komt omdat de perfecte, voorspelbare data van een simulatie de chaotische onvoorspelbaarheid van echt verkeer, weer en menselijk gedrag niet volledig kan vangen. Bovendien maken de zeer kenmerkende eigenschappen die deze modellen slim maken — hun vermogen om door complexe ketens van gedachten te redeneren — ze ook traag. De tijd die een groot taalmodel nodig heeft om te "denken", kan te lang zijn voor de beslissingen in een fractie van een seconde die vereist zijn in een noodsituatie, wat een moeilijke afweging creëert tussen intelligentie en snelheid.
Een andere cruciale bevinding van de review is het gebrek aan een verenigd veiligheidskader. Momenteel worden veiligheidscontroles, communicatie tussen voertuigen en de kunstmatige intelligentie zelf vaak als afzonderlijke problemen behandeld. De onderzoekers betogen dat voor deze systemen vertrouwen te wekken, een holistische aanpak nodig is die veiligheidsverificatie direct in het redeneerproces integreert. Ze merken op dat hoewel er vooruitgang is geboekt met het gebruik van digitale tweelingen — zeer gedetailleerde virtuele replica's van steden — om deze systemen te testen, er geen gestandaardiseerde manier is om te meten hoe nauw deze digitale werelden overeenkomen met de realiteit. Zonder deze standaard is het moeilijk te certificeren of een auto werkelijk veilig is voor de openbare weg. De review raakt ook aan het opkomende concept van "agentic AI", waarbij de auto optreedt als een onafhankelijke agent met geheugen en het vermogen om instrumenten te gebruiken. Hoewel dit de belofte inhoudt van voertuigen die kunnen leren van ervaring en met elkaar kunnen samenwerken, waarschuwen de auteurs dat deze systemen nog in de kinderschoenen staan en kampen met uitdagingen op het gebied van interoperabiliteit en betrouwbaarheid.
Het artikel concludeert door een duidelijke routekaart voor de toekomst schetsen, waarbij wordt benadrukt dat de volgende generatie autonoom rijden niet zal worden gedefinieerd door één enkele doorbraak, maar door de integratie van verschillende complexe technologieën. De onderzoekers suggereren dat de toekomst ligt in hybride systemen die de snelheid van traditionele controlesystemen combineren met het redeneervermogen van grote taalmodellen, allemaal ondersteund door robuuste communicatienetwerken die auto's de mogelijkheid geven om met elkaar en met de stedelijke infrastructuur te praten. Ze benadrukken dat voor deze systemen werkelijkheid te worden, de industrie het probleem moet oplossen om deze krachtige modellen snel genoeg te maken voor real-time gebruik, veilig genoeg om te worden gecertificeerd, en transparant genoeg zodat mensen ze kunnen vertrouwen. De reis van een auto die simpelweg een rijstrook volgt naar een auto die de wereld begrijpt en erover redeneert, is in volle gang, maar de laatste mijl vereist het oplossen van enkele van de moeilijkste uitdagingen in kunstmatige intelligentie en engineering.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.