Stel je voor dat je een robot leert autorijden. Je zou niet zomaar de sleutels overhandigen en zeggen: "Ga!" Je zou moeten oefenen. Maar hier komt het lastige deel bij: je kunt niet eeuwig door de buurt blijven rijden. Je moet de robot testen in elke mogelijke situatie—regen, sneeuw, een eekhoorn die de weg op rent, een bouwzone, of een vreemd gevormde vrachtwagen. Dit is de wereld van Autonomous Driving Systems (ADS). Dit zijn de hersens achter zelfrijdende auto's. Om er zeker van te zijn dat ze veilig zijn, moeten ingenieurs duizenden tests uitvoeren. Ze gebruiken simulaties (computerwerelden die lijken op de echte wereld), testtracks (gesloten circuits waar ze veilig kunnen crashen), en echte wegen (waar ze rijden met een mens die klaarstaat om het over te nemen). De grote vraag die iedereen stelt is: "Hoe weten we of de robot echt klaar is om zelfstandig te rijden?" Het is alsof je probeert te bewijzen dat een student klaar is voor een eindexamen zonder precies te weten welke vragen er op het examen zullen komen.

Een team van onderzoekers besloot achter het gordijn te kijken. Ze keken niet alleen naar code of voerden hun eigen simulaties uit; ze gingen rechtstreeks naar de bron. Ze interviewden negen experts van negen verschillende bedrijven uit zes landen die deze zelfrijdende systemen elke dag daadwerkelijk bouwen en testen. Zie hen als de hoofdcoaches en sterrenspelers van de zelfrijdende competitie. De onderzoekers wilden weten: Wat doen deze bedrijven eigenlijk? Welke nachtmerries houden hen wakker? En waar denken zij dat de sport naartoe gaat?

De Reality Check: Wat de experts doen

De onderzoekers ontdekten dat de industrie momenteel een enorme, meerlagige trainingskamp aan het draaien is. Het is niet één grote test; het is een pijplijn.

Eerst beginnen ze met Simulaties. Dit is als een videogame waarin de auto een miljoen mijlen kan rijden in een uur zonder ooit een kras op te lopen. Ze gebruiken dit om miljoenen "wat als"-scenario's te testen. Daarna gaan ze over naar Hardware-in-the-Loop en Vehicle-in-the-Loop testen. Stel je voor dat je de hersens van de auto in een echt auto-chassis plaatst maar de wielen op een loopband houdt, of de hele auto op een gesloten circuit plaatst. Ten slotte bereiken ze de Echte Wegen. Dit is het "final boss level", waar de auto in de echte wereld rijdt, meestal met een veiligheidsbestuurder die op de stoel zit, klaar om het stuur te grijpen als er iets misgaat.

De experts vertelden de onderzoekers dat ze voornamelijk Scenario-gebaseerd testen gebruiken. Dit betekent dat ze niet zomaar willekeurig rondrijden; ze creëren specifieke verhalen of "scenario's" om te testen. Bijvoorbeeld: "Wat gebeurt er als een bal de straat op rolt gevolgd door een kind?" of "Hoe gaat de auto om met een steile helling in de regen?" Ze gebruiken ook Data-gestuurde methoden, waarbij ze echte logs van rijdata nemen en deze keer op keer afspelen om te zien of de auto dezelfde fouten maakt.

De Grote Hindernissen: Waar de rubber de weg raakt

Ondanks al dit testen, gaven de experts toe dat er enkele serieuze glitches in de matrix zijn.

1. De "Fake vs. Real" Kloof (Sim-to-Real Gap):
Dit is de grootste hoofdpijn. Een simulatie is als een erg goede film, maar het is nog steeds een film. De experts zeiden dat het ongelooflijk moeilijk is om te simuleren hoe een camera een nat wegdek ziet of hoe een sensor reageert op een glimmend glazen gebouw. Als de simulatie niet perfect is, kan de auto leren perfect rijden in het spel, maar in de echte wereld crashen. Het is also[f] oefenen voor een voetbalwedstrijd op een perfect kunstgrasveld en dan verschijnen op een wedstrijd op een modderig veld; je spieren reageren misschien niet op dezelfde manier.

2. Het "Ongeziene" Probleem:
De experts maken zich zorgen over Scenario Coverage (scenario-dekking). Er zijn zoveel dingen die op de weg kunnen gebeuren dat het onmogelijk is om ze allemaal te testen. Wat als een zwart varken de snelweg op rent? Of een persoon die een enorme fiets draagt? De experts merkten op dat auto's geweldig zijn in stoppen voor normale auto's en mensen, maar dat ze soms falen wanneer ze iets vreemds of zeldzaams zien. Ze noemden dit het "out-of-distribution" probleem.

3. Het Mysterie: "Is het wel goed genoeg?"
Een van de meest verwarrende onderdelen is weten wanneer je moet stoppen met testen. De experts zeiden dat er geen duidelijk regelboek is voor Acceptatiecriteria. Hoeveel mijlen moet je rijden om te bewijzen dat de auto veilig is? Zijn 100.000 mijl genoeg? Zijn het er 1 miljoen? De onderzoekers ontdekten dat bedrijven geen universeel antwoord hebben. Sommigen vertrouwen op "data verzadiging" (rijden tot ze zich zelfverzekerd voelen), terwijl anderen kijken naar specifieke veiligheidsmetrieken zoals "nul botsingen". Maar er is geen algemeen overeengekomen standaard die zegt: "Oké, je bent geslaagd."

4. De Black Box van AI:
Veel moderne zelfrijdende systemen maken gebruik van Kunstmatige Intelligentie (AI) en End-to-End leren. Dit betekent dat de auto leert door naar de weg te kijken en te beslissen wat hij moet doen, een beetje zoals een mens leert, in plaats van een strikte lijst met regels te volgen. Het probleem is dat het moeilijk is uit te leggen waarom de AI een bepaalde beslissing heeft genomen. Als de auto crasht, weten de ingenieurs misschien niet precies waarom. Dit maakt het moeilijk om een veiligheidsargument op te bouen voor toezichthouders.

De Toekomst: Wat komt eraan?

Dus, waar gaat dit allemaal naartoe? De experts zijn optimistisch maar realistisch.

• AI zal helpen bij het testen van AI: Zij denken dat Generatieve AI gebruikt zal worden om nieuwe, bizarre testscenario's te creëren waar mensen nog niet eens aan hebben gedacht. Stel je een AI voor die een nieuw type verkeersopstopping uitvindt, alleen maar om te zien of de auto het aankan.
• World Models: Ze zijn enthousiast over "World Models", die werken als de interne verbeelding van de auto. In plaats van alleen te reageren op wat hij ziet, probeert de auto te voorspellen wat er hierna gaat gebeuren, zoals een schaker die drie zetten vooruit denkt.
• Meer Transparantie: Op dit moment houdt elk bedrijf zijn testdata geheim. De experts hopen dat bedrijven in de toekomst meer benchmarks en data zullen delen, net zoals videospelontwikkelaars high scores delen, zodat iedereen kan zien wie er echt de beste is.
• Geautomatiseerd Testen: Ze zien een toekomst voor zich waarin de auto's zichzelf testen. De auto rijdt rond, vindt een probleem, rapporteert het en werkt zijn eigen software bij zonder dat een mens op een knop hoeft te drukken.

De Voorgestelde Oplossing: Een Closed-Loop Framework

Op basis van al deze interviews stelden de onderzoekers een nieuwe manier voor om over testen na te denken, die zij een Evidence-Centered Closed-Loop Framework noemen.

Stel je een enorme cyclus voor.

1. Begin met een Claim: Voordat je begint met testen, moet je precies aangeven wat je probeert te bewijzen (bijv. "Deze auto kan veilig parkeren in een krappe ruimte").
2. Bouw een Scenario Library: Verzamel alle mogelijke situaties die je moet testen, van de saaie tot de angstaanjagende.
3. Routeer de Tests: Beslis waar je elke scenario test. Test je de parkeerplek eerst in een videogame? Dan op een testtrack? Dan op een echte straat?
4. Verzamel Bewijs: Voer de tests uit en verzamel de data.
5. De Gatekeeper: Controleer het bewijs aan de hand van strikte regels. Is de auto geslaagd? Zo ja, ga naar de volgende fase. Zo nee, ga terug en los het op.
6. De Loop: Zodra de auto op de weg is, verzamel je echte wereld data. Als de auto iets nieuws ziet of een fout maakt, voed je die data terug naar het begin van de cyclus om nieuwe testscenario's te creëren.

Dit framework is ontworpen als een continue lus, niet als een rechte lijn. Het zorgt ervoor dat naarmate de auto leert en de wereld verandert, het testen met de auto mee evolueert.

De Kernboodschap

Het artikel beweert niet dat zelfrijdende auto's een opgelost probleem zijn. Sterker nog, het benadrukt dat we ons nog steeds in de "leern fase" bevinden. De experts werken hard, gebruiken een mix van simulaties, echt rijden en nieuwe AI-tools, maar ze worstelen nog steeds met het feit dat de echte wereld rommelig en onvoorspelbaar is. De onderzoekers suggereren dat, hoewel we een goed idee hebben van hoe we moeten testen, we nog steeds moeten uitzoeken hoeveel testen genoeg is en hoe we ervoor kunnen zorgen dat onze computertests daadwerkelijk overeenkomen met de werkelijkheid.

De les voor een nieuwsgierige tiener? Zelfrijdende auto's zijn als een student die studeert voor een zeer moeilijk examen. Ze oefenen in de bibliotheek (simulatie), maken oefentoetsen (testtracks) en maken excursies (echte wegen). Maar totdat ze kunnen bewijzen dat ze elke mogelijke verrassing die de wereld op hen afvuurt kunnen aan, en totdat we allemaal het eens worden over wat een "voldoende" is, zullen ze blijven rijden met een veiligheidsbestuurder die over hun schouder meekijkt. De reis is lang, maar de routekaart wordt elke dag duidelijker.