Een computer leren rijden is niet zoals een kind leren fietsen. Een kind leert door te proberen, te vallen en weer op te staan, waarbij het geleidelijk het gevoel van de weg begrijpt. Een computer leert echter door enorme hoeveelheden gegevens te verwerken, vaak in een digitale wereld waar het in slechts enkele dagen miljoenen jaren aan rijervaring kan opdoen. Dit proces steunt op een methode genaamd reinforcement learning (versterkend leren), waarbij een kunstmatige intelligentie verschillende acties probeert en feedback ontvangt: een beloning voor het veilig bereiken van een bestemming, of een straf voor een botsing. Om dit leerproces effectief te maken, gebruiken onderzoekers simulators die duizenden van deze rijscenario's tegelijkertijd kunnen draaien, waardoor een enorme bibliotheek aan verkeerssituaties ontstaat die de AI kan bestuderen. Het doel is om een rijdende agent te creëren die de onvoorspelbare chaos van echte straten kan afhandelen, van drukke kruispunten tot plotselinge rijstrookwisselingen, zonder ooit een menselijke instructeur nodig te hebben.

Jarenlang was de standaardmanier om deze agents te trainen een methode genaamd domain randomization (domein-randomisatie). Stel je een leraar voor die een student in elke mogelijke verkeerssituatie gooit, van lege snelwegen tot vastgelopen stadscentra, in de hoop dat de pure omvang uiteindelijk tot meesterschap zal leiden. Hoewel deze aanpak werkt, is het ontzettend verspillend. De computer besteedt een enorme hoeveelheid tijd aan het oefenen van scenario's die ofwel te gemakkelijk zijn om iets nieuws te leren, of zo moeilijk dat de huidige versie van de AI geen enkele vooruitgang kan boeken. Het is alsoals een student die urenlang bezig is met een wiskundig probleem dat hij al beheerst, terwijl hij de problemen die hij net begint te begrijpen negeert. Deze inefficiëntie betekent dat zelfs met krachtige computers het trainingsproces langer duurt en meer data vereist dan nodig is om een hoog niveau van vaardigheid te bereiken.

Een team van onderzoekers heeft nu een nieuwe aanpak geïntroduceerd genaamd CL4AD, die de manier waarop deze digitale rijlessen worden georganiseerd, verandert. In plaats van scenario's willekeurig naar de AI te gooien, fungeert dit systeem als een slimme curriculumontwerper. Het evalueert voortdurend welke verkeerssituaties het meest nuttig zijn voor het huidige niveau van de bekwaamheid van de AI en geeft prioriteit aan die specifieke scenario's. Het systeem kijkt naar hoe goed de AI presteert in een bepaalde situatie en vraagt: Is dit te makkelijk? Is dit te moeilijk? Of is dit precies goed voor het leren? Door de trainingstijd te richten op de "precies goede" scenario's — die uitdagend genoeg zijn om iets nieuws te leren, maar niet zo moeilijk dat de AI opgeeft — ontdekten de onderzoekers dat ze het leerproces drastisch konden versnellen.

De onderzoekers testten dit idee met behulp van een krachtige simulator genaamd GPUDRIVE, die duizenden rienscenario's gelijktijdig kan draaien op gespecialiseerde computerchips. Ze trainden een AI-agent met de oude willekeurige methode en vergeleken deze met de nieuwe curriculummethode. De resultaten waren opmerkelijk. De AI die getraind werd met het curriculum bereikte een succespercentage van 99% bij het navigeren door verkeersscenario's een miljard stappen eerder dan de AI die willekeurig getraind werd. In termen van echte tijd betekende dit dat de training 77% sneller werd voltooid. De curriculummethode bleek ook superieur aan andere pogingen om training te organiseren, zoals het handmatig selecteren van scenario's op basis van eenvoudige regels zoals verkeersdichtheid of voertuigsnelheid. Het nieuwe systeem presteerde consequent beter dan deze handmatige methoden en vond zelfstandig de meest effectieve weg naar meesterschap.

Een van de meest interessante ontdekkingen was hoe het systeem besloot welke scenario's aan de AI te tonen. De onderzoekers ontwierpen het systeem om verschillende "utility functions" (nutfuncties) te gebruiken, wat in essentie manieren zijn om te meten wat een scenario waardevol maakt. Sommige functies keken naar hoe dicht de AI bij het best mogelijke rijgedrag kwam, terwijl andere mat hoe vaak de AI succesvol een doel bereikte zonder te botsen. Een derde type functie mat hoe realistisch het rijgedrag van de AI eruitzag in vergelijking met menselijke bestuurders. De studie vond dat deze verschillende maten vaak naar verschillende soorten verkeerssituaties wezen. Zo neigde het systeem dat zich richtte op het bereiken van doelen naar scenario's met minder auto's, terwijl het systeem dat keek naar het gat tussen de huidige en perfecte prestaties zich richtte op dichter en complexer verkeer. Dit suggereert dat er niet één "beste" manier is om training te organiseren; verschillende doelen vereisen verschillende soorten oefening.

De onderzoekers onderzochten ook of het verbeteren van het rijgedrag van de AI ook betekende dat het meer als een mens zou rijden. Ze ontdekten dat dit eigenlijk twee aparte doelen zijn. Een AI kan getraind worden om zijn bestemming perfect te bereiken en alle botsingen te vermijden, maar nog steeds op een manier rijden die onnatuurlijk of oncomfortabel aanvoelt voor een menselijke passagier. Het curriculum hielp de AI om zijn doelen veel sneller te bereiken, maar het maakte het rijgedrag niet automatisch realistischer. Om zowel een hoge prestatie als menselijk gedrag te bereiken, merkten de onderzoekers op dat het beloningssysteem zelf aangepast zou moeten worden om specifiek realistisch rijgedrag aan te moedigen, en niet alleen succesvolle uitkomsten.

Zelfs toen de onderzoekers de beschikbare computerkracht voor de training beperkten, toonde de curriculummethode nog steeds haar waarde. In een test waarbij ze een kleinere, minder krachtige computer gebruikten, bereikte de met het curriculum getrainde agent nog steeds hoge succespercentages 67% sneller dan de willekeurige methode. Dit suggereert dat de efficiëntiewinsten niet alleen het resultaat zijn van het hebben van enorme computerbronnen, maar een fundamenteel voordeel zijn van het intelligent organiseren van het leerproces. Het systeem werkt door de AI in een staat van constante, productieve uitdaging te houden, waardoor elk moment van training bijdraagt aan verbetering.

De studie onthulde ook hoe het leerproces in de loop van de tijd evolueert. Naarmate de AI beter wordt, verschuift het systeem automatisch de focus naar nieuwe, moeilijkere scenario's. Het blijft niet hangen bij dezelfde problemen, noch springt het te snel naar de moeilijkste scenario's. In plaats daarvan creëert het een bewegende grens van leren, waarbij de moeilijkheidsgraad voortdurend wordt aangepast aan de groeiende vaardigheden van de AI. Dit dynamische proces stelt het systeem in staat om de complexiteit van echt rijgedrag aan te kunnen, wat honderdduizenden verschillende verkeerssituaties omvat. Door zich in realtime aan te passen aan de voortgang van de AI, zorgt het curriculum ervoor dat de training efficiënt en effectief blijft, zelfs naarmate de schaal van de data groeit.

Uiteindelijk demonstreert dit werk dat de manier waarop we trainingsdata organiseren even belangrijk is als de data zelf. Door af te stappen van willekeurige bemonstering en over te gaan op een slim, adaptief curriculum, kunnen onderzoekers autonome rijdende agents veel sneller en met minder middelen trainen. De bevindingen bieden een duidelijk pad voorwaarts voor de ontwikkeling van veiligere en betrouwbaardere zelfrijdende auto's, waarbij wordt aangetoond dat de sleutel tot snel leren niet alleen ligt in meer doen, maar in het juiste doen op het juiste moment. De onderzoekers hebben hun systeem beschikbaar gesteld aan anderen, zodat de bredere wetenschappelijke gemeenschap voort kan bouwen op deze methode en kan blijven verfijnen hoe machines leren navigeren in de wereld.