A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing

In de hooggestoken wereld van autonoom racen wordt de marge tussen overwinning en ramp vaak gemeten in millimeters en milliseconden. Om een zelfrijdende auto te laten concurreren, moet deze meer doen dan simpelweg een pad volgen; het moet een voertuig naar de uiterste grenzen van zijn fysieke mogelijkheden duwen, balancerend op de flinterdunne lijn waar de grip maximaal is zonder uit te glijden in een crash. Dit is een domein waar traditionele programmering moeite mee heeft, omdat de variabelen te snel veranderen voor een menselijke ingenieur om regels te schrijven voor elk mogelijk scenario. In plaats daarvan wenden onderzoekers zich tot een methode genaamd imitation learning (imitatie-leren), waarbij een computerprogramma leert door te kijken naar een expert-coureur. Het idee is simpel: als de machine de acties van de expert nauwkeurig genoeg kan kopiëren, zou de machine net zo goed moeten kunnen rijden. Er bestaat echter een kritiek gebrek in deze aanpak. Als de expert een fout maakt, of als de machine een situatie verkeerd interpreteert en zelfs maar een klein beetje in de verkeerde richting afwijkt, kunnen de gevolgen catastrofaal zijn. De machine kan leren om hard te rijden, maar zonder een ingebouwd begrip van veiligheid kan hij gemakkelijk van de baan afrijden.

Dit is de uitdaging die de onderzoekers Shengfan Cao, Eunhyek Joa en Francesco Borrelli wilden oplossen. Zij erkenden dat het simpelweg kopiëren van een expert niet genoeg is wanneer de taak het bestrijken van de grenzen van de beheersbaarheid van een machine inhoudt. In hun werk ontwikkelden zij een nieuwe manier om autonome voertuigen te onderwijzen die de wens om een expert na te bootsen combineert met een strikt, intern gevoel voor veiligheid. In plaats van de computer alleen te vertellen om de stuurbewegingen van de expert te kopiëren, creëerden zij een systeem dat ook vraagt: "Is deze actie veilig?" voordat de auto de actie uitvoert. Door deze veiligheidscontrole direct in het leerproces in te bedden, trainden zij een beleid (policy) dat niet alleen leert om hard te rijden, maar ook leert om de specifieke soorten fouten te vermijden die leiden tot crashes. Hun aanpak werd getest in een geavanceerde computersimulatie van een racewagen, waarbij het voertuig vijftig opeenvolgende ronden moest voltooien zonder de muren te raken. De resultaten toonden aan dat terwijl standaardmethoden vaak faalden of een excessieve hoeveelheid trainingstijd vereisten om betrouwbaar te worden, deze nieuwe veiligheidsbewuste methode veel sneller leerde om consistent en veilig te rijden, wat bewees dat een machine kan leren om aan de limiet te racen zonder zijn verstand te verliezen.

De kern van het probleem ligt in de manier waarop deze leersystemen gewoonlijk werken. In een standaardopstelling kijkt de computer naar een video van een expert-coureur en probeert te voorspellen wat de coureur zou doen in een gegeven situatie. Als de coureur het stuur naar links draait, leert de computer naar links te draaien. Dit werkt goed wanneer de auto zich in een situatie bevindt die de computer eerder heeft gezien. Maar racen zit vol met nieuwe, onverwachte momenten. Als de auto een situatie tegenkomt die iets anders is dan de trainingsdata, kan de computer een kleine fout maken. In een normaal rijsituatie kan een kleine fout betekenen dat de auto een beetje afwijkt. In een race kan diezelfde kleine fout de auto tegen een muur duwen of ervoor zorgen dat de auto uit de bocht vliegt. De onderzoekers ontdekten dat het simpelweg nauwkeuriger proberen te kopiëren van de expert niet de oplossing was. Zelfs met perfect kopiëren ontbrak het het systeem aan een manier om de grenzen van veiligheid te begrijpen. Het wist niet dat bepaalde acties, zelfs als ze leken op wat de expert deed, gevaarlijk waren omdat ze de fysieke limieten van de auto overschreden.

Om dit op te lossen, introduceerden de auteurs een "veiligheidsfilter" dat fungeert als een tweede leraar naast de expert-coureur. Stel je een student voor die leert rijden met een meesterinstructeur die weet hoe je moet racen, maar ook met een veiligheidsfunctionaris die de verkeersregels en de limieten van het voertuig kent. De student probeert de instructeur na te bootsen, maar de veiligheidsfunctionaris grijpt in als de student iets dreigt te doen dat een crash zou veroorzaken. In dit nieuwe systeem leert de computer van beide bronnen tegelijkertijd. Het probeert de prestaties van de expert na te bootsen, maar het leert ook te herkennen welke toestanden (states) veilig zijn en welke niet. De onderzoekers ontwikkelden een slimme manier om de computer te leren wat "veilig" betekent zonder een perfect wiskundig model van de fysica van de auto nodig te hebben. Ze gebruikten een techniek waarbij de computer vele rijpogingen bekijkt, waarvan sommige succesvol zijn en andere mislukken. Door de succesvolle pogingen te analyseren, bouwt het systeem een kaart van de "veilige zone" — de verzameling van alle posities en snelheden waarbij de auto de race nog steeds kan voltooien zonder te crashen. Het leert vervolgens om elke actie te vermijden die de auto uit deze veilige zone zou duwen.

De experimenten werden uitgevoerd in een gesimuleerde omgeving die de fysica van een echte racewagen nabootste, compleet met een camerabeeld en snelheids sensoren, precies zoals een echt voertuig die zou hebben. Het doel was dat de auto vijftig ronden achter elkaar kon voltooien zonder de randen van het circuit te raken. De onderzoekers vergeleken hun nieuwe veiligheidsbewuste methode met een standaard imitation learning-aanpak die geen veiligheidsfilter had. De resultaten waren opmerkelijk. De standaardmethode had moeite om zelfs tien ronden te voltooien zonder te crashen, vaak falend omdat het kleine, onveilige afwijkingen maakte die de trainingsdata niet expliciet bestraften. In contrast hiermee leerde de nieuwe methode om veilig en consistent te rijden. In één test voltooide de veiligheidsbewuste auto de volledige vijftig ronden in minder dan tachtig trainingssessies, terwijl de standaardmethode niet voorbij tien ronden kwam. Het nieuwe systeem leerde een veilige afstand tot de muren te bewaren terwijl het nog steeds snelle rondetijden behaalde, wat aantoonde dat het niet alleen leerde om de expert te kopiëren, maar ook de beperkingen van de omgeving te begrijpen.

Wat deze aanpak bijzonder krachtig maakt, is dat het werkt zelfs wanneer de auto niet alles perfect kan zien. In de echte wereld heeft een auto misschien alleen een camera en enkele snelheidsensoren, in plaats van een perfect, alwetend beeld van zijn positie. De onderzoekers testten hun methode met deze beperking, waarbij ze de computer alleen de camerabeelden en snelheidsgegevens voerden, precies zoals een echte auto die zou ervaren. Zelfs met deze gedeeltelijke informatie presteerde het veiligheidsbewuste systeem beter dan de standaardmethode, waarbij het een veilig rijbeleid veel sneller herstelde. De standaardmethode, die het gebrek aan veiligheidsbegeleiding had, bleef instabiel en vatbaar voor fouten. Dit suggereert dat het veiligheidsfilter de computer helpt om beter te generaliseren, waardoor het de onzekerheid en ruis van echte sensoren effectiever kan afhandelen. De onderzoekers merkten op dat het systeem niet alleen leerde om crashes te vermijden; het leerde consistent te zijn. De rondetijden werden voorspelbaarder en het gedrag van de auto werd betrouwbaarder, wat essentieel is voor elk autonoom systeem dat in de echte wereld moet opereren.

De studie benadrukte ook een cruciaal inzicht over hoe we machines leren complexe taken uit te voeren. Het is niet genoeg om hen simpelweg het juiste antwoord te tonen; we moeten hen ook leren hoe het foute antwoord eruitziet, vooral wanneer het foute antwoord tot een ramp leidt. Door een veiligheidsstraf (safety penalty) in het leerproces op te nemen, creëerden de onderzoekers een systeem dat prioriteit geeft aan het binnen de veilige zone blijven boven het perfect nabootsen van elke beweging van de expert. Dit betekent niet dat de auto langzaam of voorzichtig rijdt; het betekent dat het leert om de grenzen van prestaties op te zoeken zonder de lijn naar gevaar te overschrijden. De onderzoekers ontdekten dat deze aanpak efficiënter was dan het streven naar perfecte imitatie, omdat het de auto in staat stelde om in aanzienlijk minder trainingsstappen een veilig en hoogwaardig beleid te leren.

Vooruitblikkend erkennen de onderzoekers dat hoewel hun resultaten veelbelovend zijn, ze gebaseerd zijn op simulaties. De echte wereld is complexer, met onvoorspelbaar weer, variërende wegomstandigheden en mechanische imperfecties die een computersimulatie niet volledig kan vangen. Ze zijn van plan hun methode op fysieke voertuigen te testen en het veiligheidsfilter te verfijnen om de onzekerheden van de echte wereld aan te pakken. Ze zijn ook van plan te onderzoeken hoe deze veiligheidsbewuste aanpak kan worden toegepast op andere soorten leertaken buiten het racen. Het uiteindelijke doel is om autonome systemen te creëren die niet alleen slim genoeg zijn om moeilijke taken uit te voeren, maar ook wijs genoeg zijn om hun eigen grenzen te kennen. In de hogesnelheidswereld van autonoom racen, waar het verschil tussen een recordbrekende ronde en een wrak vaak een kwestie van inches is, is deze combinatie van imitatie en veiligheid niet alleen een technische verbetering; het is een noodzakelijke stap om autonome voertuigen werkelijk betrouwbaar te maken.