A Champion-level Vision-based Reinforcement Learning Agent for Competitive Racing in Gran Turismo 7

Dit paper introduceert een vision-based reinforcement learning-agent die uitsluitend op camerabeelden en aan boord sensoren vertrouwt om in Gran Turismo 7 kampioensniveau-raceprestaties te behalen, waarmee voor het eerst supermenselijke prestaties worden geleverd zonder externe localisatie.

De kern

Stel je voor dat je een auto bestuurt die alleen maar kan kijken door zijn eigen voorruit en kan voelen wat er met de motor gebeurt. Hij heeft geen GPS, geen kaart van het circuit en weet niet waar de andere auto's zijn, tenzij hij ze zelf ziet. Toch slaagt deze auto erin om in een razendsnel racegame, Gran Turismo 7, niet alleen mee te doen, maar om de beste mensen ter wereld te verslaan.

Dat is precies wat deze wetenschappers hebben gedaan. Hier is het verhaal van hun "champion-level" race-agent, vertaald in begrijpelijke taal:

1. Het Probleem: De "Gods-oog" vs. De "Rijder"

Tot nu toe waren de slimste race-robots in computerspellen een beetje als een speler die een gods-oog heeft. Ze zagen het hele circuit van bovenaf, wisten precies waar elke andere auto was en hadden een perfecte kaart in hun hoofd. In de echte wereld werkt dat niet; daar heb je geen satelliet die je vertelt waar de concurrent zit. Je moet gewoon kijken en voelen.

Deze nieuwe robot is anders. Hij is een echte rijder. Hij heeft alleen een camera (de ogen) en sensoren in de auto (het gevoel voor snelheid en sturen). Hij moet de rest van de wereld "uitrekenen" door te kijken en te onthouden wat hij eerder heeft gezien.

2. De Oplossing: Een Slimme Twee-Persoonsband

Om dit te laten werken, hebben de onderzoekers een slimme truc bedacht met twee hersenen die samenwerken, maar op verschillende manieren:

• De Acteur (De Rijder): Dit is de persoon die daadwerkelijk het stuur vasthoudt. Hij krijgt alleen informatie van de camera en de auto. Hij heeft geen idee waar de concurrenten zijn als hij ze niet ziet. Maar hij heeft een supergeheugen (een recurrente neurale netwerk). Hij onthoudt: "Ach, die rode auto zat net links van me, dus hij moet nu ergens daarachter zitten, zelfs als ik hem nu niet meer zie." Hij leert de baan en de andere auto's te "voelen" door te kijken.
• De Criticus (De Trainer): Dit is de trainer die tijdens het oefenen wel alles ziet. Hij heeft de "gods-oog" met de perfecte kaart en weet precies waar iedereen is. Hij kijkt naar de Acteur en zegt: "Goed gedaan!" of "Nee, dat was dom, je had die bocht te vroeg moeten nemen."

De Analogie: Denk aan het leren van een nieuwe stad.

• De Criticus is de leraar die een grote kaart van de stad heeft en je tijdens de les vertelt welke route de snelste is.
• De Acteur is de leerling die de les moet doen zonder kaart, alleen met zijn ogen en zijn geheugen. Hij moet onthouden: "Ik zag die bakkerij links, dus de afslag moet hier zijn."
• Als de les voorbij is, heeft de leerling (de Acteur) de kaart niet meer nodig. Hij kan de stad alleen al door te kijken en te onthouden vinden.

3. De Training: Van "Nieuweling" tot "Wereldkampioen"

De robot is getraind in Gran Turismo 7. Het doel was niet om alleen tegen de klok te racen (zoals in een tijdrit), maar om in een race met 20 auto's de eerste te worden.

• De Uitdaging: Soms zit je helemaal achterin, en moet je 19 andere auto's inhalen. Soms blokkeren ze je zicht. Soms moet je heel precies sturen tussen auto's door.
• De Resultaten: De robot heeft het gedaan! Hij startte vaak als laatste en eindigde als eerste. Hij versloeg zelfs de beste menselijke spelers ter wereld (de "Kampioenen") en de ingebouwde computer van het spel.
• Hoe deed hij het? Hij leerde niet alleen om snel te zijn, maar ook om slim te zijn. Hij leerde dat je niet tegen de muur moet knallen om een bocht te nemen (dat kost tijd) en dat je de andere auto's moet "lezen" om te weten wanneer je kunt inhalen.

4. Wat ziet de robot eigenlijk?

De onderzoekers keken naar wat de robot "zag" toen hij besloot om in te halen. Het bleek dat hij precies deed wat een menselijke coureur doet:

• Als hij dicht bij een andere auto is, kijkt hij naar de schaduwen en de onderkant van die auto om te zien of er ruimte is om voorbij te gaan.
• Als hij op een rechte stuk rijdt, kijkt hij naar de horizon en de bomen om te weten hoe de bocht eruit ziet die eraan komt.

Hij gebruikt zijn geheugen om te weten waar de auto's zijn die hij net nog zag, maar die nu even uit het zicht zijn. Dit is als een schaker die onthoudt waar de stukken van de tegenstander waren, ook al zijn ze even niet zichtbaar achter een ander stuk.

5. Waarom is dit belangrijk?

Dit is een enorme stap vooruit. Vroeger hadden robots voor autonoom rijden "magische" sensoren nodig die de hele wereld zagen. Dit bewijst dat een robot, die net als wij alleen maar door zijn voorruit kijkt, ook razendsnel en veilig kan racen.

Het betekent dat we in de toekomst echte zelfrijdende auto's kunnen bouwen die net zo slim zijn als een professionele coureur, zonder dat ze afhankelijk zijn van dure, externe systemen. Ze kunnen gewoon "kijken en doen", net als wij.

Kort samengevat: De onderzoekers hebben een robot gemaakt die, net als een mens, alleen door zijn eigen ogen kijkt, maar door slim te onthouden en te leren van een trainer die wel alles ziet, de beste race-auto ter wereld is geworden.

Technische samenvatting

Probleemstelling

Diepe versterkende leer (Deep Reinforcement Learning - RL) heeft al supermenselijke prestaties behaald in hoogwaardige race-simulatoren zoals Gran Turismo 7 (GT7). Echter, bestaande methoden maken vaak gebruik van globale kenmerken (zoals exacte locaties van voertuigen en opponents, en track-geometrie) die alleen beschikbaar zijn via externe instrumentatie in een simulator. Dit beperkt de toepasbaarheid in de echte wereld, waar dergelijke gegevens niet direct beschikbaar zijn en het verzamelen ervan latentie introduceert die kritieke beslissingen in de weg staat.

Het doel van dit onderzoek is om een visiegebaseerde autonome race-agent te ontwikkelen die uitsluitend vertrouwt op ego-centric camera-beelden en onboard sensordata (zoals IMU) tijdens de inferentie. Dit moet worden bereikt zonder verlies van prestaties in competitieve racesituaties, waar gedeeltelijke waarneembaarheid (door occlusies van opponents) en hoge snelheden grote uitdagingen vormen.

Methodologie

De auteurs introduceren een agent die is getraind in GT7 met een asymmetrische actor-critic architectuur binnen het Quantile Regression Soft Actor-Critic (QR-SAC) framework.

1. Observatieruimte (Observation Space):

• Actor (Inferentie): Ontvangt uitsluitend lokale data:
  • Beeld: Een 64x64 RGB-image (downgeschaald van 1920x1080) van het vooruitzicht, zonder HUD-elementen.
  • Proprioceptie: Data van IMU-sensoren (lineaire/rotatie snelheid, versnelling, stuurinput, rem/acceleratie status).
• Critic (Training): Heeft toegang tot globale kenmerken (track-punten en exacte posities/snelheden van opponents) om de acties van de actor nauwkeurig te evalueren tijdens het trainingsproces.

2. Architectuur:

• Actor: Verwerkt de beeldinvoer via convolutielaagjes en koppelt deze aan proprioceptieve data. Een recurrente neurale netwerkmodule (GRU - Gated Recurrent Unit) wordt gebruikt om tijdsafhankelijkheid te modelleren. Dit stelt de agent in staat om track-layouts en de posities van opponents te onthouden, zelfs als deze tijdelijk uit het zicht zijn (gedeeltelijke waarneembaarheid).
• Critic: Een volledig verbonden netwerk dat zowel lokale als globale data gebruikt om de Q-waarde te schatten.

3. Beloningsfunctie (Reward Function):
De beloning is een gewogen som van meerdere componenten, inclusief:

• Voortgang op de baan.
• Straffen voor shortcuts en botsingen met barrières.
• Straffen voor botsingen met andere auto's (gebaseerd op snelheidsverschil en contactduur).
• Beloningen voor het inhalen van andere auto's.
• Straffen voor abrupte stuurbewegingen en inconsistente stuurgeschiedenis.

4. Regularisatie en Training:
Om overfitting en instabiliteit te voorkomen, worden twee technieken toegepast:

• Netwerk Re-initialisatie: Het netwerk wordt na het vullen van de replay-buffer opnieuw geïnitieerd om de agent te dwingen om te leren van een breder scala aan scenario's en niet te overfitten op statische features.
• Beeld Augmentatie: Random shift-augmentatie wordt toegepast om de generalisatie te verbeteren.

Belangrijkste Bijdragen

1. Eerste Visiegebaseerde Kampioens-Agent: Dit is, naar weten van de auteurs, de eerste visiegebaseerde autonome race-agent die kampioensniveau-prestaties (champion-level) bereikt in competitieve races (met meerdere opponents), in tegenstelling tot eerdere werk dat zich beperkte tot tijdritten (time-trials).
2. Asymmetrisch Actor-Critic Framework: Het succesvol toepassen van een architectuur waarbij de actor blind is voor globale data (realistisch voor de echte wereld), maar de critic wel gebruikmaakt van deze data tijdens training om de leercurve te versnellen en te stabiliseren.
3. Omgaan met Gedeeltelijke Waarneembaarheid: Het bewijzen dat een recurrente architectuur (RNN) essentieel is om opponents te tracken die tijdelijk door andere auto's of de bocht worden geblokkeerd.

Resultaten

De agent werd getest in drie verschillende scenario's in GT7: Tokyo Expressway, Spa-Francorchamps en Circuit de la Sarthe (Le Mans). De agent startte telkens op de laatste positie in een grid van 20 auto's (waarvan 19 bestuurd door de ingebouwde AI van GT7, BIAI).

• Prestatie: De visiegebaseerde agent overtrof consistent de ingebouwde AI, menselijke experts en zelfs menselijke wereldkampioenen. In de Tokyo-scenario's behaalde de agent de hoogste winstmarges.
• Vergelijking met GT Sophy: De agent presteerde vergelijkbaar met of beter dan GT Sophy (een eerdere RL-agent die globale data gebruikt), maar deed dit zonder die globale data tijdens het rijden.
• Ablatie Studies:
  • Zonder de asymmetrische architectuur (symmetrisch model) faalde de agent om eerste te worden.
  • Zonder de recurrente module kon de agent geen enkele opponent inhalen, wat aantoont dat het geheugen cruciaal is voor competitief rijden.
  • Regularisatie (augmentatie en re-initialisatie) verhoogde de stabiliteit en verkleinde de variantie in prestaties.
• Visuele Analyse: Gebruik van Integrated Gradients toonde aan dat de agent zich richt op relevante visuele cues (zoals de onderkant van andere auto's voor inhalen, en horizonlijnen voor bochtvoorspelling) en informatie uit eerdere frames integreert om ontbrekende data te compenseren.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de overdracht van RL van simulatie naar realistische toepassingen. Door te bewijzen dat een agent kan racen op kampioenschapsniveau puur op basis van camera-beelden en onboard sensoren, wordt de weg vrijgemaakt voor de toepassing van deze technologie in echte autonome raceauto's, waar globale tracking-systemen vaak niet beschikbaar of te traag zijn.

De studie legt de basis voor toekomstig onderzoek gericht op:

• Generalisatie over verschillende voertuigmodellen en weersomstandigheden.
• Competitieve races tegen menselijke toprijders in real-time.
• Implementatie in fysieke hardware voor real-world racing.

Kortom, dit artikel demonstreert dat versterkende leer, gecombineerd met visuele input en geheugenmechanismen, een haalbare en superieure aanpak is voor complexe, dynamische en competitieve autonome besturingstaken.