Technische Samenvatting: Self-Paced Curriculum Reinforcement Learning voor Autonome Superbike-racerij in Simulatie

Probleemstelling

Autonome racerij heeft significante mijlpalen bereikt met behulp van deep Reinforcement Learning (RL), met name voor voertuigen met vier wielen in high-fidelity simulators zoals Gran Turismo. Echter, het raceren met motorfietsen blijft grotendeels onverkend in de RL-literatuur vanwege fundamenteel andere fysieke en dynamische uitdagingen. In tegenstelling tot auto's vereisen racerende motorfietsen dat de agent actief de hellingshoek (lean angle) beheert om centrifugale krachten tijdens het bochten om te gaan. Het niet kunnen controleren van deze hoek resulteert in een verlies van balans en een val—een faalmodus die afwezig is bij voertuigen met vier wielen. Daarnaast bezitten racerende motoren een hogere vermogen-gewichtsverhouding, wat leidt tot agressievere rem- en acceleratiedynamiek. De kernuitdaging is het trainen van een agent die tegelijkertijd sturen, throttle/remcontrole en de complexe balans vereist voor stabiliteit op twee wielen kan beheren bij de fysieke grenzen van het voertuig.

Methodologie

De auteurs stellen een framework voor dat is geïmplementeerd in VRider SBK, een physics-accurate Unity-gebaseerde simulator met real-world Superbike World Championship-tracks en motorfietsmodellen. Het systeem integreert Soft Actor-Critic (SAC) met Self-Paced Deep Reinforcement Learning (SPDL).

1. State en Action Space

• State Space: De observatievector combineert proprioceptieve en globale kenmerken, genormaliseerd naar $[-1, 1]$.
  • Proprioceptief: Lineaire/angulaire snelheid, huidige/vorige stuur- en hellingshoeken, hellingshoek-historie ($\theta$), band-slipratio's en vorige controleacties. De inclusie van hellingshoek-historie is cruciaal voor het anticiperen op en onderdrukken van oscillerend gedrag.
  • Globaal: 60 gelijkmatig verdeelde 3D-courspunten gesampled langs de huidige trajectorie (middellijn en track limits) via Catmull-Rom spline interpolatie, wat zorgt voor een snelheid-adaptieve look-ahead.
• Action Space: Twee continue acties in $[-1, 1]$:
  1. Sturen (wat ook de hellingshoek van de motor aanstuurt).
  2. Een gecombineerd throttle/rem-signaal (onderling exclusief).

2. Reward Design

De beloningsfunctie is dicht en bestaat uit meerdere componenten, ontworpen om de tijd per ronde te minimaliseren terwijl instabiliteit wordt bestraft. Deze bevat:

• Progressie: Verplaatsing langs de trajectorie, negatief indien de motor achteruit rijdt of van de baan raakt.
• Straffen: Tijd buiten de baan, contact met de muur (gebaseerd op kinetische energie), en specifieke stabiliteitsstraffen voor grote veranderingen in sturen, helling en hoeksnelheid tussen stappen.
• Historie-straffen: Sigmoïde-gebaseerde straffen op geaccumuleerde hoek-delta's om oscillerend gedrag in sturen en helling te ontmoedigen.
• Faalcondities: Episodes worden gereset als de motor valt, een muur raakt of straf-timers overschrijdt.

3. Self-Paced Curriculum (SPDL)

In plaats van handmatig curriculumontwerp gebruikt het systeem SPDL om dynamisch taken te genereren op basis van de prestaties van de agent. De moeilijkheid wordt gedefinieerd door de trajectorie die de agent moet volgen:

• Context Variabelen:
  • $c_1$: Afstand van de mediane (middellijn) trajectorie.
  • $c_2$: Afstand van de ideale racelijn.
  • $c_3$: Maximale snelheidslimiet.
• Mechanisme: Het algoritme onderhoudt een contextdistributie $p(c|\nu)$ en optimaliseert een trade-off tussen beloningsmaximalisatie en convergentie naar een doelverdeling (de ideale lijn bij volledige snelheid). Een KL-divergentie restrictie voorkomt abrupte sprongen in moeilijkheidsgraad. Wanneer de agent een prestatiedrempel $\delta$ overschrijdt, verschuift het curriculum automatisch van de gemakkelijke mediane trajectorie naar de ideale racelijn.

Belangrijkste Bijdragen

1. RL Architectuur voor Voertuigen met Twee Wielen: Een op maat gemaakte state space inclusief hellingshoek-historie en een beloningssignaal dat specifiek is ontworpen om motorfiets-specifieke instabiliteiten (vallen, oscillatie) aan te pakken.
2. Geautomatiseerde Curriculum Integratie: De eerste integratie van SPDL met Unity ML-Agents voor motorfiets-racerij, wat dynamische, automatische taakgeneratie mogelijk maakt zonder handmatige interventie.
3. Baseline Vaststelling: Voorlopige experimentele resultaten die de eerste RL-baseline voor autonoom motorfiets-raceren vaststellen, waarbij een superieure trainings-efficiëntie en stabiliteit wordt aangetoond vergeleken met standaard SAC.

Experimentele Resultaten

Experimenten werden uitgevoerd op het Barcelona circuit (primair) en gegeneraliseerd naar Cremona en Phillip Island, met gebruik van de Ducati Panigale V4 R en vier andere motorfietsmodellen.

• Trainings-efficiëntie: Bij iteratie 1150 slaagde een standaard SAC-agent er niet in om een enkele ronde te voltooien, omdat deze herhaaldelijk de controle verloor. De SPDL-agent voltooide alle ronden met nul vallen en een gemiddelde tijd van 1:32.85. Bij iteratie 1900 bereikte SPDL een rondetijd van 1:30.75, waarmee de getrainde SAC-baseline (1:31.32) met 0,57 seconden werd verslagen.
• Stabiliteit: SPDL-agents vertoonden aanzienlijk minder vallen en excursies buiten de baan vergeleken met SAC.
• Track Generalisatie: Agents getraind met SPDL voltooiden succesvol ronden op Cremona en Phillip Island met nul vallen en nul botsingen, wat robuustheid aantoont over verschillende track-geometrieën.
• Bike Generalisatie: Een beleid getraind op de Ducati Panigale V4 R werd overgedragen naar andere modellen (Kawasaki, Honda, Yamaha, BMW) zonder hertraining.
  • De Kawasaki Ninja ZX-10RR vertoonde de beste transfer, waarbij deze slechts 0,87s achter de Ducati bleef op Barcelona.
  • Honda en Yamaha modellen presteerden zelfs beter dan de Ducati op Phillip Island vanwege een betere afhandeling van specifieke bochten.
  • De BMW M1000 RR had moeite op Phillip Island en slaagde er niet in de ronde te voltooien, wat de moeilijkheid van het overdragen naar agressievere, lastiger te besturen motoren benadrukt.

Betekenis en Beperkingen

Het paper beweert de eerste RL-baseline voor autonoom motorfiets-raceren te hebben vastgesteld, en bewijst dat het combineren van SAC met self-paced curriculum learning effectief is voor het beheren van de unieke dynamica van voertuigen met twee wielen. Het framework generaliseert succesvol over meerdere tracks en motorfietsmodellen, wat suggereert dat het geleerde beleid generaliseerbare controle-priors vastlegt in plaats van enkel motorfiets-specifieke dynamica.

De auteurs merken echter bescheiden de huidige beperkingen op:

• Traject Precisie: De agent heeft de neiging om snelheid boven precisie te prioriteren, waardoor hij soms bochten overschiet (zoals te zien in kwalitatieve resultaten).
• Single-Track Training: Momenteel wordt er per track een aparte agent getraind; toekomstig werk richt zich op multi-track generalisatie.
• Sensing: Het systeem vertrouwt momenteel op vector-gebaseerde inputs; toekomstige iteraties zouden visuele inputs en asymmetrische actor-critic architecturen kunnen incorporeren om de sample-efficiëntie en realisme te verbeteren.

Dit werk dient als een fundamentele stap richting competitief autonoom superbike-raceren, met toekomstige richtingen die het testen in competitieve racing settings in plaats van enkel time-trial modi behelzen.