Track-Guided Hierarchical Reinforcement Learning for Autonomous Vehicle Drifting with Minimum-Lap-Time Planning

Technische Samenvatting: Track-gestuurd Hiërarchisch Reinforcement Learning voor Autonoom Driften van Voertuigen met Minimum-Lap-Time Planning

Probleemstelling
Autonoom driften van voertuigen vormt een complexe controle-uitdaging met twee doelstellingen: het stabiliseren van hoog-nietlineaire drift-dynamica terwijl de rondetijd strikt wordt geminimaliseerd. In tegenstelling tot Formule 1, waarbij coureurs de ideale lijn binnen de grenzen van de bandengrip optimaliseren, vereist rallyracen op losse of gladde oppervlakken vaak het opzettelijk verbreken van tractie om te kunnen driften. Deze manoeuvre stemt het voertuig af voor de uitgang van bochten, wat de rondetijd verkort, maar introduceert ook aanzienlijke controleproblemen door sterke nietlineariteiten in de banden- en chassisdynamica. Bestaande Reinforcement Learning (RL) benaderingen kampen met twee primaire hindernissen: (1) een zware afhankelijkheid van kostbare, voertuigspecifieke expert-demonstratiedatasets voor actie-niveau supervisie, en (2) een gebrek aan gestructureerde mechanismen om agenten tijdens de vroege trainingsfase naar fysiek zinvolle driftstrategieën te leiden, wat vaak leidt tot suboptimale of onveilige policies.

Methodologie
Het artikel stelt een Minimum-Lap-Time (MLT) Drift Planning en Track-gestuurd Reinforcement Learning (TgRL) framework voor. Deze aanpak integreert een model-gebaseerde trajectplanner met een deep RL-controller om het tekort aan expert-data en de moeilijkheid van het direct leren van extreme dynamica aan te pakken.

1. Minimum-Lap-Time (MLT) Drift Planning:

   • Een Optimal Control Problem (OCP) wordt geformuleerd met behulp van een high-fidelity, nietlineair 3-DoF voertuigmodel en het Magic Formula bandenmodel om gecombineerde slipcondities te simuleren.
   • Het doel is om de rondetijd te minimaliseren door dynamisch haalbare, agressieve referentietrajecten te genereren die voertuigpositie, attitude, snelheid, sliphoek en yaw rate bevatten.
   • Constraints omvatten weggrenzen, staatslimieten (bijv. sliphoek $\beta \in [-\pi/6, \pi/6]$) en controle-inputlimieten.
   • De resulterende trajecten dienen als hoogwaardige prior-data (referentiepaden) voor de RL-controller, waardoor de noodzaak voor menselijke expert-demonstraties wordt geëlimineerd.

2. Track-Guided Reinforcement Learning (TgRL):

   • Algoritme: De auteurs maken gebruik van het Soft Actor-Critic (SAC) algoritme, een off-policy, entropy-regularized actor-critic methode die geschikt is voor continue controle.
   • Curriculum Learning: Om de moeilijkheid van het direct leren van extreme dynamica met grote sliphoeken te overwinnen, wordt een progressieve, driefasige trainingsstrategie geïmplementeerd:
     • Fase 1 (Basic Policy): Training op een vereenvoudigd recht circuit om fundamentele driftcontrole te leren (het induceren van bandenslip en het beheren van grote sliphoeken).
     • Fase 2 (Corner Policy): Training op haarspeldbochten om drift-bochten te leren, met de focus op het initiëren van de drift, het behouden van sliphoeken en het uitvoeren van vloeiende exits.
     • Fase 3 (Race Policy): Training op een volledig gesloten racecircuit (Lkarting) om vaardigheden te integreren voor het minimaliseren van de rondetijd terwijl de stabiliteit behouden blijft.
   • State Space: Bevat laterale/heading/slipfouten, snelheidfouten en toekomstige referentietrajectpunten.
   • Action Space: Continue stuurhoek en throttle-input, gesmoothd via een Adaptive Action Smoothing (AAS) strategie om roll-overs bij hoge snelheden te voorkomen.
   • Reward Function: Een multi-objective reward combineert:
     • Instant Rewards: Bestraffen fouten in laterale afwijking, heading, slip en snelheid. Een snelheid-gewogen term stimuleert snelle bochtendynamica.
     • End Rewards: Discrete beloningen uitgegeven bij het beëindigen van de episode. Positieve beloningen worden geschaald op basis van hoe dicht de rondetijd bij het MLT-optimum ligt; negatieve beloningen worden toegepast voor botsingen of roll-overs, omgekeerd evenredig aan de overlevingstijd.

Belangrijkste Bijdragen

1. Nieuw Framework: Het artikel introduceert een hiërarchisch planning-control framework (MLT-TgRL) dat optimal control-gebaseerde trajectgeneratie naadloos integreert met deep RL, waardoor autonome agenten extreme driftmanoeuvres kunnen uitvoeren zonder expert-data.
2. MLT Drift Planning: Een specifieke OCP-formulering is ontwikkeld om agressieve, dynamisch haalbare drift-trajecten te genereren die dienen als priors voor de RL-agent, wat effectief de noodzaak voor hoogwaardige menselijke demonstraties vervangt.
3. Progressieve Trainingsmethodologie: Een innovatieve curriculum learning aanpak wordt geïntroduceerd waarbij de agent stap voor stap wordt getraind (van basis driftcontrole naar bochten, en vervolgens naar volledig racen). Dit wordt gestuurd door track-informatie en versterkt door een gespecialiseerde reward functie die zowel instant tracking termen als MLT-afgeleide end rewards combineert.

Resultaten
Het framework werd gevalideerd met behulp van de CARLA simulator over drie tracks: Lkarting, Willow Springs en Nelson Ledges.

• Prestaties vs. Baselines: De voorgestelde MLT+TgRL controller behaalde consistent superieure rondetijden vergeleken met een standaard SAC baseline en een eerdere RL-gebaseerde drift controller (Cai et al.). Op Lkarting behaalde het MLT+TgRL framework een gemiddelde rondetijd van 45,4 s, waarmee het de Cai_DRIFT baseline (51,2 s) met ongeveer 11% versloeg.
• Vergelijking met Planning: Hoewel de MLT-planner de theoretische ondergrens bereikte (minimale rondetijd van 33,1 s op Lkarting), behaalde de TgRL-controller concurrente resultaten met een minimale rondetijd van 37,2 s en een gemiddelde van 45,4 s, wat de capaciteit aantoont om optimale trajecten te benaderen in een real-time control setting.
• Stabiliteit en Dynamica: De agent slaagde erin om grote sliphoeken te handhaven (gemiddeld 15,9° op Lkarting, vergeleken met 10,4° voor een menselijke bestuurder en 16,3° voor de baseline), wat bevestigt dat de agent in staat is om drift-toestanden te handhaven. De controller behield ook lage yaw angle tracking errors en minimale fluctuaties in de laterale offset.
• Ablatie Studies: Het verwijderen van de MLT-sturing (gebruikmakend van centerline referenties in plaats daarvan) of het progressieve curriculum leidde tot een significante verslechtering van de prestaties, wat de noodzaak van zowel de model-gebaseerde priors als de gefaseerde trainingsaanpak bevestigt. De inclusie van End Rewards en Adaptive Action Smoothing verbeterde de consistentie van de rondetijd en de drift-nauwkeurigheid verder.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het overbruggen van de kloof tussen theoretisch optimale planning en praktische drift-executie. Door gebruik te maken van model-gebaseerde planners om dynamisch haalbare referenties te bieden en RL-controllers om te adapteren aan ongemodelleerde dynamica en actuatievertragingen, bereikt de methode agressieve driftmanoeuvres met verbeterde stabiliteit en herhaalbaarheid. Het werk legt een fundament voor het gebruik van reinforcement learning in real-world autonome racesystemen door aan te tonen dat gestructureerde, curriculum-gebaseerde training geleid door optimale trajecten de uitdagingen van data-schaarsheid en exploratie die inherent zijn aan het leren van extreme voertuigdynamica, kan overwinnen. De auteurs merken op dat hoewel de huidige aanpak effectief is, toekomstig werk zich zal richten op het generaliseren van de controller over verschillende voertuigmodellen, wegomstandigheden en het implementeren van hardware-in-the-loop (HIL) experimenten.