Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

Probleemstelling

Het "Pure Pursuit" (PP) algoritme is een veelgebruikte padvolgingsmethode voor autonome voertuigen vanwege zijn eenvoud en real-time prestaties. De kern van dit algoritme is het projecteren van een "lookahead point" (een punt vooruit op de referentiebaan) en het berekenen van een stuurcommando om daar naartoe te rijden.

De belangrijkste beperking van Pure Pursuit is echter de gevoeligheid voor de lookahead-afstand ($L_d$):

• Korte afstand: Verbeterde bochtvolging en snellere richtingsschakeling, maar leidt vaak tot instabiliteit en schokkerig sturen op rechte stukken.
• Lange afstand: Zorgt voor soepelere beweging en stabiliteit op rechte stukken, maar veroorzaakt "corner cutting" (afsnijden van bochten) en verminderde nauwkeurigheid in scherpe bochten.

Traditionele aanpassingen zijn vaak handmatig ontworpen heuristieken (bijv. gebaseerd op snelheid of kromming), die moeilijk te tunen zijn voor verschillende tracks en niet goed generaliseren. Het doel van dit onderzoek is een methode te vinden die de lookahead-afstand dynamisch en adaptief aanpast zonder de interpreteerbare structuur van de klassieke controller te verliezen.

Methodologie

De auteurs stellen een hybride besturingsframework voor dat klassiek Pure Pursuit combineert met Versterkingslering (Reinforcement Learning - RL), specifiek Proximal Policy Optimization (PPO).

1. Architectuur:

   • De onderliggende geometrische controller (Pure Pursuit) blijft intact.
   • Een PPO-agent fungeert als een "supervisor" die in real-time de optimale lookahead-afstand ($L_d$) bepaalt op basis van de huidige voertuigtoestand.
   • Het systeem gebruikt een Monte Carlo Localization (MCL) met een deeltjesfilter voor positiebepaling en een Minimum-Curvature optimalisatie (TUM framework) om een globale, gladde racebaan te genereren.

2. Observatie- en Actieruimte:

   • Observaties ($s_t$): Een 5-dimensionale vector bestaande uit de voertuigsnelheid ($v_t$) en krommingskenmerken op drie horizonten (dichtbij, medium, ver) plus de verandering in kromming ($\Delta \kappa_t$).
   • Actie ($a_t$): Een continue waarde die de lookahead-afstand bepaalt binnen het bereik van 0,35 tot 4,0 meter.

3. Beloningsfunctie (Reward Function):
   De beloning is ontworpen om vooruitgang, snelheid, soepelheid en veiligheid te maximaliseren, terwijl botsingen en stilstand worden bestraft. Een belangrijk component is een "heuristic ideal lookahead" term die dient als stabiliserend signaal tijdens het trainen, maar de uiteindelijke actie wordt volledig door het geleerde beleid bepaald.

4. Training:

   • Training vindt plaats in de F1TENTH Gym simulator.
   • Gebruik van Stable-Baselines3 met PPO.
   • Stabilisatietechnieken zoals KL-divergentie-straffen, leerstijgingsverval (learning-rate decay) en Optuna voor hyperparameter-tuning.
   • De agent leert een beleid dat de lookahead vergroot op rechte stukken (voor stabiliteit) en verkleint in bochten (voor nauwkeurigheid).

Belangrijkste Bijdragen

• Hybride RL-Controller: Introductie van een PPO-gedreven mechanisme dat dynamisch de lookahead-afstand van Pure Pursuit aanpast, waardoor de voordelen van RL (adaptiviteit) worden gecombineerd met de robuustheid en interpreteerbaarheid van klassieke geometrische controle.
• Zero-Shot Generalisatie: Het beleid wordt getraind op één track (Austin) en getest zonder aanpassing op volledig nieuwe tracks (Montreal en Yas Marina).
• Sim-to-Real Transfer: Succesvolle implementatie op een fysiek 1:10 schaal racevoertuig (Roboracer), wat aantoont dat het in de simulator getrainde beleid werkt in de echte wereld.
• Interpreteerbaarheid: In tegenstelling tot end-to-end leerbenaderingen die stuur- en gascommando's direct genereren, past deze methode slechts één parameter aan, wat de controller transparant en veilig maakt voor integratie in ROS2-archieven.

Resultaten

De methode werd vergeleken met een Fixed-Lookahead Pure Pursuit en een Hand-crafted Adaptive Pure Pursuit (op basis van handmatige regels).

1. Simulatie-resultaten (Ongeziene Tracks):

   • Montreal: De RL-controller voltooide 10 ronden met een gemiddelde tijd van 33,16 s onder een agressief snelheidsprofiel (+13% sneller dan de basislijn). De vaste lookahead-controller faalde op dit tempo en moest 10% vertragen om de ronde te voltooien (41,36 s).
   • Yas Marina: De RL-controller behaalde 46,05 s (+15% snelheidsprofiel). De vaste controller kon dit tempo niet aan en behaalde 52,81 s op het originele tempo.
   • De RL-controller toonde een lagere variantie in rondetijden en kon agressievere snelheidsprofielen hanteren dan beide baselines.

2. Real-Car Validatie:

   • Op een fysiek 1:10 voertuig voltooide de RL-controller 10 opeenvolgende ronden met een gemiddelde tijd van 11,13 s.
   • De vaste lookahead-controller faalde om herhaalde ronden te voltooien onder dezelfde omstandigheden (DNF - Did Not Finish).

Betekenis en Conclusie

Dit paper demonstreert dat het combineren van diep versterkingsleren met klassieke controle een krachtige strategie is voor autonoom racen. De belangrijkste bevinding is dat het dynamisch aanpassen van één interpreteerbare parameter (de lookahead-afstand) voldoende is om de prestaties aanzienlijk te verbeteren ten opzichte van statische of handmatig getune systemen.

De methode biedt:

• Robuustheid: Betrouwbare prestaties op onbekende tracks zonder opnieuw te hoeven tunen.
• Efficiëntie: Lagere rondetijden door het kunnen hanteren van agressievere snelheidsprofielen.
• Veiligheid en Transparantie: Behoud van de structuur van de klassieke controller, wat essentieel is voor veiligheidskritische toepassingen en modulair systeemontwerp (ROS2).

De studie bevestigt dat "Sim-to-Real" transfer mogelijk is voor complexe race-scenario's wanneer de leeropdracht beperkt blijft tot het optimaliseren van een specifieke, betekenisvolle controller-parameter in plaats van het volledig vervangen van de besturingslogica.