Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

Probleemstelling

In autonoom racen is Pure Pursuit (PP) een veelgebruikte controller voor het volgen van paden vanwege zijn rekenkundige efficiëntie en geometrische duidelijkheid. Een fundamentele beperking van PP is echter de hoge gevoeligheid voor de keuze van twee kritieke parameters:

1. Lookahead-afstand ($L_d$): Een te kleine afstand zorgt voor wendbaarheid maar kan oscillaties veroorzaken op rechte stukken; een te grote afstand zorgt voor soepelheid maar leidt tot onderstuur in scherpe bochten.
2. Stuurwielversterking (Steering Gain, $g$): Een te agressieve gain veroorzaakt ruis, terwijl een conservatieve gain de convergentie vertraagt.

Traditionele aanpassingen gebruiken vaste regels (bijv. lineair afhankelijk van snelheid), maar deze zijn vaak niet overdraagbaar tussen verschillende circuits of snelheidsprofielen. Model Predictive Control (MPC) biedt betere prestaties maar vereist zware modellering en online optimalisatie. Het doel van dit onderzoek is om de eenvoud en interpretatie van PP te behouden, maar de prestaties te verbeteren door deze parameters dynamisch en adaptief te leren.

Methodologie

De auteurs stellen een hybride framework voor waarbij een Reinforcement Learning (RL) agent de parameters van een klassieke PP-controller aanstuurt, zonder de onderliggende geometrische wet te vervangen.

• Architectuur:
  • Controller: Een standaard Pure Pursuit controller die het stuurcommando $\gamma$ berekent als $\gamma = g \cdot \frac{2y'}{L_d^2}$, waarbij $y'$ de zijwaartse afstand is tot het lookahead-punt.
  • RL-Agent: Een Proximal Policy Optimization (PPO) agent die online de waarden voor $L_d$ en $g$ bepaalt.
  • Observatie Ruimte ($s_t$): De agent ontvangt een compacte vector bestaande uit de huidige snelheid ($v_t$) en drie "curvature taps" (krommingsmetingen) op verschillende afstanden langs het racepad (nabij, midden, ver), plus de verandering in kromming ($\Delta\kappa$).
  • Actie Ruimte ($a_t$): Een 2D continu vector $(L_d, g)$. De waarden worden na het uitvoeren van de policy licht gefilterd (eerste-orde exponentiële smoothing) om abrupte schommelingen te voorkomen.
  • Training: De agent wordt getraind in de F1TENTH Gym simulator op het Hockenheim-circuit. Om generalisatie te bevorderen, wordt het snelheidsprofiel tijdens training met 30% opgevoerd. De beloning (reward) functie balanceert snelheid, trackingfout, gladheid van de actie, en veiligheid (straf voor botsingen).
  • Implementatie: Het systeem is geïntegreerd in een ROS 2 stack. Er is een "veiligheidsleraar" (een lineaire regel) als fallback ingebouwd als de RL-acties verouderd zijn, hoewel deze in de tests zelden nodig bleek.

Belangrijkste Bijdragen

1. Gecombineerde Adaptieve Controle: Voor het eerst wordt een RL-gebaseerde aanpak gepresenteerd die gelijktijdig de lookahead-afstand ($L_d$) en de stuurgain ($g$) aanpast. De auteurs tonen aan dat deze twee parameters niet-redundant zijn en gezamenlijke optimalisatie nodig hebben voor maximale prestaties.
2. Interpreteerbaarheid en Efficiëntie: In tegenstelling tot end-to-end deep learning, behoudt dit systeem de transparante geometrische wet van PP. De RL-agent fungeert slechts als een "tuner" voor een klein aantal parameters, wat het systeem robuust en interpreteerbaar maakt.
3. Sim-to-Real Transfer: Het systeem is getraind in simulatie en succesvol gedeployeerd op een fysieke F1TENTH-raceauto zonder extra fine-tuning op het echte voertuig.
4. Uitgebreide Validatie: Het paper biedt een uitgebreide vergelijking tegen meerdere baselines, inclusief vaste PP, snelheid-gebaseerde adaptieve PP, een RL-only variant (alleen $L_d$), en een kinematische MPC-tracker.

Resultaten

De evaluatie vond plaats in simulatie (op onbekende circuits: Montreal en Yas Marina) en op een fysiek voertuig.

• Simulatie (Montreal & Yas Marina):

  • De RL-PP (joint $L_d, g$) variant behaalde de snelste rondetijden en de beste track-houding.
  • Op het Montreal-circuit (met een +16% snelheidsprofiel) behaalde de joint-RL een gemiddelde rondetijd van 32,85s, vergeleken met 34,25s voor de lineaire adaptieve PP en 41,35s voor de vaste PP.
  • De MPC-tracker was aanzienlijk trager (48,06s) onder dezelfde omstandigheden, wat de efficiëntie van de RL-aangepaste PP benadrukt.
  • De "joint" variant presteerde significant beter dan de variant die alleen $L_d$ aanpaste, wat aantoont dat het leren van de stuurgain $g$ essentieel is.

• Fysiek Voertuig (Real-Car):

  • Met een veiligheidsbeperking van maximaal 6 m/s behaalde de joint-RL een gemiddelde rondetijd van 9,46s.
  • Dit was sneller dan alle andere methoden, inclusief de MPC-tracker (15,42s), die in de hardware-omgeving moeite had met de dynamische beperkingen.
  • De trajecten toonden minder zijwaartse afwijkingen en soepelere stuurbewegingen dan de baselines.

• Stabiliteit: De PPO-diagnostiek (KL-divergentie, clip-fraction) toonde stabiele training aan. De "veiligheidsleraar" werd tijdens de evaluaties nooit geactiveerd, wat aangeeft dat de RL-agent betrouwbaar functioneerde.

Betekenis en Conclusie

Dit werk demonstreert dat Deep Reinforcement Learning klassieke geometrische controllers niet hoeft te vervangen, maar ze wel aanzienlijk kan verbeteren door slimme, contextbewuste parameteraanpassing.

De belangrijkste implicaties zijn:

• Robuustheid: Het systeem generaliseert goed naar onbekende circuits en snelheidsprofielen zonder per-circuit herkalibratie.
• Efficiëntie: Het combineert de lage rekentijd van Pure Pursuit met de adaptiviteit van moderne ML, wat ideaal is voor real-time autonoom racen.
• Praktische Toepasbaarheid: De integratie in ROS 2 en de succesvolle overdracht naar hardware maken dit een direct toepasbare oplossing voor autonome race-systemen.

Kortom, het paper bewijst dat het leren van een "tuning policy" voor klassieke algoritmen een krachtige route is om de prestaties van autonome voertuigen te maximaliseren terwijl de interpretatie en stabiliteit behouden blijven.