⚡ electrical engineering

Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

Die vorgestellte Arbeit entwickelt einen Reinforcement-Learning-Ansatz, der die Lookahead-Distanz eines Pure-Pursuit-Controllers dynamisch anpasst, um die Rundenzeiten und Stabilität autonomer Rennfahrzeuge sowohl in Simulationen als auch auf realen 1:10-Skalen-Plattformen zu verbessern.

Ursprüngliche Autoren: Mohamed Elgouhary, Amr S. El-Wakeel

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohamed Elgouhary, Amr S. El-Wakeel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der sture Navigator

Stell dir vor, du fährst ein autonomes Rennauto. Es nutzt einen klassischen Algorithmus namens „Pure Pursuit" (reine Verfolgung). Das ist wie ein Navigationssystem, das immer nur auf den nächsten Punkt schaut.

Das Problem dabei ist die Distanz, auf die es schaut (die sogenannte „Lookahead-Distanz"):

Schaut es zu nah: Das Auto ist super wendig in Kurven, aber auf geraden Strecken zittert es wie ein nervöses Hündchen und wird instabil.
Schaut es zu weit: Das Auto fährt auf Geraden sehr ruhig und stabil, aber in Kurven schneidet es die Ecken ab oder kommt nicht mehr rechtzeitig herum, weil es zu träge reagiert.

Bisher mussten Ingenieure diesen Abstand manuell einstellen. Aber jede Rennstrecke ist anders. Was auf einer Strecke funktioniert, bringt auf einer anderen das Auto zum Absturz. Es ist, als würdest du versuchen, mit einem einzigen, starren Schuhgröße durch alle Lebenslagen zu kommen.

Die Lösung: Der lernende Co-Pilot

Die Autoren dieses Papiers haben eine clevere Idee: Warum nicht einen KI-Co-Piloten (Reinforcement Learning) an Bord nehmen, der den Abstand in Echtzeit anpasst?

Sie haben einen Algorithmus namens PPO (Proximal Policy Optimization) trainiert. Stell dir diesen Algorithmus wie einen erfahrenen Rennfahrer-Coach vor, der neben dir sitzt.

Der Coach beobachtet: Er sieht, wie schnell das Auto fährt und wie die Kurven vor ihm aussehen (sind sie eng? sind sie weit?).
Der Coach entscheidet:
- Ist es eine lange Gerade? -> „Hey, schau weiter nach vorne! Wir brauchen Stabilität." (Der Abstand wird größer).
- Kommen wir in eine enge Kurve? -> „Achtung! Schau näher hin! Wir brauchen Präzision." (Der Abstand wird kleiner).
Das Ergebnis: Das Auto behält die einfache, robuste Struktur des alten Navigators, bekommt aber durch den Coach die Fähigkeit, sich dynamisch anzupassen.

Wie wurde das trainiert? (Die Flugsimulatoren)

Man kann nicht einfach ein echtes Auto nehmen und es tausendmal gegen eine Wand fahren lassen, bis es lernt. Das wäre zu teuer und gefährlich.

Stattdessen haben die Forscher das Auto in einen virtuellen Rennsimulator (F1TENTH Gym) gesetzt.

Der KI-Coach hat dort Millionen von Runden gefahren.
Jedes Mal, wenn er eine gute Entscheidung traf (schnelle Runde, kein Crash), bekam er Punkte.
Jedes Mal, wenn er eine schlechte Entscheidung traf (Crash, Zittern), bekam er eine „Strafe".
Nach vielen Stunden Training hat der Coach gelernt, genau das richtige Timing für den Blickabstand zu finden.

Der große Test: Von der Simulation auf die echte Straße

Das Spannende an der Studie ist der „Zero-Shot"-Test. Das bedeutet:

Der Coach wurde nur auf einer Strecke (Austin) trainiert.
Dann wurde er auf zwei völlig fremde Strecken (Montreal und Yas Marina) losgelassen, die er noch nie gesehen hatte.
Ergebnis: Der Coach hat es sofort gemeistert! Er hat auf diesen neuen Strecken schneller und sicherer gefahren als die starren, manuell eingestellten Versionen.

Und das Beste: Sie haben das System auch auf ein echtes, 1:10 großes Modell-Rennauto übertragen. Ohne das Auto nochmal neu zu programmieren, hat der Coach auf dem echten Metall-Chassis funktioniert. Das ist wie ein Flugsimulator-Training, das sofort auf einem echten Flugzeug funktioniert.

Warum ist das so toll? (Die Analogie)

Stell dir vor, du fährst mit dem Fahrrad:

Ein starrer Navigator wäre wie ein Radfahrer, der immer genau 1 Meter vor dem Lenker auf den Boden schaut. In einer Kurve würde er stürzen, auf der Geraden würde er wackeln.
Der neue KI-Ansatz ist wie ein Profi-Radfahrer. In der Kurve schaut er genau auf den Punkt, wo er hinwill, um präzise zu sein. Auf der Geraden schaut er weit in die Ferne, um ruhig und schnell zu bleiben.

Fazit:
Die Forscher haben nicht das ganze Auto neu erfunden. Sie haben dem bewährten, einfachen System einen „intelligenten Regler" hinzugefügt, der lernt, wann man vorsichtig und wann man mutig sein muss. Das macht autonome Rennautos schneller, sicherer und vor allem flexibler auf neuen Strecken, ohne dass man jedes Mal die Hände in den Code legen muss.

1. Problemstellung

Das autonome Rennfahren stellt hohe Anforderungen an Wahrnehmung, Planung und Steuerung, insbesondere bei hohen Geschwindigkeiten und engen Kurven. Der Pure Pursuit (PP)-Algorithmus ist ein weit verbreiteter geometrischer Regler für die Pfadverfolgung, da er einfach zu implementieren und recheneffizient ist. Er funktioniert, indem er einen „Lookahead-Punkt" (Blickpunkt) auf der Referenztrajektorie wählt und die Lenkung so berechnet, dass das Fahrzeug auf diesen Punkt zuläuft.

Das zentrale Problem liegt jedoch in der Wahl der Lookahead-Distanz ( $L_d$ ):

Zu kleine $L_d$ : Verbessert die Kurvenverfolgung, führt aber auf Geraden zu Instabilität und Lenk-Oszillationen.
Zu große $L_d$ : Führt zu glatterem Fahrverhalten auf Geraden, verursacht aber „Cutting Corners" (Abkürzen) und schlechte Kurvenverfolgung bei scharfen Kurven.

Herkömmliche Ansätze verwenden entweder eine feste Distanz (inflexibel) oder heuristische Regeln (z. B. abhängig von Geschwindigkeit oder Krümmung), die oft manuell für jede Strecke und jedes Fahrzeug neu abgestimmt werden müssen. Dies limitiert die Robustheit und Generalisierungsfähigkeit.

2. Methodik

Die Autoren schlagen einen hybriden Regelungsansatz vor, der die Stärken des klassischen Pure Pursuit mit der Anpassungsfähigkeit des Deep Reinforcement Learning (DRL) kombiniert. Anstatt den gesamten Regler durch ein neuronales Netz zu ersetzen, wird nur der kritische Hyperparameter $L_d$ dynamisch angepasst.

Systemarchitektur und Komponenten:

Lokalisierung: Monte-Carlo-Lokalisierung (MCL) mittels Partikelfilter und LiDAR-Daten.
Trajektorienplanung: Eine globale Referenztrajektorie wird offline mittels Minimum-Curvature-Optimierung (TUM-Framework) generiert, die die integrierte Krümmung minimiert und eine Geschwindigkeitsprofil-Vorgabe liefert.
Reinforcement Learning (RL) Agent:
- Algorithmus: Proximal Policy Optimization (PPO) implementiert in Stable-Baselines3.
- Beobachtungsraum (State): Ein 5-dimensionaler Vektor bestehend aus der aktuellen Geschwindigkeit ( $v_t$ ) und Krümmungsmerkmalen auf drei verschiedenen Horizonten ( $\kappa_0, \kappa_1, \kappa_2$ ) sowie der Krümmungsänderung ( $\Delta\kappa$ ).
- Aktionsraum (Action): Ein kontinuierlicher Wert für die Lookahead-Distanz $L_{t+1}$ im Bereich von 0,35 m bis 4,0 m.
- Belohnungsfunktion (Reward): Balanciert Geschwindigkeit, Glattheit, Krümmungsminimierung, Kollisionsvermeidung (LiDAR-basiert) und Fortschritt auf der Strecke. Ein heuristischer Idealwert dient als Shaping-Signal zur Stabilisierung des Trainings.
Training: Der Agent wird vollständig in der F1TENTH Gym-Simulation auf der „Austin"-Strecke trainiert. Es werden Techniken wie KL-Divergenz-Strafen und Learning-Rate-Decay eingesetzt, um Stabilität zu gewährleisten.
Deployment: Die gelernte Policy wird in eine ROS2-Umgebung integriert, wo sie den Lookahead-Wert in Echtzeit an den Pure-Pursuit-Regler übergeben.

3. Wichtige Beiträge

Hybrider Ansatz: Einführung eines RL-gestützten Pure-Pursuit-Reglers, der die Lookahead-Distanz online dynamisch anpasst, ohne die Interpretierbarkeit und Struktur des klassischen geometrischen Reglers zu verlieren.
Feature-Design: Entwicklung eines Beobachtungsraums, der Geschwindigkeit und Multi-Horizon-Krümmungsmerkmale nutzt, um kontextabhängiges Verhalten zu lernen.
Zero-Shot Generalisierung: Demonstration, dass die in Simulation auf einer Strecke trainierte Policy ohne Nachjustierung (Zero-Shot) auf völlig neuen Strecken (Montreal, Yas Marina) und sogar auf echter Hardware funktioniert.
Vergleichsbaseline: Einbau einer handgefertigten adaptiven Pure-Pursuit-Baseline (regelbasierte Geschwindigkeitsabhängigkeit), um den Mehrwert des gelernten Kontext-Verhaltens gegenüber rein dynamischer Lookahead-Scheduling zu isolieren.

4. Ergebnisse

Die Evaluation erfolgte in Simulation und auf einem realen 1:10-Skalen-Rennfahrzeug (RoboRacer).

Simulation (Unbekannte Strecken):
- Montreal: Der RL-Regler schaffte 10 Runden bei einer um 13 % aggressiveren Geschwindigkeit in durchschnittlich 33,16 s. Die adaptive heuristische Baseline benötigte nur +10 % Geschwindigkeit und war langsamer (34,15 s). Die feste Lookahead-Baseline scheiterte bei hoher Geschwindigkeit und benötigte eine Reduktion um 10 %, was zu 41,36 s führte.
- Yas Marina: Der RL-Regler erreichte 46,05 s bei +15 % Geschwindigkeit. Die adaptive Baseline schaffte +14 % (46,79 s), während die feste Baseline bei der beschleunigten Profileinstellung instabil war und nur bei Originalgeschwindigkeit (52,81 s) funktionierte.
- Fazit: Der gelernte Regler toleriert aggressivere Geschwindigkeitsprofile und erzielt schnellere Rundenzeiten als beide Baselines, ohne pro Strecke neu abgestimmt werden zu müssen.
Real-World-Validierung (Sim-to-Real):
- Auf dem echten RoboRacer-Fahrzeug schaffte der RL-Regler 10 Runden mit einer mittleren Zeit von 11,13 s.
- Der feste Pure-Pursuit-Regler schaffte unter denselben Bedingungen keine wiederholbaren Runden (DNF - Did Not Finish).
- Dies beweist den erfolgreichen Transfer der in Simulation gelernten Strategie auf die reale Hardware.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass die Kombination aus Deep Reinforcement Learning und klassischer Regelungstechnik einen vielversprechenden Weg darstellt, um die Grenzen autonomer Systeme zu erweitern.

Interpretierbarkeit: Im Gegensatz zu End-to-End-Lösungen (die direkt Sensordaten in Lenk-/Gasbefehle umwandeln) bleibt der Kern des Reglers (Pure Pursuit) transparent und sicher.
Robustheit: Der Ansatz reduziert den Aufwand für manuelle Nachjustierung (Retuning) bei Streckenwechseln erheblich.
Anwendbarkeit: Die Methode ist leichtgewichtig, rechen-effizient und eignet sich ideal für modulare ROS2-Autonomie-Stacks in sicherheitskritischen Hochgeschwindigkeitsszenarien.

Zukünftige Arbeiten sollen die Hardware-Tests erweitern und analysieren, welche Komponenten (Zustandsmerkmale, Glättung, Belohnungsterme) am kritischsten für die Leistung sind.