🤖 machine learning

Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

Diese Arbeit präsentiert einen Reinforcement-Learning-Ansatz, der es einem virtuellen Whipple-Fahrradmodell erfolgreich ermöglicht, gleichzeitig komplexen Pfaden zu folgen und die laterale Stabilität über einen Geschwindigkeitsbereich von 2 m/s bis 7 m/s unter Verwendung ausschließlich von Lenkwinkelausgängen aufrechtzuerhalten, validiert durch Curriculum Learning und erklärende Analyse.

Ursprüngliche Autoren: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Kleinkind das Fahrradfahren bei. Sie sagen ihm nicht einfach nur: „Fahr geradeaus.“ Sie müssen ihm beibringen, wie man das Gleichgewicht hält, wie man sich in Kurven hineinlehnt und wie man lenkt, ohne umzukippen. Stellen Sie sich nun vor, Sie tun dies nicht mit einem menschlichen Kind, sondern mit einem Computerprogramm und einem virtuellen Fahrrad unter Verwendung einer Methode namens Reinforcement Learning (RL) (bestärkendes Lernen).

Dieser Text ist im Wesentlichen die Geschichte darüber, wie Forscher einem digitalen „Agenten“ (einem intelligenten Computerprogramm) beigebracht haben, ein virtuelles Fahrrad perfekt zu fahren – es dabei auszubalancieren und einer kurvigen Strecke zu folgen, und zwar ganz ohne Stützräder oder körperliche Hilfe.

Hier ist die Aufschlüsselung ihrer Reise, unter Verwendung einiger alltäglicher Analogien:

1. Die virtuelle Teststrecke

Die Forscher verwendeten kein echtes Fahrrad in einer Garage. Sie bauten ein virtuelles Fahrrad innerhalb eines Computers. Dies ist nicht nur eine einfache Zeichentrickfigur; es ist ein hochpräzises Physikmodell (das sogenannte „Whipple-Modell“), das sich exakt wie ein echtes Fahrrad verhält.

Die Herausforderung: Echte Fahrräder sind knifflig. Wenn man zu langsam fährt, kippt man um. Wenn man zu schnell fährt, wird man wackelig. Sie haben auch eine seltsame Eigenart: Um nach links zu fahren, muss man tatsächlich zuerst leicht nach rechts lenken (dies nennt man „Gegenlenken“ oder „Counter-steering“).
Das Ziel: Der Computer-Agent musste zwei Dinge gleichzeitig tun: aufrecht bleiben (Stabilisierung) und einer bestimmten Linie auf dem Boden folgen (Pfadverfolgung). Er konnte nur den Lenker kontrollieren. Er konnte das Fahrrad nicht drücken oder die Geschwindigkeit ändern; die Geschwindigkeit wurde von einem unsichtbaren „Radfahrer“ vorgegeben.

2. Der Lehrer: Reinforcement Learning

Betrachten Sie den Agenten als Schüler und die Computersimulation als einen sehr strengen Lehrer.

Das Spiel: Der Agent versucht zu fahren.
Die Bewertung (Belohnung): Jedes Mal, wenn das Fahrrad nah an der Linie bleibt und nicht umkippt, erhält der Agent Punkte (eine „Belohnung“). Wenn es stürzt oder zu weit von der Strecke abkommt, erhält er null Punkte und das Spiel beginnt von vorn.
Das Lernen: Der Agent versucht es Millionen Male. Zu Beginn stürzt er ständig ab. Aber langsam beginnt er zu verstehen: „Oh, wenn ich mich nach links lehne, muss ich nach rechts lenken, um aufrecht zu bleiben“ oder „Wenn der Pfad kurvt, muss ich vorausblicken.“ Er lernt durch Versuch und Irrtum, nicht indem ihm die physikalischen Regeln erklärt werden.

3. Das Erfolgsgeheimnis: „Curriculum Learning“

Wenn Sie versuchen würden, einem Kleink Kind sofort auf einer steilen, kurvigen Bergstraße das Fahrradfahren beizubringen, würde es scheitern. Man fängt auf einer flachen, geraden Einfahrt an.
Die Forscher nutzten eine Strategie namens Curriculum Learning (Lernen nach Lehrplan). Dies ist wie ein Videospiel, das mit jedem Level schwieriger wird:

Level 1: Der Agent startet auf einem geraden Pfad bei einer moderaten, einfachen Geschwindigkeit, bei der das Fahrrad von Natur aus aufrecht bleiben möchte.
Level 2: Sobald der Agent besser wird, führt der Lehrer Kurven und Geschwindigkeitsänderungen ein.
Level 3: Der Agent steht vor den härtesten Herausforderungen: sehr niedrige Geschwindigkeiten (bei denen das Fahrrad sehr instabil ist) und scharfe, enge Kurven.
Indem sie einfach begannen und den Schwierigkeitsgrad schrittweise erhöhten, lernte der Agent, den gesamten Bereich von Geschwindigkeiten (von 2 m/s bis zu 7 m/s) und komplexe Pfade wie Slalom und volle Kreise zu bewältigen.

4. Die Ergebnisse: Ein Meisterfahrer

Nach Millionen von virtuellen Fahrten (was etwa 55 Stunden Simulationszeit dauerte) wurde der Agent zum Experten.

Der Test: Sie setzten den trainierten Agenten auf einen „Benchmark-Pfad“ – eine komplexe Strecke mit Kreisen, Zickzack-Kursen und Spurwechseln.
Das Ergebnis: Der Agent hielt das Fahrrad aufrecht und folgte dem Pfad mit unglaublicher Präzision. Die durchschnittliche Distanz zwischen dem Fahrrad und der Linie, der es folgen sollte, betrug weniger als 9 Zentimeter (etwa die Breite einer Hand).
Die Geschwindigkeit: Es funktionierte perfekt, egal ob das Fahrrad langsam oder schnell fuhr.

5. Hat der Agent die Physik tatsächlich „verstanden“?

Die Forscher wollten nicht nur eine „Black Box“, die einfach funktioniert; sie wollten wissen, wie es funktioniert. Sie verwendeten ein Werkzeug namens SHAP (das wie ein Röntgenblick für KI-Entscheidungen wirkt), um zu sehen, worauf der Agent seine Aufmerksamkeit richtete.

Was sie fanden: Der Agent hatte genau dieselben Physik-Tricks gelernt, die auch Menschen anwenden!
- Gegenlenken: Der Agent lernte, leicht in die entgegengesetzte Richtung zu lenken, um eine Kurve einzuleiten.
- In den Sturz hineinlehnen: Wenn das Fahrrad zu kippen begann, lernte der Agent, in die Richtung des Sturzes zu lenken, um es abzufangen, genau wie ein echter Fahrer.
- Vorausschauen: Der Agent achtete am meisten auf den Pfad einige Meter vor sich, nicht nur auf die Stelle, an der die Räder den Boden berührten.

Das Faz-it

Dieses Paper beweist, dass ein Computerprogramm von Grund auf lernen kann, ein Fahrrad zu fahren, es auszubalancieren und es durch komplexe Kurse zu steuern, ohne vorprogrammiert physikalische Gleichungen oder menschliche Hilfe. Es lernte das „Gefühl“ für das Fahrrad durch Versuch und Irrtum und wurde schließlich zu einem Meisterfahrer, der Geschwindigkeitsänderungen und schwierige Kurven besser bewältigt als viele herkömmliche Computerkontrollen.

Die Forscher kommen zu dem Schluss, dass dieser Ansatz funktioniert, merken jedoch an, dass sie für ein echtes Roboter-Fahrrad das Modell verfeinern müssten, um unebene Straßen zu bewältigen und zu klären, wie das System den Pfad „sieht“ (z. B. durch eine Kamera), anstatt den Pfad vorab in den Computer geladen zu haben.

Technische Zusammenfassung: Pfadverfolgung und Stabilisierung eines Fahrradmodells mittels eines Reinforcement-Learning-Ansatzes

Problemstellung
Die Steuerung der Bewegung eines Fahrrads ist eine komplexe Aufgabe, da die geschwindigkeitsabhängige laterale Stabilität und das nicht-minimale Phasenverhalten eine Steuerung in die Richtung eines unerwünschten Fallens erfordern, um das Gleichgewicht zu halten. Während traditionelle regelungstechnische Methoden bereits intensiv für die Fahrradstabilisierung und Pfadverfolgung eingesetzt wurden, gibt es ein wachsendes Interesse an der Anwendung von Maschinellem Lernen, speziell Reinforcement Learning (RL), auf diese mechanischen Systeme. Eine signifikante Lücke in der Literatur besteht darin, dass bisherige RL-Anwendungen auf Fahrradmodelle typischerweise entweder auf die Stabilisierung (oft unter Verwendung vereinfachter Modelle ohne Trail oder mit Balancierhilfen) oder auf die Pfadverfolgung (oft unter Vernachlässigung der lateralen Stabilisierung) spezialisiert waren. Zudem konnten bestehende Arbeiten nicht ausreichend demonstrieren, ob ein RL-Agent in der Lage ist, eine geschwindigkeitsabhängige Stabilisierungsstrategie für ein Standard-Fahrradmodell (mit positivem Trail) über einen weiten Geschwindigkeitsbereich hinweg zu induzieren und gleichzeitig eine Pfadverfolgung durchzuführen, ohne die Vorwärtsgeschwindigkeit kontrollieren zu können.

Methodik
Die Autoren schlagen ein RL-Framework vor, bei dem ein Agent ein virtuelles Whipple-Fahrradmodell steuert – ein Benchmark-Modell für die Fahrraddynamik, das durch einen positiven Trail und Selbststabilität nur innerhalb eines spezifischen Geschwindigkeitsbereichs (4,3–6 m/s) gekennzeichnet ist. Das Fahrrad wird als Mehrkörpersystem aus vier starren Körpern (Hinterrad, Vorderrad, Hinterkörper, Lenker) modelliert und verfügt über keine externen Stabilisierungshilfen (z. B. Trägheitsräder).

Steuerungsmechanismus: Der Agent agiert ausschließlich durch die Vorhersage eines Lenkwinkels ( $\delta_{set}$ ). Dieser Winkel wird in ein Lenkmoment umgewandelt, das über einen PD-Regler zwischen dem Hinterkörper und der Gabel wirkt. Der Agent kann die Vorwärtsgeschwindigkeit nicht verändern, welche zufällig zwischen 2 m/s und 7 m/s eingestellt wird, was ein Szenario simuliert, in dem der Radfahrer die Geschwindigkeit kontrolliert, während der Agent die Lenkung übernimmt.
Zustandsrepräsentation: Der Zustandsvektor umfasst die minimalen Koordinaten des Fahrrads (Position, Gierwinkel, Rollwinkel, Lenkwinkel und relevante Winkelgeschwindigkeiten) sowie Preview-Informationen des Pfades. Die Pfad-Vorschau wird als ein Vektor der lateralen Abstände zu zukünftigen Punkten auf dem Pfad dargestellt. Die Autoren untersuchten zwei Formulierungen für den Zustand: eine, die den Gierwinkel direkt verwendet, und eine, die eine Einheitsvektor-Repräsentation nutzt, um Diskontinuitäten zu vermeiden.
Belohnungsfunktion: Die Belohnung ist eine Linearkombination aus zwei Komponenten:
1. Pfadverfolgung ( $\rho_y$ ): Belohnt den Agenten dafür, den Kontaktpunkt des Hinterrads nahe am Pfad zu halten.
2. Stabilisierung ( $\rho_\phi$ ): Belohnt den Agenten dafür, einen geringen Rollwinkel beizubehalten.
  Die Autoren analysierten verschiedene Belohnungsformulierungen, einschließlich linearer versus exponentieller Distanzstrafen sowie variierender Gewichtungen zwischen Pfadverfolgung und Stabilisierung.
Trainingsstrategie: Curriculum Learning (CL) wird eingesetzt, um die Komplexität der Aufgabe zu bewältigen. Der Trainingsprozess wird in vier Stufen unterteilt, in denen die Initialisierungsintervalle für die Vorwärtsgeschwindigkeit, die Pfadkrümmung (Radius kreisförmiger Elemente) und die Pfadkomplexität (Länge und Breite von Polynomsegmenten) schrittweise erweitert werden. Dies ermöglicht es dem Agenten, zuerst eine grundlegende Stabilisierung bei einer konstanten, stabilen Geschwindigkeit zu erlernen, bevor er sich mit variablen Geschwindigkeiten und komplexen Pfaden befasst.
Algorithmus: Der Soft Actor-Critic (SAC) Algorithmus wird für Off-Policy Deep Reinforcement Learning verwendet.

Wesentliche Beiträge

Simultane Pfadverfolgung und Stabilisierung: Die Arbeit zeigt erstmals, dass ein RL-Agent erfolgreich Pfadverfolgung und laterale Stabilisierung auf einem Whipple-Fahrradmodell ohne Balancierhilfen allein durch Lenkeingaben durchführen kann.
Geschwindigkeitsabhängige Strategie: Die Studie untersucht und bestätigt, dass der RL-Ansatz eine geschwindigkeitsabhängige Strategie induzieren kann, die in der Lage ist, das Fahrrad über einen weiten Geschwindigkeitsbereich (2 m/s bis 7 m/s) zu stabilisieren, was sowohl instabile niedrige als auch selbststabile mittlere Geschwindigkeitsregime abdeckt.
Anwendung von Curriculum Learning: Die Anwendung von Curriculum Learning erweist sich als essenziell, um den Agenten darauf vorzubereiten, die zunehmende Komplexität variabler Geschwindigkeiten und beliebiger Pfade (einschließlich voller Kreise, Slaloms und Spurwechsel) zu bewältigen.
Erklärbarkeit: Die Autoren nutzen SHapley Additive exPlanations (SHAP), um den Entscheidungsprozess des trainierten Agenten zu analysieren und die gelernte Strategie mit bekannten physikalischen Mechanismen der Fahrraddynamik zu verknüpfen.

Ergebnisse

Lernleistung: Die vorgeschlagenen Einstellungen (Verwendung eines geschwindigkeitsskalierten Preview-Abstands und einer linearen Belohnung für die Pfadverfolgung) erforderten weniger Lernschritte ( $< 2 \times 10^6$ ) im Vergleich zu Alternativen wie einem konstanten Preview-Abstand oder einer gleichen Gewichtung der Stabilisierungsbelohnung. Die Einbeziehung der Stabilisierungsbelohnung ( $\rho_\phi$ ) mit gleichen Gewichten wurde als störend für den Lernfortschritt identifiziert.
Einsatzleistung: Agenten, die mit den vorgeschlagenen Einstellungen trainiert wurden, konnten das Fahrrad erfolgreich über den gesamten getesteten Geschwindigkeitsbereich (2–7 m/s) stabilisieren und Pfaden folgen.
- Auf zufällig generierten Pfaden waren alle 525 Simulationen (über 5 Durchläufe und 5 Einstellungen) erfolgreich, ohne dass Stürze auftraten.
- Auf einem komplexen Benchmark-Pfad (voller Kreis, Slalom, Spurwechsel) erreichte der beste Agent eine maximale mittlere Abweichung vom Pfad von 0,09 m bei 7 m/s (9 % des Radstands) und eine maximale mittlere Abweichung von 0,19 m bei der niedrigsten Geschwindigkeit von 2 m/s.
- Einige einzelne Agenten scheiterten bei den niedrigsten Geschwindigkeiten (2 m/s) an spezifischen Benchmark-Segmenten (voller Kreis und harter Spurwechsel), was statistisch selten im Trainingscurriculum vorkam.
Mechanismenanalyse: Die Analyse der SHAP-Werte zeigte, dass der Agent grundlegende Steuerungsmechanismen erlernt hat:
- Gegenlenken (Counter-steering): Der Agent sagte korrekt einen Lenkwinkel voraus, der der gewünschten Drehrichtung entgegenwirkt, um eine Neigung einzuleiten.
- In die Fallrichtung lenken: Sobald die Neigung einsetzte, lenkte der Agent in die Richtung des Falls, um das Gleichgewicht zu halten, wobei er den Rollwinkel ( $\phi$ ) und die Preview-Punkte ( $t_P$ ) mit den Lenkaktionen korrelierte.

Bedeutung und Ansprüche
Das Paper behauptet, dass Reinforcement Learning eine lebensfähige Alternative zur traditionellen Regelungstechnik für die Fahrraddynamik darstellt, da es in der Lage ist, die nichtlineare, geschwindigkeitsabhängige Natur des Systems ohne explizite Modellierung der Steuerungsgesetze zu handhaben. Die Arbeit schließt die Lücke zwischen maschinellem Lernen und der Forschung zur Fahrraddynamik, indem sie demonstriert, dass ein Agent die grundlegenden physikalischen Mechanismen der Fahrradsteuerung (Gegenlenken und Neigen) rein durch Interaktion mit einer simulierten Umgebung erlernen kann.

Die Autoren merken bescheiden an, dass die virtuelle Umgebung in vielen Fällen eine perfekte Pfadverfolgung ermöglicht, der Benchmark-Pfad jedoch geometrische Merkmale (wie harte Spurwechsel) enthält, die selbst für reale Fahrräder physisch anspruchsvoll sind. Der Erfolg des Agenten bei der Navigation dieser komplexen Pfade über einen weiten Geschwindigkeitsbereich hinweg, trotz des Fehlens einer expliziten Kontrolle über die Vorwärtsgeschwindigkeit, unterstreicht das praktische Potenzial von RL für robotische Systeme, bei denen die Geschwindigkeit eine externe Randbedingung ist. Das Paper schließt mit dem Hinweis, dass zukünftige Arbeiten auf die Verfeinerung des Fahrradmodells für den Sim-to-Real-Transfer und die Entwicklung von Methoden zur Gewinnung von Pfad-Preview-Informationen in realen Szenarien (z. B. via Kameras) fokussieren sollten.