🤖 AI

Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation

Dieses Paper präsentiert ein selbstgesteuertes Curriculum-Reinforcement-Learning-Framework, das Soft Actor-Critic mit dynamischer Aufgaben-Generierung integriert, um einen autonomen Agenten effizient für stabiles und schnelles Superbike-Rennen in einer physikgetreuen Simulation zu trainieren, wobei es Standard-SAC-Ansätze übertrifft.

Ursprüngliche Autoren: Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Kleinkind das Fahrradfahren bei. Wenn Sie es einfach auf eine belebte Autobahn werfen und sagen: „Los geht’s!“, wird es wahrscheinlich sofort umkippen. Aber wenn Sie mit einer ruhigen Einfahrt beginnen, dann zu einem flachen Park übergehen und schließlich sanfte Hügel einführen, lernt es viel schneller.

In dieser Arbeit geht es darum, einem Computer-„Kleinkind“ (einem KI-Agenten) beizubringen, ein Hochgeschwindigkeits-Superbike in einem Videospiel-Simulator namens VRider SBK zu fahren. Die Forscher fanden heraus, dass die Standardmethode des KI-Trainings für Motorräder nicht gut funktionierte, also erfanden sie eine intelligentere, schrittweise Trainingsmethode.

Hier ist die Aufschlüsselung ihrer Arbeit unter Verwendung einfacher Analogien:

1. Die große Herausforderung: Zwei Räder vs. Vier

Die meisten Forschungsarbeiten zur KI im Rennsport konzentrieren sich auf Autos. Autos sind wie schwere LKWs; sie sind stabil. Wenn man eine Kurve zu schnell fährt, kann das Auto zwar etwas rutschen, aber es bleibt in der Regel aufrecht.

Motorräder sind anders. Sie sind wie Seiltänzer.

Balance ist der Schlüssel: Um zu lenken, muss der Fahrer sich neigen. Wenn er sich nicht genug neigt, fällt er nach außen. Wenn er sich zu weit neigt, fällt er nach innen.
Der Kampf der KI: Der Computer musste nicht nur lernen, wie man lenkt und Gas gibt, sondern auch, wie man das Motorrad während extremer Neigungswinkel ständig im Gleichgewicht hält. Wenn die KI die Balance verfehlte, stürzte das Motorrad und fiel um – ein Problem, das Autos nicht haben.

2. Die Lösung: Der „selbstgesteuerte“ Coach

Die Forscher verwendeten einen Standard-KI-Trainer namens SAC (Soft Actor-Critic). Denken Sie an SAC als einen strengen Coach, der den Schüler sofort ins tiefe Wasser wirft.

Sie kombinierten SAC mit einer neuen Methode namens SPDL (Self-Paced Deep Reinforcement Learning). Betrachten Sie SPDL als einen intelligenten, adaptiven Coach, der den Schüler beobachtet und den Schwierigkeitsgrad in Echtzeit anpasst:

Der Anfang: Der Coach sagt zur KI: „Folge einfach der Mitte der Strecke. Mach dir noch keine Sorgen um die Geschwindigkeit.“ Dies ist der „einfache“ Modus.
Der Fortschritt: Wenn die KI besser darin wird, aufrecht zu bleiben, verschiebt der Coach langsam die Zielpfosten. „Okay, versuche jetzt, die ‚ideale Rennlinie‘ (den schnellsten Pfad) zu verfolgen.“
Das Ziel: Schließlich sagt der Coach: „Jetzt fahre so schnell du kannst auf dieser perfekten Linie.“

Das Papier behauptet, dass dieser „selbstgesteuerte“ Ansatz viel besser funktionierte als die Standardmethode. Die KI lernte schneller zu fahren, fiel seltener um und beendete das Training schneller.

3. Wie die KI die Strecke „sieht“

Um der KI das Verständnis für das Motorrad zu vermitteln, gaben die Forscher ihr ein spezielles „Dashboard“ an Informationen (Zustandsraum/State Space):

Körperbewusstsein: Sie weiß, wie schnell sie fährt, wie stark sie sich neigt und wie rutschig die Reifen sind.
Gedächtnis: Entscheidend ist, dass sie sich an ihre jüngste Neigungsgeschichte erinnert. Genau wie ein menschlicher Fahrer das Wackeln des Motorrads spürt, bevor er stürzt, nutzt die KI diese Historie, um sich selbst vor zu starkem Schütteln zu bewahren.
Die Karte: Sie sieht 60 Punkte vor sich auf der Strecke, so als würde man auf eine Straße blicken, um die kommenden Kurven zu erkennen.

4. Das „Bewertungsblatt“ (Belohnungen)

Beim KI-Training erhält der Computer Punkte (Belohnungen) für gutes Verhalten und verliert Punkte für schlechtes Verhalten. Die Forscher entwarfen ein sehr spezifisches Bewertungsblatt für Motorräder:

Gut: Vorwärtsbewegung entlang der Strecke.
Schlecht: Von der Strecke abkommen, Wände rammen oder zu stark schwanken (oszillieren).
Die „Neigungs-Strafe“: Sie bestraften die KI gezielt dafür, das Motorrad beim Neigen hin und her zu schütteln (oszillieren). Dies zwang die KI, glatte, kontrollierte Kurven statt ruckartiger Bewegungen zu lernen.

5. Die Ergebnisse: Was ist passiert?

Die Forscher testeten dies auf einer berühmten Rennstrecke namens Barcelona und anderen.

Die „Standard“-KI (nur SAC): In den frühen Stadien des Trainings konnte sie nicht einmal eine einzige Runde absolvieren. Sie stürzte ständig ab und fiel um.
Die „selbstgesteuerte“ KI (SPDL): Sie schaffte Runden, ohne umzukippen. Am Ende des Trainings war sie 0,57 Sekunden schneller pro Runde als die Standard-KI.
Der „Transfer“-Test: Sie nahmen die auf einem Ducati-Motorrad trainierte KI und setzten sie auf eine Kawasaki, eine Honda und eine Yamaha, ohne sie neu zu trainieren.
- Ergebnis: Es funktionierte! Die KI konnte die neuen Motorräder recht gut fahren, was beweist, dass sie die allgemeine Fähigkeit des Balancierens eines Motorrads gelernt hat und nicht nur, wie man ein ganz bestimmtes Modell fährt.
- Ausnahme: Sie hatte etwas Schwierigkeiten mit der BMW, die als „aggressiv und schwer zu fahren“ beschrieben wird, was darauf hindeutet, dass manche Bikes einfach schwerer zu lernen sind als andere.

6. Was fehlt noch?

Die Autoren sind ehrlich über die Einschränkungen.

Das „Geschwindigkeit vs. Präzision“-Problem: Manchmal wird die KI so begeistert vom schnellen Fahren, dass sie eine Kurve zu schnell anfährt und die Kurve überschießt (siehe Abb. 4 in der Arbeit). Sie priorisiert Geschwindigkeit gegenüber der perfekten Linie.
Eine Strecke nach der anderen: Derzeit trainieren sie eine separate KI für jede Strecke. Sie hoffen, in Zukunft eine einzige KI trainieren zu können, die jede Strecke, die sie zum ersten Mal sieht, bewältigen kann.

Zusammenfassung

Diese Arbeit präsentiert den ersten erfolgreichen Versuch, einer KI mittels einer „Schritt-für-Schritt“-Lernmethode beizubringen, in einem Simulator ein Motorrad zu fahren. Indem sie die KI mit einem einfachen Pfad beginnen ließen und den Schwierigkeitsgrad schrittweise erhöhten, gelang es ihnen, einen Fahrer zu erschaffen, der aufrecht bleibt, schneller lernt und sogar zwischen verschiedenen Motorradmodellen wechseln kann. Dies ist ein großer Schritt in Richtung autonomem Motorradrennen, obwohl die KI noch lernen muss, beim Kurvenfahren mit hoher Geschwindigkeit etwas präziser zu sein.

Technisches Resümee: Selbstgesteuertes Curriculum-basiertes Reinforcement Learning für autonomes Superbike-Racing in der Simulation

Problemstellung

Das autonome Rennfahren hat durch Deep Reinforcement Learning (RL) bedeutende Meilensteine erreicht, insbesondere für vierrädrige Fahrzeuge in High-Fidelity-Simulatoren wie Gran Turismo. Das Motorradrennen bleibt jedoch in der RL-Literatur weitgehend unerforscht, da es grundlegend andere physikalische und dynamische Herausforderungen aufweist. Im Gegensatz zu Autos müssen Rennmotorräder den Agenten dazu befähigen, den Schräglagewinkel aktiv zu steuern, um den Zentrifugalkräften in Kurven entgegenzuwirken. Ein Versagen bei der Kontrolle dieses Winkels führt zum Verlust des Gleichgewichts und zum Sturz – ein Ausfallmodus, der bei vierrädrigen Fahrzeugen nicht existiert. Zudem besitzen Rennmotorräder ein höheres Leistung-Gewicht-Verhältnis, was aggressivere Brems- und Beschleunigungsdynamiken zur Folge hat. Die Kernherausforderung besteht darin, einen Agenten zu trainieren, der gleichzeitig Lenkung, Gas-/Bremssteuerung und das komplexe Gleichgewicht für die zweirädrige Stabilität an den physikalischen Grenzen des Fahrzeugs bewältigen kann.

Methodik

Die Autoren schlagen ein Framework vor, das in VRider SBK implementiert ist, einem physikalisch akkuraten, auf Unity basierenden Simulator, der reale Strecken der Superbike-Weltmeisterschaft und Bike-Modelle umfasst. Das System integriert Soft Actor-Critic (SAC) mit Self-Paced Deep Reinforcement Learning (SPDL).

1. Zustands- und Aktionsraum

Zustandsraum: Der Beobachtungsvektor kombiniert propriozeptive und globale Merkmale, normiert auf $[-1, 1]$ $[- 1, 1]$ .
- Propriozeptiv: Lineare/Winkelgeschwindigkeit, aktueller/vorheriger Lenk- und Schräglagewinkel, Schräglage-Historie ( $\theta$ ), Reifen-Schlupfraten und vorherige Steuerungsaktionen. Die Einbeziehung der Schräglage-Historie ist entscheidend, um oszillatorische Verhaltensweisen vorauszusehen und zu unterdrücken.
- Global: 60 gleichmäßig verteilte 3D-Kurspunkte, die mittels Catmull-Rom-Spline-Interpolation entlang der aktuellen Trajektorie (Mittellinie und Streckengrenzen) abgetastet wurden, was ein geschwindigkeitsadaptiertes Look-ahead ermöglicht.
Aktionsraum: Zwei kontinuierliche Aktionen in $[-1, 1]$ $[- 1, 1]$ :
1. Lenkung (welche auch den Schräglagewinkel des Bikes steuert).
2. Ein kombiniertes Gas-/Brems-Signal (gegenseitig ausschließend).

2. Reward-Design

Die Belohnungsfunktion ist dicht und mehrkomponentig gestaltet, um die Rundenzeit zu minimieren und gleichzeitig Instabilität zu sanktionieren. Sie umfasst:

Fortschritt: Verschiebung entlang der Trajektorie, negativ bewertet, wenn das Bike rückwärts fährt oder vom Kurs abkommt.
Strafen: Zeit außerhalb der Strecke, Kontakt mit der Wand (basierend auf kinetischer Energie) sowie spezifische Stabilitätsstrafen für große Änderungen in Lenkung, Schräglage und Winkelgeschwindigkeit zwischen den Schritten.
Historien-Strafen: Sigmoid-basierte Strafen auf akkumulierte Winkeländerungen, um oszillatorisches Verhalten in Lenkung und Schräglage zu unterdrücken.
Ausfallbedingungen: Episoden werden zurückgesetzt, wenn das Bike stürzt, eine Wand berührt oder die Strafzeit-Timer überschreitet.

3. Self-Paced Curriculum (SPDL)

Anstatt eines manuellen Curriculums nutzt das System SPDL, um Aufgaben dynamisch basierend auf der Performance des Agenten zu generieren. Die Schwierigkeit wird durch die zu folgende Trajektorie definiert:

Kontextvariablen:
- $c_1$ : Abstand von der Median-Trajektorie (Mittellinie).
- $c_2$ : Abstand von der Ideallinie.
- $c_3$ : Maximale Geschwindigkeitsgrenze.
Mechanismus: Der Algorithmus pflegt eine Kontextverteilung $p(c|\nu)$ und optimiert einen Kompromiss zwischen Belohnungsmaximierung und Konvergenz gegen eine Zielverteilung (die Ideallinie bei voller Geschwindigkeit). Eine KL-Divergenz-Beschränkung verhindert abrupte Schwierigkeitssprünge. Sobald der Agent einen Leistungsschwellenwert $\delta$ überschreitet, verschiebt das Curriculum automatisch von der einfachen Median-Trajektorie hin zur Ideallinie.

Zentrale Beiträge

RL-Architektur für zweirädrige Fahrzeuge: Ein maßgeschneiderter Zustandsraum inklusive Schräglage-Historie und ein speziell auf die Instabilitäten von Motorrädern (Sturz, Oszillation) ausgerichtetes Reward-Signal.
Integration automatisierter Curricula: Die erste Integration von SPDL mit Unity ML-Agents für das Motorradracing, was die dynamische, automatische Generierung von Aufgaben ohne manuelles Eingreifen ermöglicht.
Etablierung einer Baseline: Vorläufige experimentelle Ergebnisse, die die erste RL-Baseline für autonomes Motorradrennen etablieren und eine überlegene Trainingseffizienz und Stabilität gegenüber dem Standard-SAC zeigen.

Experimentelle Ergebnisse

Die Experimente wurden auf der Barcelona-Strecke (primär) durchgeführt und auf Cremona und Phillip Island verallgemeinert, unter Verwendung der Ducati Panigale V4 R sowie vier weiterer Bike-Modelle.

Trainingseffizienz: Bei Iteration 1150 konnte ein Standard-SAC-Agent keine einzige Runde absolvieren, da er wiederholt die Kontrolle verlor. Der SPDL-Agent absolvierte alle Runden ohne Stürze mit einer Durchschnittszeit von 1:32.85. Bei Iteration 1900 erreichte der SPDL-Agent eine Rundenzeit von 1:30.75 und übertraf damit die trainierte SAC-Baseline (1:31.32) um 0,57 Sekunden.
Stabilität: SPDL-Agenten zeigten signifikant weniger Stürze und Abweichungen von der Strecke im Vergleich zu SAC.
Generalisierung auf Strecken: Mit SPDL trainierte Agenten absolvierten erfolgreich Runden auf Cremona und Phillip Island mit null Stürzen und null Kollisionen, was die Robustheit gegenüber unterschiedlichen Streckengeometrien belegt.
Generalisierung auf Bikes: Eine auf der Ducati Panigale V4 R trainierte Policy wurde auf andere Modelle (Kawasaki, Honda, Yamaha, BMW) ohne Retraining übertragen.
- Die Kawasaki Ninja ZX-10RR zeigte den besten Transfer und lag auf Barcelona nur 0,87s hinter der Ducati.
- Honda- und Yamaha-Modelle waren auf Phillip Island sogar besser als die Ducati aufgrund eines besseren Handlings spezifischer Kurven.
- Die BMW M1000 RR hatte Schwierigkeiten auf Phillip Island und schaffte es nicht, die Runde zu vollenden, was die Schwierigkeit verdeutlicht, auf aggressivere, schwerer zu fahrende Bikes zu transferieren.

Bedeutung und Limitationen

Das Paper beansprucht, die erste RL-Baseline für autonomes Motorradrennen etabliert zu haben, und beweist, dass die Kombination von SAC mit Self-Paced Curriculum Learning effektiv ist, um die einzigartige Dynamik zweirädriger Fahrzeuge zu bewältigen. Das Framework generalisiert erfolgreich über mehrere Strecken und Bike-Modelle hinweg, was darauf hindeutet, dass die gelernte Policy generalisierbare Kontroll-Priors statt nur bike-spezifischer Dynamiken erfasst.

Die Autoren merken jedoch bescheiden aktuelle Limitationen an:

Trajektorien-Präzision: Der Agent neigt dazu, Geschwindigkeit über Präzision zu priorisieren, was gelegentlich zu einem Überfahren von Kurven führt (wie in qualitativen Ergebnissen ersichtlich).
Einzelstrecken-Training: Derzeit wird pro Strecke ein separater Agent trainiert; zukünftige Arbeiten zielen auf eine Multi-Strecken-Generalisierung ab.
Sensorik: Das System basiert derzeit auf vektorbasierten Eingaben; zukünftige Iterationen könnten visuelle Eingaben und asymmetrische Actor-Critic-Architekturen integrieren, um die Sample-Effizienz und den Realismus zu verbessern.

Die Arbeit stellt einen grundlegenden Schritt in Richtung wettbewerbsfähiges autonomes Superbike-Racing dar, wobei zukünftige Richtungen das Testen in kompetitiven Rennsettings statt nur in Time-Trial-Modi umfassen.