💻 computer science

Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles

Die Autoren stellen einen neuartigen, visuell basierten Curriculum-Reinforcement-Learning-Ansatz vor, der durch mehrstufiges Curriculum-Learning, Domänenrandomisierung und eine Multi-Szenen-Aktualisierungsstrategie einen robusten End-to-End-Regler für den Hochgeschwindigkeitsflug von Quadrocoptern in Umgebungen mit zufälligen Hindernissen entwickelt, der in Experimenten schnellere Rundenzeiten und höhere Erfolgsquoten als bestehende Methoden erzielt.

Ursprüngliche Autoren: Fangyu Sun, Fanxing Li, Yu Hu, Linzuo Zhang, Yueqian Liu, Wenxian Yu, Danping Zou

Veröffentlicht 2026-03-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fangyu Sun, Fanxing Li, Yu Hu, Linzuo Zhang, Yueqian Liu, Wenxian Yu, Danping Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem kleinen, fliegenden Roboter (einer Drohne) beibringen, einen extremen Parcours zu fliegen. Aber es gibt ein Problem: Der Parcours ist nicht leer. Er ist voller zufällig platzierter Hindernisse – wie Stangen, Kisten oder Bäume – und die Drohne muss nicht nur diesen Hindernissen ausweichen, sondern auch noch durch die Tore fliegen, die selbst wie Hindernisse aussehen.

Das ist wie ein Formel-1-Rennen, bei dem die Fahrer gleichzeitig Slalom fahren müssen, während sich die Kurven und Hindernisse bei jedem Rennen neu anordnen.

Hier ist die einfache Erklärung der Forschung von Fangyu Sun und seinem Team, wie sie dieses Problem gelöst haben:

1. Das Problem: Der Konflikt zwischen „Schnell" und „Sicher"

Normalerweise ist es leicht, eine Drohne zu lehren, schnell durch leere Tore zu fliegen. Es ist auch leicht, ihr beizubringen, langsam vor einer Wand zu stoppen.
Aber beides gleichzeitig? Das ist ein Dilemma.

Um Hindernissen auszuweichen, muss die Drohne vorsichtig sein und vielleicht um eine Ecke fahren.
Um durch ein Tor zu kommen, muss sie direkt und schnell auf das Tor zusteuern.

Wenn man eine Drohne einfach nur mit „Strafen" für Kollisionen trainiert, wird sie ängstlich. Sie fliegt lieber weit an den Toren vorbei, anstatt hindurchzugehen, weil sie denkt: „Das Tor ist auch ein Hindernis!"

2. Die Lösung: Der „Lehrplan" (Curriculum Learning)

Statt die Drohne sofort in den chaotischen Parcours zu werfen, haben die Forscher eine Methode namens Curriculum Reinforcement Learning (Lehrplan-basiertes Lernen) entwickelt.

Stellen Sie sich das wie das Lernen eines Sportlers vor:

Level 1 (Die Grundschule): Die Drohne fliegt in einem leeren Raum. Sie lernt nur, wie man durch die Tore fliegt, ohne Hindernisse. Sie wird schnell und sicher.
Level 2 (Die Mittelschule): Jetzt kommen ein paar Hindernisse dazu, aber die Drohne fliegt noch langsam. Sie lernt, wie man ausweicht, ohne die Tore zu verpassen.
Level 3 (Die Universität): Jetzt wird es wild! Die Hindernisse sind zahlreich, zufällig verteilt und die Drohne muss mit voller Geschwindigkeit (bis zu 10 m/s!) fliegen.

Durch dieses schrittweise Vorgehen lernt die Drohne, dass Hindernisse nicht bedeuten, dass sie aufhören muss zu fliegen, sondern dass sie ihre Flugbahn anpassen muss.

3. Der Trick: Die „Belohnungs-Formel"

Ein weiterer wichtiger Teil ist die Belohnung, die die Drohne im Computer erhält.

Frühere Methoden sagten: „Wenn du einen Baum berührst, gibt es eine Strafe." Das führte dazu, dass die Drohne die Tore mied.
Diese Forscher haben eine ausgeglichene Belohnungsformel entwickelt. Sie sagen der Drohne: „Es ist toll, wenn du schnell bist, aber es ist noch toller, wenn du durch das Tor fliegst. Wenn du einem Hindernis ausweichst, bekommst du Punkte, aber wenn du das Tor verpasst, verlierst du mehr Punkte."

So lernt die Drohne, dass sie mutig sein muss, um durch das Tor zu kommen, aber klug genug, um nicht gegen die Wände zu fliegen.

4. Der „Multiszenen-Trainer"

Stellen Sie sich vor, Sie trainieren einen Fußballspieler. Wenn Sie ihn immer nur auf demselben Feld trainieren, lernt er nur dieses eine Feld.
Die Forscher haben eine Technik namens Multi-Scene Updating entwickelt. Ihre Drohne trainiert nicht nur auf einem Parcours, sondern gleichzeitig auf vielen verschiedenen, leicht veränderten Parcoursen.

Ein Parcours hat viele Hindernisse.
Ein anderer hat wenige.
Ein anderer hat die Tore an einer anderen Stelle.

Die Drohne lernt so, dass sie nicht auswendig lernt, wo die Hindernisse sind, sondern wie man mit Hindernissen umgeht. Das macht sie extrem robust.

5. Das Ergebnis: Vom Simulator in die echte Welt

Das Beste an dieser Forschung ist, dass die Drohne niemals einen echten Parcours gesehen hat, bevor sie geflogen ist.

Sie wurde komplett in einem Computersimulator trainiert (wie in einem Videospiel).
Dann wurde sie auf eine echte Drohne geladen, die eine Kamera und einen kleinen Computer (Raspberry Pi) an Bord hat.
Das Ergebnis: Die Drohne flog in der echten Welt durch zufällige Hindernisse, mit einer Geschwindigkeit von bis zu 8 Metern pro Sekunde, und schaffte es zu 100 %, alle Tore zu passieren, ohne zu crashen.

Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie wollen einem Schüler beibringen, Autofahren.

Der alte Weg: Sie setzen den Schüler in ein Auto und sagen: „Fahre schnell, aber weiche allen anderen Autos aus." Der Schüler panisch und fährt nicht schnell genug oder prallt gegen die Bordsteine.
Der neue Weg (diese Forschung):
1. Erst übt der Schüler auf einer leeren Rennstrecke.
2. Dann kommen ein paar statische Hütchen dazu.
3. Dann werden die Hütchen bewegt und es wird schneller.
4. Der Lehrer gibt klare Anweisungen: „Das Ziel ist das Tor, die Hütchen sind nur Störfaktoren."
5. Der Schüler trainiert auf 100 verschiedenen Strecken gleichzeitig.

Am Ende steigt der Schüler in ein echtes Auto, fährt auf einer unbekannten Strecke mit zufälligen Hindernissen und gewinnt das Rennen, ohne vorher je dort gewesen zu sein.

Das ist genau das, was diese Drohne kann: Sie ist der ultimative Rennfahrer, der durch Übung und kluges Training gelernt hat, das Chaos zu meistern.

1. Problemstellung

Das autonome Drohnenrennen in unübersichtlichen Umgebungen stellt eine erhebliche Herausforderung dar. Während bestehende Forschungsarbeiten oft auf obstacle-freien Strecken konzentriert sind, bleiben die Wahrnehmungs- und Dynamikherausforderungen durch zufällige Hindernisse untererforscht.

Der Zielkonflikt: Ein zentrales Problem ist der inhärente Widerspruch zwischen zwei Zielen: Das Durchfliegen von Toren (Gate Traversal) erfordert aggressive, präzise Manöver nahe dem Torzentrum, während die Hindernisvermeidung (Obstacle Avoidance) konservative Manöver nahelegt. Da Tore selbst als Hindernisse wahrgenommen werden, neigen herkömmliche RL-Ansätze oft dazu, Tore zu umfliegen statt sie zu durchqueren, oder sie versagen bei der Generalisierung auf neue Szenarien.
Sim-to-Real Gap: Bestehende lernbasierte Methoden leiden oft unter einer geringen Erfolgsrate und schlechter Übertragbarkeit von der Simulation in die reale Welt, insbesondere bei variablen Hinderniskonfigurationen.

2. Methodik

Die Autoren schlagen einen visionsbasierten Curriculum-Reinforcement-Learning (CRL)-Framework vor, um einen robusten End-to-End-Controller zu trainieren.

Architektur: Das System verwendet ein einziges neuronales Netzwerk (Actor-Critic), das visuelle Eingaben (Tiefenkarten) und Zustandsdaten direkt auf Steuerbefehle (Collective Thrust und Body Rates – CTBR) abbildet.
- Eingabe: Eine 17-dimensionale Zustandsvektor (Position, Geschwindigkeit, Orientierung, gewünschte Geschwindigkeit, Tor-Positionen) und eine 64x64 Tiefenkarte (Invertierte Tiefe mit Rauschen).
- Verarbeitung: Ein Multi-Modal-Feature-Extractor (MLP für Zustände, CNN für Bilder) speist die Daten in eine GRU (Gated Recurrent Unit), um zeitliche Abhängigkeiten zu erfassen. Das Netzwerk ist leichtgewichtig und läuft in Echtzeit auf einem Raspberry Pi.
Belohnungsfunktion (Reward Design): Um den Konflikt zwischen Torpassage und Hindernisvermeidung zu lösen, wurde eine zusammengesetzte Belohnungsfunktion entwickelt ( $R_t$ $R_{t}$ ), die folgende Komponenten umfasst:
- Fortschrittsbelohnung ( $r_{prog}$ ) und Tor-Ausrichtung ( $r_{theta}$ ).
- Eine spezielle kontinuierliche Belohnung für Hindernisvermeidung ( $r_{avoid}$ ), die Kollisionen bestraft, ohne das Durchfliegen von Toren zu blockieren.
- Strafen für große Aktionen ( $r_{cmd}$ ) und Überschreitung der Wunschgeschwindigkeit ( $r_{vd}$ ).
- Binäre Belohnungen für erfolgreiche Torpassage ( $r_{pass}$ ) und Kollisionen ( $r_{crash}$ ).
Trainingsstrategie:
1. Multi-Stage Curriculum Learning: Das Training erfolgt in drei aufsteigenden Schwierigkeitsstufen:
  - Level 1: Hindernisfreie Strecke bei niedriger Geschwindigkeit.
  - Level 2: Zufällige Hindernisse bei niedriger Geschwindigkeit.
  - Level 3: Hohe Geschwindigkeit, hohe Hindernisdichte und Entfernen der Geschwindigkeitsstrafe.
2. Domain Randomization: Um den Sim-to-Real-Gap zu überbrücken, werden Hindernisse, Startpositionen und Torpositionen stark randomisiert. Ein „Obstacle Generator" garantiert stets einen passierbaren Pfad.
3. Multi-Scene Updating: Anstatt alle Agenten auf derselben Szene zu aktualisieren, wird eine variable Anzahl paralleler Szenen verwendet, um die Generalisierung zu verbessern und Overfitting zu vermeiden.

3. Schlüsselbeiträge

Systematische Generalisierung durch Curriculum Learning: Ein mehrstufiger Ansatz, der den Agenten schrittweise von einfachen zu komplexen, unübersichtlichen Umgebungen führt, was die Generalisierungsfähigkeit auf bisher unbekannte Szenarien signifikant verbessert.
Multi-Scene Training: Eine neuartige Trainingsparadigma, das die Effizienz steigert und eine konsistente Generalisierung über diverse Hinderniskonfigurationen hinweg ermöglicht.
Konfliktlösung durch Reward-Design: Eine speziell gestaltete Belohnungsfunktion, die den Zielkonflikt zwischen aggressiver Torpassage und sicherer Hindernisvermeidung auflöst, was große Winkel-Manöver bei hoher Geschwindigkeit erlaubt, ohne die Sicherheit zu gefährden.

4. Ergebnisse

Die Methode wurde in Simulation, Hardware-in-the-Loop (HITL) und realen Flügen auf drei verschiedenen Strecken (S-förmig, J-förmig, 3D-Kreis) validiert.

Vergleich mit Baselines: Die vorgeschlagene Methode erreicht eine 100%ige Erfolgsrate (Success Rate - SR) in allen Testszenarien, im Vergleich zu 30–40% bei bestehenden visuellen RL-Methoden und 20–30% bei zustandsbasierten Methoden ohne visuelle Eingabe.
Geschwindigkeit: Die Drohne erreicht in der Simulation Geschwindigkeiten von bis zu 10 m/s und in realen Flügen 8 m/s.
Robustheit: Die Methode zeigt hohe Robustheit gegenüber variabler Hindernisdichte (bis zu 5 Hindernisse pro Streckenabschnitt) und Verschiebungen der Torpositionen (bis zu ±1,0 m).
Hardware: Die End-to-End-Inferenz läuft erfolgreich auf einem Raspberry Pi mit einer Intel D435i Tiefenkamera bei 30 Hz, was eine echte autonome Hochgeschwindigkeitsflüge in Echtzeit ermöglicht.

5. Bedeutung und Fazit

Dieses Paper stellt einen bedeutenden Fortschritt im Bereich des autonomen Drohnenrennens dar, indem es die Lücke zwischen reinen Torpassage-Strategien und Hindernisvermeidung schließt.

Praktische Relevanz: Die Fähigkeit, in unstrukturierten Umgebungen mit zufälligen Hindernissen sicher und schnell zu fliegen, ist ein wichtiger Schritt hin zu praktischen Anwendungen von Drohnen in komplexen Umgebungen (z. B. Rettungseinsätze, Inspektion).
Methodischer Durchbruch: Die Kombination aus Curriculum Learning, Domain Randomization und einem sorgfältig abgestimmten Reward-Design demonstriert, wie Reinforcement Learning genutzt werden kann, um komplexe, widersprüchliche Ziele in der Robotik zu balancieren.
Sim-to-Real Transfer: Der Erfolg der „Zero-Shot"-Übertragung von der Simulation in die reale Welt ohne Nachtraining unterstreicht die Wirksamkeit des vorgeschlagenen Trainingsframeworks.

Zusammenfassend bietet die Arbeit einen robusten, end-to-end visuellen Ansatz, der die Grenzen des agilen Flugs in hindernisreichen Umgebungen erweitert und gleichzeitig hohe Erfolgsraten und Geschwindigkeiten gewährleistet.