Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles

Probleemstelling

Autonome drone-races in omgevingen met obstakels vormen een aanzienlijke uitdaging voor de onderzoeksgemeenschap. Hoewel autonome quadcopters hun wendbaarheid in gecontroleerde, obstakelvrije omgevingen hebben bewezen, blijft het veilig racen in dichtbeboste omgevingen een onopgelost probleem. De kern van de uitdaging ligt in het inherent tegenstrijdige karakter van de twee hoofddoelen:

1. Poortpassage: Vereist agressieve, snelle vlucht en precisie om door de poorten te vliegen.
2. Obstakelontwijking: Vereist conservatieve manoeuvres om botsingen te voorkomen.

Omdat poorten zelf ook als obstakels worden waargenomen door de sensor, creëren deze doelen een conflict dat traditionele methoden (zoals padplanning en optimalisatie) moeilijk kunnen balanceren zonder in te leveren op snelheid of veiligheid. Bestaande leer-gebaseerde benaderingen (RL en imitatie) kampen vaak met slechte generalisatie naar nieuwe obstakelconfiguraties en een lage succesratio bij de overgang van simulatie naar de realiteit (sim-to-real).

Methodologie

De auteurs stellen een nieuw visiegebaseerd Curriculum Reinforcement Learning (CRL) framework voor om een robuuste, end-to-end controller te trainen. De kerncomponenten zijn:

1. End-to-End Visie Controller:

• Observatieruimte: Combineert de staat van de drone (positie, snelheid, oriëntatie, gewenste snelheid) met een dieptekaart (64x64) van een onboard camera. Om de "sim-to-real" kloof te verkleinen, wordt inverse diepte en willekeurige Gaussische ruis gebruikt tijdens training.
• Actieruimte: De policy stuurt direct "Collective Thrust and Body Rate" (CTBR) commando's ($T, \omega_x, \omega_y, \omega_z$).
• Netwerkarchitectuur: Een lichtgewicht actor-critic netwerk bestaande uit CNN's voor beeldverwerking, een MLP voor toestandsdata, en een GRU (Gated Recurrent Unit) om tijdsafhankelijkheden te vangen. Het geheel is ontworpen voor real-time inferentie op een Raspberry Pi.

2. Beloningssysteem (Reward Function):
Om het conflict tussen obstakelontwijking en poortpassage op te lossen, wordt een samengestelde beloningsfunctie gebruikt ($R_t$):

• Progressie ($r_{prog}$): Beloning voor het naderen van de volgende poort.
• Uitlijning ($r_{theta}$): Beloning voor het uitlijnen van de drone met de poort en het "zien" van obstakels, wat grote hoekmanoeuvres mogelijk maakt.
• Obstakelontwijking ($r_{avoid}$): Een continue beloning (in plaats van alleen discrete straffen) gebaseerd op de afstand tot het dichtstbijzijnde obstakel. Dit is cruciaal om de drone niet te laten om de poorten heen vliegen in plaats van erdoorheen.
• Andere componenten: Straffen voor te hoge snelheid, grote acties (voor soepelheid), en beloningen/straffen voor succesvolle passage of crashes.

3. Curriculum Learning Strategie:
De training verloopt in drie oplopende moeilijkheidsgraden om lokale optima te vermijden:

• Niveau 1: Vliegen zonder obstakels op lage snelheid.
• Niveau 2: Willekeurige obstakels toevoegen, maar nog steeds op lage snelheid.
• Niveau 3: Verhoging van de gewenste snelheid, verhoging van de obstakeldichtheid en verwijdering van de snelheidsstraf.

4. Domeinrandomisatie en Multi-scene Updating:

• Obstakelgenerator: Genereert willekeurige obstakels tussen poorten met een veiligheidsmarge, maar garandeert altijd een doorgangbare route.
• Random Initialisatie: Varieert de startpositie en de poortlocaties om robuustheid te vergroten.
• Multi-scene Updating: In plaats van alle agents te updaten op één scène, worden agents in groepen getraind op een variabel aantal scènes. Dit verbetert de efficiëntie en voorkomt overfitting op specifieke obstakelconfiguraties.

Belangrijkste Bijdragen

1. Systematische Generalisatie door Curriculum Learning: Een strategie die agents stapsgewijs laat evolueren van eenvoudige navigatie naar complex racen met willekeurige obstakels, wat de generalisatie naar onbekende omgevingen aanzienlijk verbetert.
2. Efficiëntie door Multi-scene Training: Een nieuwe trainingsparadigma dat de efficiëntie van RL verhoogt en consistente generalisatie over diverse obstakelconfiguraties mogelijk maakt.
3. Oplossing voor het Conflicterende Doel: Een zorgvuldig ontworpen beloningsfunctie die het fundamentele conflict tussen poortpassage en obstakelontwijking oplost, waardoor hoge snelheden en veilige manoeuvres tegelijkertijd mogelijk zijn.

Resultaten

De methode werd getest in simulatie, hardware-in-the-loop (HITL) en echte vluchtexperimenten op drie verschillende banen (S-vormig, 3D-cirkel, J-vormig).

• Simulatie: De visiegebaseerde policy bereikte een 100% succesratio (SR) op alle drie de banen, vergeleken met 30-40% voor bestaande visie-methoden en 20-30% voor een state-based methode (zonder visie). De rondetijden waren vergelijkbaar met de state-based methode maar veel sneller dan de bestaande visie-methoden.
• Hardware-in-the-Loop (HITL): Bereikte 100% SR met snelheden tot 10 m/s.
• Real-World Experimenten: De policy werd succesvol overgebracht naar een fysieke drone (Raspberry Pi + Intel D435i camera) zonder extra training (zero-shot transfer).
  • Snelheid: Tot 8 m/s in de echte wereld.
  • Succesratio: 100% op alle drie de testbanen met willekeurige obstakelplaatsingen.
• Ablatie Studies: Toonden aan dat het verwijderen van het curriculum, de specifieke obstakel-beloning ($r_{avoid}$) of de GRU-module leidt tot een drastische daling in prestaties (tot 0% succes bij één-staps training).

Betekenis en Impact

Dit werk is een belangrijke stap voorwaarts in het veld van autonome drone-races. Het demonstreert dat het mogelijk is om robuuste, end-to-end visie-controllers te trainen die niet alleen snel vliegen, maar ook dynamisch kunnen reageren op onvoorspelbare obstakels in realistische omgevingen.

De belangrijkste doorbraak is de oplossing voor het fundamentele compromis tussen snelheid en veiligheid door middel van een geavanceerd curriculum en een slim beloningssysteem. Dit maakt het mogelijk om drones in complexe, ongestructureerde omgevingen in te zetten, wat een grote stap is richting volledig autonome vluchtoperaties buiten de laboratoriumomgeving. De openbaarmaking van de code en video's draagt bij aan de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap.