Curriculum-based Sample Efficient Reinforcement Learning for Robust Stabilization of a Quadrotor

Titel en Doel

Het artikel introduceert een nieuwe, stalen-efficient curriculum learning (CL) methode om een Reinforcement Learning (RL) beleid te trainen voor de robuuste stabilisatie van een quadcopter. Het hoofddoel is het tegelijkertijd stabiliseren van de positie en de yaw-oriëntatie vanuit willekeurige startcondities, via directe regeling van de toerentallen (RPM) van de motoren (end-to-end), terwijl vooraf gespecificeerde transient- en steady-state specificaties worden nageleefd.

Het Probleem

Hoewel RL veelbelovend is voor de besturing van drones, is het trainen van end-to-end beleidsregels voor complexe taken zoals robuuste stabilisatie vaak rekenkundig intensief en tijdrovend.

• Standaard aanpak: Conventionele "one-stage" training vereist vaak honderden miljoenen tijdstappen (samples) en kan maanden duren om te convergeren, zelfs met krachtige GPU's.
• Uitdaging: Het trainen van een agent om te starten vanuit willekeurige posities, oriëntaties en niet-nul snelheden (lineair en hoekig) en toch binnen strikte tijdslimieten (bijv. < 5 seconden) te stabiliseren, is extreem moeilijk voor een enkele trainingsfase.
• Behoefte: Er is een dringende behoefte aan methoden die de sample-efficiency verbeteren om de trainingskosten en -tijd te verlagen.

Methodologie: Drie-staps Curriculum Learning

De auteurs inspireren zich op bio-geïnspireerd curriculum learning en ontwerpen een gestructureerde, modulaire workflow met drie opeenvolgende fasen. In plaats van de beloningsfunctie te wijzigen, wordt de complexiteit van de taak en het domein van initialisatie geleidelijk uitgebreid, waarbij kennis wordt overgedragen van de ene fase naar de volgende.

1. Fase 1 ($\Omega_1$): Hoveren vanuit een vaste positie.
   • De drone start vanuit een vaste positie $(0,0,0)$ en moet naar een vaste hover-positie $(0,0,1)$ vliegen.
   • Doel: Leren om de basis RPM-waarden voor alle motoren gelijk te houden voor stabiel zweven. Dit vormt een sterke basis voor latere fasen.
2. Fase 2 ($\Omega_2$): Koppeling van vrijheidsgraden.
   • De drone start vanuit willekeurige posities (binnen een cilinder van 2m straal/hoogte) en willekeurige houdingen (roll/pitch binnen $[-15^\circ, 15^\circ]$, yaw binnen $[-180^\circ, 180^\circ]$).
   • Doel: Leren van de koppeling tussen translatie (x, y) en rotatie (roll, pitch) om de doelpositie en yaw van $0^\circ$ te bereiken.
3. Fase 3 ($\Omega_3$): Robuuste stabilisatie.
   • De moeilijkheidsgraad wordt verhoogd door willekeurige initieel lineaire en hoekige snelheden toe te voegen (tot $\pm 1$ m/s en rad/s).
   • Doel: De drone moet de gewenste positie en yaw bereiken terwijl het correcties uitvoert voor deze initiële snelheden.

Beloningsfunctie en Truncatie:
Er wordt een additieve beloningsfunctie gebruikt die bestaat uit:

• Doelbeloning: Straft de afstand tot het doel en de yaw-fout.
• Exploratiebeloning: Begrenst de zoekruimte tot een cilinder om onnodig lange episodes te voorkomen.
• Stabiliteitsbeloning: Beloont het bereiken van de doelpositie met lage roll/pitch hoeken.
• Navigatiebeloning: Straft grote schommelingen in hoeksnelheden voor soepele beweging.
• Episode truncatie: Een episode wordt beëindigd als de drone te ver van het doel komt, de roll/pitch hoek $15^\circ$ overschrijdt, of de tijdslimiet (5 seconden) haalt.

Algoritme:
De training maakt gebruik van Proximal Policy Optimization (PPO) met een actor-critic architectuur (MLP netwerken) in de Gym-PyBullet-Drones simulator.

Belangrijkste Bijdragen

1. Nieuwe CL-methodologie: Een drie-staps curriculum dat specifiek is ontworpen voor de ondergeactiveerde aard van quadcopters en de koppeling tussen translatie en rotatie, in tegenstelling tot eerdere werken die alleen de beloningsgewichten aanpasten.
2. Specifiek Beloningsontwerp: Een beloningsfunctie en truncatiecondities die zijn afgestemd op strikte prestatie-eisen (settling time < 5s, positiestabiliteit < 2.5 cm, yaw-fout < 2°), relevant voor inspectietoepassingen.
3. Bewezen Sample-Efficiency: Het aantonen dat CL aanzienlijk efficiënter is dan traditionele one-stage training, zelfs met dezelfde hyperparameters en beloningsfunctie.

Resultaten

De resultaten tonen een duidelijk verschil tussen de CL-aanpak en de conventionele one-stage training:

• Sample Efficiency:
  • One-stage training: Na 100 miljoen tijdstappen (23,4 uur rekentijd) faalde het beleid om de taak te volbrengen; de cumulatieve beloning bleef laag.
  • Curriculum Learning: Het beleid bereikte het doel na slechts 41,5 miljoen tijdstappen (11 uur rekentijd). Dit is een reductie van ongeveer 58% in trainingsduur en samples.
• Prestaties:
  • De CL-beleid slaagde erin om robuust te stabiliseren vanuit 30 verschillende willekeurige startcondities (inclusief hoge initiële snelheden).
  • In 25 van de 30 tests werd de doelpositie binnen 5 seconden bereikt met soepele transiënten.
  • In 5 extreme gevallen (zeer hoge initiële snelheden) vertoonde de drone complexe manoeuvres (waaronder naderen van de grond) maar stabiliseerde uiteindelijk toch succesvol.
• Inspectie Scenario: In een testscenario met een reeks inspectiepunten en yaw-oriëntaties (binnen $[-25^\circ, 25^\circ]$) voldeed het beleid aan alle specificaties (settling time, positiestabiliteit, yaw-tracking).

Betekenis en Toekomst

Dit onderzoek is significant omdat het aantoont dat curriculum learning een cruciale rol kan spelen bij het overwinnen van de sample-inefficiëntie die vaak RL-toepassingen op drones beperkt. Het biedt een praktische, gestructureerde route om complexe, robuuste besturingsproblemen op te lossen zonder de noodzaak van extreme rekenkracht of maandenlange tuning.

Toekomstperspectief:
De auteurs plannen om de curriculum-setup te automatiseren en de getrainde beleidsregels over te brengen naar echte drones (sim2real transfer) om de kloof tussen simulatie en de fysieke wereld te overbruggen.