Technische Samenvatting: Adaptieve Buitenlusregeling van Quadcopters via Versterkend Leren

Probleemstelling

Autonome vluchtregeling van quadcopters in complexe, real-world omgevingen staat voor aanzienlijke uitdagingen door niet-gemodelleerde dynamica, zoals ernstige aerodynamische verstoringen, slijtage van actuatoren en plotselinge variaties in lading. Traditionele regelingmethoden (PID, LQR, MPC) vertrouwen op expliciete wiskundige modellen en degraderen vaak snel onder dergelijke onzekerheden. Hoewel Deep Reinforcement Learning (DRL) een modelvrij alternatief biedt, lijden standaard DRL-controllers die in simulatie zijn getraind aan de "sim-to-real" kloof. De heersende oplossing, Domain Randomization (DR), produceert robuuste beleidsregels maar dwingt de controller om een enkel, uiterst conservatief strategie te leren dat de prestaties in het slechtst mogelijke geval maximaliseert. Deze aanpak offert wendbaarheid en optimale prestaties onder nominale omstandigheden op, omdat de controller blind blijft voor de instantane toestand van de omgeving.

De kernvraag van dit onderzoek is: Hoe kan een op leren gebaseerde vluchtcontroller dynamisch niet-gemodelleerde fysieke verstoringen schatten op basis van vorige toestanden en deze latente informatie gebruiken om optimale volgprestaties te behouden, terwijl de sim-to-real kloof naadloos wordt overbrugd?

Methodologie

De auteurs stellen een nieuwe adaptieve regelingarchitectuur voor die voorbijgaat aan statische, conservatieve beleidsregels door de controller in staat te stellen actief te waarnemen en te reageren op instantane verstoringen. Het systeem is gebouwd op een gekaskedeerde regelingstructuur waarbij een hoog-niveau Reinforcement Learning (RL)-beleid fungeert als buitenlusregelaar, die gewenste lichaamssnelheden en collectieve stuwkracht output, welke worden gevolgd door een aan boord aanwezige PID-snelheidsregelaar.

De methodologie bestaat uit drie hoofdcomponenten:

1. Adaptieve Controller met Oracle-baseline:
   Om een bovengrens voor de prestaties te stellen, trainen de auteurs eerst een RL-beleid naast een "Oracle" die toegang heeft tot grondwaarheid 6D-omgevingsverstoringen (krachten en momenten). Dit beleid leert optimale reacties op specifieke dynamische variaties in plaats van een algemeen compromis. Echter, aangezien fysieke micro-UAV's niet over de sensoren beschikken om deze krachten in real-time te meten, kan deze Oracle niet direct worden ingezet.

2. Residuale Dynamica Predictor (RDP):
   Om de Oracle te vervangen tijdens inzet in de echte wereld, introduceren de auteurs een Recurrent Neural Network (RDP) ontworpen als een niet-lineaire, impliciete toestandschatter. De RDP schat niet-geobserveerde 6D-externe krachten en momenten uitsluitend aan de hand van een tijdsreeks van voertuigtoestanden en laag-niveau actuatiesignalen.

   • Input: De RDP neemt een venster van kinematische voertuigtoestanden, eerdere buitenlusacties en, cruciaal, de 4-dimensionale Pulse Width Modulation (PWM)-signalen die naar de individuele motoren worden gestuurd. De opname van PWM-signalen is essentieel voor het vastleggen van transient actuatortoestanden en motorvertraging.
   • Architectuur: Het netwerk maakt gebruik van Gated Recurrent Units (GRU's) om een rollend historisch venster van gestandaardiseerde observaties te verwerken, en output een voorspelde 6D-verstoringsvector.

3. Datadoeltreffende Sim-to-Real Kalibratiebrug:
   Om de discrepantie tussen in simulatie getrainde schatters en fysieke realiteit aan te pakken, introduceren de auteurs een lichtgewicht lineaire kalibratielaag. In plaats van uitgebreid hertrainen, gebruiken ze een minimaal dataset (drie korte vluchtstalen) om een multivariabel lineair regressiemodel te fitten. Deze brug corrigeert stationaire afwijkingen (bijvoorbeeld door asymmetrieën in massaverdeling of batterijspanningscurves). Daarnaast accumuleert een online stuwkrachtcorrectiemechanisme hoogtevolgfouten om constante verticale krachtafwijkingen aan te passen, zodat de latente ruimte van de schatter overeenkomt met de fysieke realiteit.

Belangrijkste Bijdragen

• Adaptieve RL-Controller: Ontwikkeling van een buitenlusregelaar die met een Oracle is getraind om optimale reacties te leren op variërende externe krachten, weg van het conservatieve karakter van DR.
• Residuale Dynamica Predictor (RDP): Ontwerp van een recurrent neural network dat impliciet 6D-fysieke verstoringen voorspelt uitsluitend aan de hand van toestands geschiedenis en motorcommando's, waardoor de behoefte aan grondwaarheid-verstorings sensoren effectief wordt vervangen.
• Datadoeltreffende Sim-to-Real Brug: Introductie van een computatie-efficiënte lineaire kalibratielaag en online stuwkrachtcorrectie die in simulatie getrainde schatters met de realiteit in overeenstemming brengen met slechts enkele seconden vluchtdata, waardoor de noodzaak voor grootschalige real-world datasets wordt geëlimineerd.

Experimentele Resultaten

De aanpak werd gevalideerd op een Bitcraze Crazyflie 2.X micro-quadcopter in drie real-world scenario's: variatie in centrale ladingmassa, asymmetrische ladingverdeling en dynamische trajectvolging met een opgehangen lading.

• Variatie in Centrale Lading: De adaptieve controller met de geleerde RDP behaalde een Root Mean Square Error (RMSE) van 0,024 m tot 0,030 m over ladingstijgingen van 0% tot 25%. Dit presteerde beter dan zowel de Basiscontroller (die degradeerde tot 0,160 m bij 25% lading) als de Robuuste Controller (die zelfs bij 0% lading ernstige oscillerende instabiliteit vertoonde). Opmerkelijk is dat de op RDP gebaseerde controller iets beter presteerde dan de op Oracle gebaseerde versie, wat suggereert dat de geleerde latente representatie niet-rigide fysieke invoer beter compenseert voor modelmismatches.
• Asymmetrische Lading: In scenario's die gekoppelde translatie- en rotatieverstoringen veroorzaakten, behield de adaptieve controller aanzienlijk lagere volgfouten in vergelijking met baselines. De RDP slaagde erin geïnduceerde roll- en pitchmomenten te schatten, waardoor de controller deze koppelingen kon ontkoppelen en tegenwerken.
• Dynamische Trajectvolging: Bij het volgen van een 8-vormig traject met een opgehangen lading, behield het systeem stabiele vlucht zelfs naarmate de agressiviteit van het traject toenam (periode T verlaagd van 15s naar 3s). Hoewel de volgfout toenam met de agressiviteit vanwege bandbreedtebeperkingen, bleef het systeem stabiel zonder divergentie. De RDP slaagde erin de tijdvariabele oscillerende dynamica van de opgehangen lading vast te leggen.

Betekenis en Claims

Het artikel stelt dat actieve, real-time adaptatie fundamenteel superieur is aan passieve robuustheid (DR) voor het behouden van stabiele en optimale vluchtvolgprestaties. Belangrijke inzichten zijn:

• Voldoende Impliciete Schatting: Complexe 6D-externe krachten en momenten kunnen nauwkeurig worden gereconstrueerd zonder gespecialiseerde kracht-moment sensoren, uitsluitend met behulp van standaard aan boord aanwezige kinematica en actuatiesignalen.
• Regelrelevant versus Exacte Schatting: Een precieze reconstructie van grondwaarheid-fysische grootheden is niet strikt noodzakelijk voor hoge prestaties. Een gebonden schattingsfout (bijvoorbeeld 3%–7% in massaschatting) is voldoende, mits het netwerk een consistente, regelrelevante representatie van verstoringstrends genereert.
• Efficiënte Sim-to-Real Transfer: De discrepantie tussen simulatie en realiteit kan worden benaderd door een lineair verband van lage orde. Dit maakt een effectieve overbrugging van de sim-to-real kloof mogelijk met een lichtgewicht lineaire kalibratie en online correctie, waardoor complexe niet-lineaire domeinadaptatie of uitgebreid hertrainen wordt vermeden.
• Doeltreffendheid van Ontkoppelde Training: Het trainen van een optimaal beleid met een Oracle voordat wordt overgeschakeld naar een geleerde schatter, omzeilt de instabiliteit en sample-inefficiëntie die vaak geassocieerd worden met end-to-end RL in deels waarneembare omgevingen.

De auteurs concluderen dat deze architectuur micro-quadcopters in staat stelt te opereren onder ernstige dynamische onzekerheden, zoals massavariaties en dynamische opgehangen ladingen, met een precisie die klassieke en robuuste RL-baselines aanzienlijk overtreft. Toekomstig werk richt zich op het uitbreiden van dit kader naar turbulente windstoten en grotere platformen.