Technische Samenvatting: Een Heuristische Aanpak voor Prestatieoptimalisatie in RL-gebaseerde Koptaakbesturing

Probleemstelling

Hoewel Reinforcement Learning (RL) indrukwekkende capaciteiten heeft aangetoond bij snelle, wendbare quadcoptertaken zoals drone-racen en navigatie door rommelige omgevingen, mist het vaak het vermogen om instelbare, precieze en gecontroleerde manoeuvres te bieden die vereist zijn voor toepassingen zoals infrastructuurinspectie. Typische RL-trainingopstellingen zijn star, waardoor het moeilijk is om resulterend gedrag iteratief af te stemmen op specifieke regeltechnische criteria (bijvoorbeeld inschakeltijd, overshoot, stationaire fout) zonder prohibitieve rekenkosten. Bovendien bieden RL-beloningsfuncties, in tegenstelling tot klassieke Proportioneel-Integraal-Derivatieve (PID) regelaars die intuïtieve afstemheuristieken bieden, vaak complexe functies die moeilijk te koppelen zijn aan specifieke transientie- en stationaire prestatievereisten.

Methodologie

De auteurs stellen een nieuwe heuristische aanpak voor om instelbare prestaties te bereiken in end-to-end RL-gebaseerde quadcoptersbesturing door manipulatie van beloningsontwerp en beëindigingsvoorwaarden. Het systeem wordt gemodelleerd als een Gedeeltelijk Waarneembaar Markov Beslissingsproces (POMDP) met behulp van het Proximal Policy Optimization (PPO)-algoritme.

1. Systeem en Waarneming

• Platform: De studie maakt gebruik van een Crazyflie 2.1 quadcopter in een $X$-configuratie.
• Dynamica: Het systeem gebruikt eenheidskwaternionen voor oriëntatie om singulariteiten te vermijden, en modelleert starrelichaamdynamica inclusief stuwkracht, koppel en zwaartekracht.
• Waarnemingsruimte: De agent observeert een 17-dimensionale vector bestaande uit positiefout, kwaternionfout, lineaire snelheid, hoeksnelheid en de vorige actie. Gaussisch ruis wordt toegevoegd aan alle toestandscomponenten (behalve de vorige actie) om robuustheid tegen real-time sensorruis te verbeteren.
• Actieruimte: Het beleid geeft genormaliseerde motor-tomentalen (RPM) uit, die direct worden gemapt naar de vier motoren van de drone.

2. Ontwerp van de Beloningsfunctie

Een meercomponenten beloningsfunctie is ontworpen om het beleid te sturen naar stabiliserende besturing:
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• Overlevingsbeloning ($s_R$): Stimuleert de agent om crashes of onveilige toestanden te vermijden.
• Positiefout-beloningen ($e^R_{xy}, e^R_z$): Maakt gebruik van dubbel-bandbreedte exponentiële beloningen. Deze structuur splitst de beloning in coëfficiënten die de vroege respons ($\alpha$) en de stationaire nauwkeurigheid ($\beta$) beïnvloeden.
• Snelheids- en Hoekbeloningen ($v_R, \theta_R$): Belonen de reductie van lineaire snelheid en oriëntatiefout (gemeten via de geodetische hoek).
• Gladheidsstraf ($a^P_{\Delta}$): Straft het gekwadrateerde Euclidische norm van het verschil tussen opeenvolgende acties, en fungeert als een dempingsfactor om gedrag dat lijkt op differentieelbesturing te bevorderen.

3. Beëindigings- en Truncatievoorwaarden

De auteurs definiëren specifieke faalvoorwaarden (bijvoorbeeld dalen onder de 10 cm, overmatige versnelling) en truncatiehorizons. Deze voorwaarden worden afgestemd om het gedrag van de quadcopter te beperken, wat invloed heeft op de wendbaarheid en de kritisch gedempte aard van de respons.

4. Heuristische Afstemregels

De kernbijdrage is een reeks intuïtieve heuristieken om de beloningsgewichten, exponentiële coëfficiënten en beëindigingsgrenzen aan te passen om de prestaties te verschuiven tussen drie distincte modi:

• Basislijn: Een kritisch gedempte respons met een lage stationaire fout.
• Acrobatisch (Sneller): Bereikt door de bandbreedte van de vroege respons van positiefouten te verhogen en snelheidsbeperkingen te versoepelen, wat zorgt voor kortere inschakeltijden.
• Inspectie (Langzamer): Bereikt door snelheidsbeëindigingsgrenzen te verkleinen, de scherpte van positiefout-beloningen te verhogen en overlevingsbeloningen te versoepelen om lokale minima te vermijden, wat resulteert in soepelere, langzamere transiënten.

Belangrijkste Bijdragen

1. Nieuwe Beloningsstructuur: Introductie van dubbel-bandbreedte exponentiële beloningen die een basislijn kritisch gedempte respons bereiken met lage stationaire fouten bij het volgen van setpoints.
2. Instelbare Heuristieken: Een raamwerk van intuïtieve regels om beloningsgewichten en beëindigingsvoorwaarden aan te passen om "acrobatische" (snelle) en "inspectie-achtige" (langzame) inschakeltijden te produceren, terwijl de karakteristieken van de stationaire fout van de basislijn behouden blijven.
3. Staal-efficiëntie: Aantonen dat de gewenste prestaties kunnen worden bereikt in ongeveer 6 miljoen tijdstappen met PPO, zonder complexe hybride architecturen (bijvoorbeeld RL gecombineerd met PID) te vereisen.
4. Statistische Validatie: Validatie over 100 proeven met willekeurige beginvoorwaarden, wat consistente prestaties aantoont voor positie- en yaw-tracking.

Resultaten

De auteurs trainden drie verschillende beleidslijnen (Basislijn, Acrobatisch, Inspectie) met identieke PPO-hyperparameters.

• Trainingsefficiëntie: Alle beleidslijnen bereikten beloningsverzadiging bij 6 miljoen tijdstappen. De variantie tussen willekeurige zaden was laag, wat stabiliteit aangeeft.
• Prestatiemetingen:
  • Inschakeltijd: Het Acrobatische beleid behaalde consequent kortere inschakeltijden, terwijl het Inspectie-beleid langere, soepelere transiënten vertoonde in vergelijking met de Basislijn.
  • Overshoot: De x-, y- en z-positievariabelen vertoonden een Interkwartielafstand (IQR) van nul in overshoot, wat aangeeft dat ten minste 75% van de proeven de beoogde kritisch gedempte respons bereikte. Yaw-overshoot was groter, toegeschreven aan gerandomiseerde beginvoorwaarden.
  • Stationaire Fout: Alle drie de beleidslijnen hielden stationaire fouten binnen de voorgeschreven 2%-band voor positie en yaw.
• Motoractivering: Het Inspectie-beleid vereiste minder motoractivering en stabiliseerde sneller in termen van RPM-stabilisatie in vergelijking met het agressievere Acrobatische beleid.

Betekenis en Beweringen

Het artikel beweert dat de voorgestelde heuristische aanpak een betrouwbare en praktische methodologie vormt voor het ontwerpen van RL-gebaseerde quadcopterregelaars met instelbare stabiliserende prestaties. In tegenstelling tot eerdere hybride benaderingen die zich richten op het trainen van een enkel beleid met vaste verwachtingen, biedt dit werk een mechanisme om de prestatiekarakteristieken van het beleid (transientie versus stationair) te controleren door intuïtieve parameteraanpassingen.

De auteurs benadrukken dat deze aanpak de kloof overbrugt tussen de flexibiliteit van RL en de voorspelbaarheid van klassieke regeltheorie, waardoor het mogelijk is regelaars te genereren die geschikt zijn voor diverse toepassingen, variërend van high-speed racen tot precieze infrastructuurinspectie. Het werk is bescheiden in omvang, met focus op simulatiegebaseerde validatie met Gaussisch ruis, en identificeert expliciet sim-naar-real-overdracht, domeinrandomisatie, latentie en onboard rekenkrachtbeperkingen als noodzakelijke gebieden voor toekomstig werk.