Learning-based control of a single-DOF Aero system

Technische Samenvatting: Leergestuurde Regeling van een Aero-systeem met één Vrijheidsgraad

Probleemstelling
Nietlineaire mechatronische systemen, zoals luchtvaartplatforms en robotmanipulatoren, worden geconfronteerd met aanzienlijke regelingstechnische uitdagingen als gevolg van sterke nietlineariteiten, parametrische onzekerheden, niet-gemodelleerde dynamica en externe verstoringen. Hoewel klassieke nietlineaire regeltechnieken zoals feedback-linearisatie en sliding mode control formele stabiliteitsgaranties bieden, is hun prestatie kritisch afhankelijk van de beschikbaarheid van een nauwkeurig systeemmodel. In de praktijk leiden onvermijdelijke modelleringsfouten en onbekende verstoringen vaak tot een verslechtering van de prestaties of een compromittering van de stabiliteit. Daarentegen, hoewel Reinforcement Learning (RL) adaptiviteit biedt door interactie met de omgeving, missen standaard RL-algoritmen vaak formele stabiliteitsgaranties en vereisen ze uitgebreide exploratie, wat hun inzetbaarheid in veiligheidskritische of hoog nietlineaire systemen bemoeilijkt. Het kernprobleem dat wordt aangepakt, is de ontwikkeling van een controlearchitectuur die de analytische stabiliteitsgaranties van modelgebaseerde regeling integreert met de adaptiviteit van leergebaseerde methoden om onzekerheden aan te pakken zonder de veiligheid op te offeren.

Methodologie
De auteurs stellen een hybride regelarchitectuur voor die wordt toegepast op een model met één vrijheidsgraad (pitch) van het Quanser AERO-systeem. De methodologie combineert een op Lyapunov gebaseerde feedback-linearisatie regelaar met een policy-gradient reinforcement learning component.

1. Controle-architectuur:

   • Nominale Regelaar: Een feedback-linearisatie wet wordt afgeleid om de systeemdynamica te lineariseren. Deze regelaar is ontworpen met behulp van Lyapunov-stabiliteitsanalyse om gesloten-lus stabiliteit te garanderen in de aanwezigheid van modelleringsonzekerheden.
   • Leercomponent: Een actor-critic reinforcement learning agent wordt ingezet om niet-gemodelleerde dynamica en externe verstoringen online te schatten en te compenseren. De agent leert een verstoringscompensator ($\hat{d}$) die wordt toegevoegd aan de nominale regelwet.
   • Algoritme: De leermodule maakt gebruik van het REINFORCE-with-baseline algoritme. De policy (actor) wordt gemodelleerd als een Gaussische verdeling, terwijl een aparte neurale netwerk (critic) de state-value functie schat. Om de training te stabiliseren en de variantie van de policy-gradient schattingen te verminderen, gebruiken de auteurs Generalized Advantage Estimation (GAE).
   • Beloningsfunctie: De beloning is gedefinieerd op basis van de gecombineerde tracking error ($\eta$), specifiek $r = -|\eta| \ln(1 + t)$. De logaritmische tijdsafhankelijke term dempt de invloed van grote transiënte fouten in het begin van de episode, waardoor de focus verschuift naar prestaties in de stationaire fase.

2. Stabiliteitsanalyse:
   Het artikel biedt een Lyapunov-gebaseerd stabiliteitsbewijs. Er wordt vanuit gegaan dat de pitch-hoek en de afgeleerde daarvan meetbaar zijn, de gewenste traject continu differentieerbaar is en de verstoring begrensd is. De analyse toont aan dat als de output van de RL-agent begrensd is, de fout in de verstoringsbenadering begrensd blijft. Bijgevolg vertoont het gesloten-lus systeem uniform uiteindelijk begrensde (UUB) tracking-fouten. De stabiliteit van het systeem wordt primair gewaarborgd door de op Lyapunov gebaseerde feedback-linearisatie, terwijl de RL-agent zorgt voor adaptieve compensatie binnen deze stabiliteitsgrenzen.

3. Simulatieopstelling:
   Numerieke simulaties werden uitgevoerd in Python met de vierde-orde Runge-Kutta methode. Het systeem werd onderworpen aan gerandomiseerde begincondities en tijdvariërende gewenste trajecten. De RL-agent werd getraind over 20.000 episodes met de Adam-optimizer met een leersnelheid van $1 \times 10^{-4}$.

Belangrijkste Resultaten

• Algoritme Prestaties: Vergelijkingen tussen vanilla REINFORCE en REINFORCE-with-baseline toonden aan dat de met baseline verbeterde variant significant hogere uiteindelijke returns en snellere convergentie bereikte. Vanilla REINFORCE vertoonde instabiel leergedrag en slaagde er niet in te convergeren bij lagere leersnelheden, terwijl de variant met baseline stabiele prestaties bereikte in ongeveer 2.500 episodes.
• Traject Tracking: In simulaties met 100 gerandomiseerde begincondities vertoonde de leergestuurde regelaar een superieure traject-volgfout vergeleken met de conventionele feedback-linearisatie regelaar alleen. De voorgestelde aanpak verminderde zowel de stationaire als de transiënte tracking-fouten aanzienlijk.
• Robuustheid: De regelaar behield een hoge prestatie onder niet-gemodelleerde, tijdvariërende verstoringen (sinusvormige en cosinusvormige combinaties) zonder hertraining. Het geleerde beleid slaagde er succesvol in zich aan te passen om de oscillerende structuur van de geïnjecteerde verstoringen te vangen, waardoor de tracking-fout laag en begrensd bleef.
• Regelinspanning: De verbeterde tracking-prestaties werden behaald zonder excessieve regelinspanning te introduceren; de controle-voltage profielen waren vergelijkbaar tussen de conventionele en de door leren verbeterde methoden.

Betekenis en Claims
Het artikel claimt dat de voorgestelde hybride aanpak effectief de analytische garanties van Lyapunov-gebaseerde regeling combineert met de adaptiviteit van reinforcement learning. Door de modelgebaseerde regelaar als een stabiele fundering te gebruiken en de leermodule als een adaptieve verstoringscompensator, bereikt het systeem robuuste traject-volging in onzekere omgevingen. De auteurs benadrukken dat deze architectuur zorgt voor "veilig en stabiel leren" omdat de RL-agent opereert binnen de grenzen van de conventionele regelaar, waardoor de stabiliteitsvoorwaarden van het systeem niet worden geschonden terwijl de agent zich aanpast aan niet-gemodelleerde effecten. De resultaten suggereren dat het incorporeren van een baseline in policy-gradient methoden cruciaal is voor het verbeteren van de sample-efficiëntie en het waarborgen van betrouwbaar policy-leren in nietlineaire mechatronische systemen.