Technische Samenvatting: Reinforcement Twinning voor Hybride Controle van Flappende Vleugel-Drones

Probleemdefinitie

Het besturen van micro-luchtvaartuigen met flappende vleugels (FWMAV's) vormt een aanzienlijke uitdaging vanwege hun intrinsiek instabiele, sterk nietlineaire en tijdvariërende dynamica. Deze systemen zijn onderbediend (underactuated) en opereren in regimes waar viskeuze krachten de inertiekrachten domineren, wat leidt tot complexe aerodynamische interacties zoals leading-edge vortices. Bovendien zorgt kleinschalige productie voor parametrische onzekerheden, en zijn sensordata vaak ruisgevoelig.

Traditionele controlesstrategieën kampen met een fundamentele afweging:

• Model-gebaseerde (MB) benaderingen (bijv. LQR, MPC) vertrouwen op vereenvoudigde lineaire of nietlineaire modellen die vaak falen in het vastleggen van tijdvariërende onzekerheden en complexe kinematica, wat leidt tot slechte prestaties tijdens wendbare manoeuvres.
• Model-vrije (MF) benaderingen (bijv. Reinforcement Learning) vermijden expliciete modelleringsaannames, maar lijden aan een lage steekproefefficiëntie (sample efficiency), waarbij uitgebreide en potentieel onveilige trial-and-error exploratie nodig is om te convergeren.

Dit artikel adresseert de behoefte aan een controleframework dat de robuustheid van fysica-gebaseerde modellering combineert met de adaptiviteit van data-gestuurde leerprocessen, specifiek afgestemd op de steekproef-inefficiënte en risicovolle omgeving van FWMAV-vlucht.

Methodologie: Reinforcement Twinning (RT)

De auteurs stellen een Reinforcement Twinning (RT) framework voor, een hybride model-vrij/model-gebaseerde architectuur die ontworpen is om bidirectionele samenwerking tussen twee leeragents te faciliteren. Het systeem werkt via de volgende componenten:

1. Dual-Agent Architectuur

Twee parallelle controlebeleidsregelingen (policies) worden gelijktijdig getraind:

• Model-vrij Beleid ($\pi_{mf}$): Getraind met behulp van het Deep Deterministic Policy Gradient (DDPG) algoritme. Het interageert direct met de echte omgeving (een nietlineaire, tijdvariërende, NLTV, simulatie van de drone) om de cumulatieve beloning te maximaliseren.
• Model-gebaseerd Beleid ($\pi_{mb}$): Getraind binnen een Virtuele Omgeving (een nietlineaire, tijdinvariante, NLTI, surrogaatmodel). Dit beleid wordt geoptimaliseerd met behulp van adjoint-gebaseerde gradiëntafdaling om de controlekosten binnen het virtuele domein te minimaliseren.

2. Adaptieve Digitale Tweeling (Virtuele Omgeving)

De virtuele omgeving is geen statisch model, maar een adaptieve digitale tweeling. Deze maakt gebruik van een vereenvoudigde NLTI-formulering afgeleid van cyclusgemiddelde aerodynamische krachten.

• Closure Law: De aerodynamische krachten worden gerepresenteerd als een polynomiale functie van staat en controlevariabelen (specifiek een Model 3 formulering inclusief kwadratische controletermen).
• Online Identificatie: De modelparameters worden continu bijgewerkt via een adjoint-gebaseerde data-assimilatieprocedure. Dit proces minimaliseert de discrepantie tussen de virtuele trajecten en de trajecten uit de echte wereld die in een "assimilatiebuffer" zijn opgeslagen, waardoor het model kan adapteren aan evoluerende dynamica en onzekerheden in realtime.

3. Samenwerkingsmechanismen

De twee agents worden gecoördineerd door een Policy Referee die de interactie tussen de echte en virtuele werelden beheert:

• Policy Arbitrage: Een referee selecteert welk beleid ($\pi_{mf}$ of $\pi_{mb}$) fungeert als de "live" controller in de echte omgeving. Deze beslissing is gebaseerd op:
  • Real-to-Virtual Trust Ratio (RVET): Een metriek die de voorspelde verbeteringen in de virtuele omgeving vergelijkt met de geobserveerde verbeteringen in de echte omgeving. Als het virtuele model inconsistent is met de realiteit, wordt het model-vrije beleid ingezet.
  • Prestatievergelijking: Als het inactieve beleid (het beleid dat momenteel niet wordt ingezet) consequent beter presteert dan het live beleid in de virtuele omgeving, kan er een overschakeling plaatsvinden.
  • Stagnatiedetectie: Als het leren stagneert, worden gewichten gekloond van het beter presterende beleid naar het zwakkere beleid om divergentie te voorkomen.
• Gedeelde Ervaring:
  • Transities van het live beleid (of dit nu MF of MB is) vullen een Replay Buffer die wordt gebruikt om de MF critic en actor te trainen.
  • Staat-actie trajecten worden opgeslagen in een Assimilation Buffer (bijgewerkt via een maximum-variantie criterium om diversiteit te waarborgen) om de closure law van de virtuele omgeving te identificeren en bij te werken.

Belangrijkste Bijdragen

Het artikel details drie primaire technische bijdragen:

1. Online Model Identificatiestrategie: De formulering van een continue adjoint-gebaseerde optimalisatie om een vereenvoudigde nietlineaire tijdinvariante (NLTI) model te kalibreren vanuit kortlopende trajecten gegenereerd door een nietlineaire tijdvariërende (NLTV) omgeving. Dit maakt het model in staat om te adapteren aan de specifieke regio's van de toestandsruimte die door het controlebeleid worden bezocht, in plaats van te vertrouwen op vooraf verzamelde datasets.
2. Bidirectioneel Leermechanisme: In tegenstelling tot standaard Model-Based Reinforcement Learning (MBRL), waarbij het model primair het beleid ondersteunt, vestigt dit framework wederzijdse interacties. Het model stuurt de exploratie in de control space, terwijl de reinforcement learning agent de data gebruikt die nodig is voor modelidentificatie verrijkt.
3. Policy Referee en Collaboratie: Het ontwerp van een dynamisch arbitrage systeem dat de inzet van agents beheert op basis van real-to-virtual consistentie, wat een overschakeling tussen model-gebaseerde efficiëntie en model-vrije robuustheid mogelijk maakt wanneer de omstandigheden veranderen.

Resultaten

Het framework werd geëvalueerd op de longitudinale controle van een flappende vleugel-drone (verticale stijging naar een doeltoestand) onder drie verschillende initialisatiescenario's:

1. Offline Kalibratie: Wanneer het virtuele model vooraf werd gekalibreerd op een rijke dataset, convergeerde het hybride RT-framework aanzienlijk sneller en met een lagere variantie dan een standalone DDPG (model-vrije) benadering. Het model-gebaseerde beleid dreef de vroege training aan en fungeerde als een veiligheid tijdens de exploratie.
2. Volledig Online Leren (Willekeurige Initialisatie): In scenario's waarin zowel het model als het beleid met willekeurige parameters begonnen (geen voorkennis), faalde de puur model-gebaseerde benadering om effectief te convergeren vanwege de initiële modelbias. De puur model-vrije benadering convergeerde, maar traag. Het RT-framework presteerde beter dan beide baselines, waarbij het snellere convergentie en hogere uiteindelijke beloningen bereikte. Het systeem slaagde erin de surrogaatmodel online aan te passen, waarbij het transformeerde van model-vrije dominantie naar model-gebaseerde dominantie naarmate de digitale tweeling meer getrouwheid (fidelity) kreeg.
3. Online Leren met Modelbias: Wanneer het initiële model werd gekalibreerd op data met significante biases (bijv. een toename van 33% in massa of een verschuiving van het drukcentrum), corrigeerde het RT-framework de surrogaatmodel succesvol online. Het behield efficiënt beleidsleren en bereikte de doeltoestand, wat de robuustheid tegen parametrische onzekerheden en dynamische veranderingen demonstreert.

Modelselectie: De studie identificeerde dat een polynomiale closure law inclusief kwadratische controletermen (Model 3) de beste balans bood tussen voorspellende nauwkeurigheid en computationele complexiteit, waarbij Pearson correlatiecoëfficiënten boven de 0,99 werden bereikt voor longitudinale en verticale posities.

Betekenis en Claims

Het artikel claimt dat het Reinforcement Twinning framework erin slaagt de afweging tussen de steekproef-inefficiëntie van model-vrij leren en de modelonnauwkeurigheden van traditionele model-gebaseerde controle te verzachten. Door een continue, bidirectionele interactie mogelijk te maken tussen een data-gestuurd beleid en een adaptief fysica-gebaseerd model, stelt het framework in staat om:

• De steekproefefficiëntie en robuustheid te verbeteren bij het besturen van hoogst nietlineaire, tijdvariërende systemen.
• Online adaptatie mogelijk te maken aan evoluerende dynamica en parametrische onzekerheden zonder dat uitgebreide pre-training data nodig is.
• Een generaliseerbare architectuur te bieden voor realtime controle in dynamisch evoluerende omgevingen, waarbij specifiek de effectiviteit ervan in de uitdagende context van de vlucht van flappende vleugel-drones wordt aangetoond.

De auteurs merken op dat hoewel de huidige studie zich richt op longitudinale controle met geïdealiseerde staatsschatting, toekomstig werk het framework zal uitbreiden naar volledige 3D-dynamica en de prestaties zal valideren tegen high-fidelity CFD-simulaties.