Technisches Resümee: Reinforcement Twinning für die hybride Steuerung von Schlagflügel-Drohnen

Problemdefinition

Die Steuerung von Schlagflügel-Mikro-Luftfahrzeugen (FWMAVs) stellt eine erhebliche Herausforderung dar, da deren Dynamik intrinsisch instabil, stark nichtlinear und zeitvariant ist. Diese Systeme sind unteraktuiert und operieren in Regimen, in denen viskose Kräfte die Trägheitseffekte dominen, was zu komplexen aerodynamischen Interaktionen wie etwa führenden Kantenwirbeln (Leading-Edge Vortices) führt. Zudem führen Fertigungstolerien im Mikromaßstab zu parametrischen Unsicherheiten, und die Sensordaten sind häufig verrauscht.

Traditionelle Steuerungsstrategien stehen vor einem grundlegenden Zielkonflikt:

• Modellbasierte (MB) Ansätze (z. B. LQR, MPC) stützen sich auf vereinfachte lineare oder nichtlineare Modelle, die jedoch oft daran scheitern, zeitvariable Unsicherheiten und komplexe Kinematiken zu erfassen, was zu einer schlechten Leistung bei agilen Manövern führt.
• Modellfreie (MF) Ansätze (z. B. Reinforcement Learning) vermeiden explizite Modellannahmen, leiden jedoch unter geringer Stichprobeneffizienz (Sample Efficiency) und erfordern eine umfangreiche sowie potenziell unsichere Trial-and-Error-Exploration, um zu konvergieren.

Das Paper adressiert das Bedürfnis nach einem Steuerungsrahmen, der die Robustheit physikbasierter Modellierung mit der Anpassungsfähigkeit datengesteuerter Lernverfahren kombiniert, speziell zugeschnitten auf die stichprobenineffiziente und risikoreiche Umgebung des FWMAV-Fluges.

Methodik: Reinforcement Twinning (RT)

Die Autoren schlagen ein Reinforcement Twinning (RT) Framework vor, eine hybride modellfreie/modellbasierte Architektur, die darauf ausgelegt ist, eine bidirektionale Kollaboration zwischen zwei Lernagenten zu ermöglichen. Das System arbeitet durch die folgenden Komponenten:

1. Dual-Agent-Architektur

Zwei parallele Steuerungs-Policies werden gleichzeitig trainiert:

• Modellfreie Policy ($\pi_{mf}$): Trainiert mittels des Deep Deterministic Policy Gradient (DDPG) Algorithmus. Sie interagiert direkt mit der realen Umgebung (einer nichtlinearen, zeitvarianten, NLTV Simulation der Drohne), um die kumulative Belohnung zu maximieren.
• Modellbasierte Policy ($\pi_{mb}$): Trainiert innerhalb einer Virtuellen Umgebung (einem nichtlinearen, zeitinvarianten, NLTI Ersatzmodell). Diese wird mittels Adjoint-basierter Gradientenabstieg optimiert, um die Kontrollkosten innerhalb des virtuellen Bereichs zu minimieren.

2. Adaptiver Digitaler Zwilling (Virtuelle Umgebung)

Die virtuelle Umgebung ist kein statisches Modell, sondern ein adaptiver digitaler Zwilling. Sie nutzt eine vereinfachte NLTI-Formulierung, die aus zyklusgemittelten aerodynamischen Kräften abgeleitet ist.

• Closure Law: Die aerodynamischen Kräfte werden als Polynomfunktion der Zustands- und Kontrollvariablen dargestellt (speziell eine „Model 3“-Formulierung inklusive quadratischer Kontrollterme).
• Online-Identifikation: Die Modellparameter werden kontinuierlich über ein Adjoint-basiertes Datenassimilationsverfahren aktualisiert. Dieser Prozess minimiert die Diskrepanz zwischen den virtuellen Trajektorien und den in einem „Assimilation Buffer“ gespeicherten Realwelt-Trajektorien, wodurch das Modell in der Lage ist, sich in Echtzeit an evolvierende Dynamiken und Unsicherheiten anzupassen.

3. Kooperationsmechanismen

Die beiden Agenten werden durch einen Policy Referee koordiniert, der die Interaktion zwischen der realen und der virtuellen Welt verwaltet:

• Policy Arbitration: Ein Referee entscheidet, welche Policy ($\pi_{mf}$ oder $\pi_{mb}$) als „Live“-Controller in der realen Umgebung agiert. Diese Entscheidung basiert auf:
  • Real-to-Virtual Trust Ratio (RVET): Eine Metrik, die die vorhergesagten Verbesserungen in der virtuellen Umgebung mit den beobachteten Verbesserungen in der realen Umgebung vergleicht. Wenn das virtuelle Modell inkonsistent mit der Realität ist, wird die modellfreie Policy eingesetzt.
  • Leistungsvergleich: Wenn die inaktive Policy (diejenige, die gerade nicht eingesetzt wird) die Live-Policy in der virtuellen Umgebung konsistent übertrifft, kann ein Wechsel stattfinden.
  • Stagnationserkennung: Wenn das Lernen stagniert, werden Gewichte von der besser performenden Policy auf die schwächere geklont, um eine Divergenz zu verhindern.
• Gemeinsame Erfahrung:
  • Übergänge (Transitions) der Live-Policy (ob MF oder MB) befüllen einen Replay Buffer, der zur Ausbildung des MF-Critics und -Actors verwendet wird.
  • Zustands-Aktions-Trajektorien werden in einem Assimilation Buffer gespeichert (der mittels eines Maximum-Variance-Kriteriums aktualisiert wird, um Diversität sicherzustellen), um die Closure Law des virtuellen Systems zu identifizieren und zu aktualisieren.

Kernbeiträge

Das Paper detailliert drei primäre technische Beiträge:

1. Strategie zur Online-Modellidentifikation: Die Formulierung einer kontinuierlichen Adjoint-basierten Optimierung zur Kalibrierung eines vereinfachten nichtlinearen, zeitinvarianten (NLTI) Modells aus kurzzeitigen Trajektorien, die von einer nichtlinearen, zeitvarianten (NLTV) Umgebung generiert wurden. Dies ermöglicht es dem Modell, sich an die spezifischen Regionen des Zustandsraums anzupassen, die von der Steuerungs-Policy besucht werden, anstatt auf vorab gesammelten Datensätzen zu basieren.
2. Bidirektionaler Lernmechanismus: Im Gegensatz zum Standard-Model-Based Reinforcement Learning (MBRL), bei dem das Modell primär die Policy unterstützt, etabliert dieser Rahmen reziproke Interaktionen. Das Modell leitet die Exploration im Kontrollraum, während der Reinforcement Learning Agent die Daten zur Modellidentifikation anreichert.
3. Policy Referee und Kollaboration: Das Design eines dynamischen Arbitrationssystems, das den Einsatz von Agenten basierend auf der Real-to-Virtual-Konsistenz verwaltet, was einen Wechsel zwischen modellbasierter Effizienz und modellfreier Robustheit ermöglicht, wenn sich die Bedingungen ändern.

Ergebnisse

Das Framework wurde auf die longitudinale Steuerung einer Schlagflügel-Drohne (vertikaler Aufstieg zu einem Zielzustand) unter drei verschiedenen Initialisierungsszenarien evaluiert:

1. Offline-Kalibrierung: Als das virtuelle Modell auf einem reichhaltigen Datensatz vorkalibriert wurde, konvergierte das hybride RT-Framework signifikant schneller und mit geringerer Varianz als ein Standalone-DDPG (modellfreier) Ansatz. Die modellbasierte Policy steuerte das frühe Training und fungierte als Sicherheitsnetz für die Exploration.
2. Vollständiges Online-Lernen (Zufällige Initialisierung): In Szenarien, in denen sowohl das Modell als auch die Policy mit zufälligen Parametern starteten (kein Vorwissen), versagte der rein modellbasierte Ansatz aufgrund anfänglicher Modell-Bias effektiv. Der rein modellfreie Ansatz konvergierte, jedoch langsam. Das RT-Framework übertraf beide Baselines, erreichte eine schnellere Konvergenz und höhere Endbelohnungen. Das System passte das Ersatzmodell erfolgreich online an, wobei es von einer modellfreien Dominanz zu einer modellbasierten Dominanz überging, als der digitale Zwilling an Treue gewann.
3. Online-Lernen mit Modell-Bias: Wenn das initiale Modell auf Daten mit signifikanten Biases kalibriert wurde (z. B. 33 % Massenzunahme oder Verschiebung des Druckpunktes), korrigierte das RT-Framework das Ersatzmodell erfolgreich online. Es behielt ein effizientes Policy-Lernen bei und erreichte den Zielzustand, was die Robustheit gegenüber parametrischen Unsicherheiten und dynamischen Änderungen demonstriert.

Modellauswahl: Die Studie identifizierte, dass eine polynomielle Closure Law, die quadratische Kontrollterme enthält (Modell 3), den besten Kompromiss zwischen Vorhersagegenauigkeit und Rechenkomplexität bot und Pearson-Korrelationskoeffizienten von über 0,99 für longitudinale und vertikale Positionen erreichte.

Bedeutung und Ansprüche

Das Paper behauptet, dass das Reinforcement Twinning Framework erfolgreich den Zielkonflikt zwischen der Stichprobenineffizienz des modellfreien Lernens und den Modellungenauigkeiten der traditionellen modellbasierten Steuerung mildert. Durch die Ermöglichung einer kontinuierlichen, bidirektionalen Interaktion zwischen einer datengesteuerten Policy und einem adaptiven physikbasierten Modell ermöglicht das Framework:

• Eine verbesserte Stichprobeneffizienz und Robustheit bei der Steuerung hochgradig nichtlinearer, zeitvarianter Systeme.
• Online-Adaption an evolvierende Dynamiken und parametrische Unsicherheiten ohne die Notwendigkeit umfangreicher Pre-Training-Daten.
• Eine generalisierbare Architektur für die Echtzeitsteuerung in sich dynamisch verändernden Umgebungen, wobei insbesondere die Wirksamkeit im herausfordernden Kontext des Schlagflügel-Drohnenflugs demonstriert wird.

Die Autoren merken an, dass sich die aktuelle Studie auf die longitudinale Steuerung mit idealisierter Zustandsschätzung konzentriert und zukünftige Arbeiten das Framework auf die volle 3D-Dynamik ausweiten und die Leistung gegen hochpräzise CFD-Simulationen validieren werden.