⚡ electrical engineering

A Data-Driven Algorithm for Model-Free Control Synthesis

Dieser Artikel stellt einen datengesteuerten Algorithmus vor, der ohne Kenntnis der Systemdynamik einen optimalen LQR-Regler für kontinuierliche Systeme synthetisiert, indem er eine notwendige Bedingung für die Wertefunktion in einem Optimierungsproblem nutzt, und dessen theoretische Fundierung sowie praktische Validierung an einem realen Modellflugzeug demonstriert.

Ursprüngliche Autoren: Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

Veröffentlicht 2026-02-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚀 Die große Idee: Lernen durch Tun, nicht durch Lesen

Stellen Sie sich vor, Sie wollen ein neues Auto fahren. Die klassische Methode (die in den meisten Lehrbüchern steht) wäre so:

Sie lesen das Handbuch des Herstellers.
Sie analysieren die Technischen Daten: Wie schwer ist das Auto? Wie stark ist der Motor? Wie reagiert das Lenkrad?
Erst wenn Sie diese Formeln im Kopf haben, bauen Sie einen Fahr-Assistenten, der das Auto perfekt steuert.

Das Problem: Was passiert, wenn Sie das Handbuch nicht haben? Oder wenn das Auto ein gebrauchtes, modifiziertes Rennfahrzeug ist, bei dem niemand genau weiß, wie die Teile im Inneren funktionieren? Oder wenn das Auto so komplex ist, dass das Handbuch tausende Seiten lang wäre?

Die Lösung dieser Forscher: „Vergessen Sie das Handbuch! Wir schauen uns einfach an, wie das Auto fährt, wenn Sie es ein bisschen hin und her lenken, und lernen daraus."

Das ist genau das, was diese Paper beschreibt: Ein Algorithmus, der einen perfekten Steuerungs-Computer für Systeme baut, ohne zu wissen, wie das System „im Inneren" funktioniert.

🎮 Das Spiel: Der „Black Box"-Trainer

Stellen Sie sich das zu steuernde System (z. B. ein kleines Flugzeug oder eine Drohne) als eine schwarze Kiste vor.

Sie können nicht hineinschauen.
Sie wissen nicht, welche Schrauben und Motoren drin sind.
Aber Sie können Knöpfe drücken (Steuereingaben) und auf den Bildschirm schauen (Messdaten: Wo ist das Flugzeug? Wie schnell dreht es sich?).

Der Algorithmus macht folgendes:

Das Experiment: Er lässt das Flugzeug fliegen und gibt ihm zufällige, kleine Lenkimpulse (wie ein Kind, das ein neues Spielzeug ausprobiert).
Die Beobachtung: Er notiert genau: „Wenn ich den Knopf links drücke, neigt sich das Flugzeug rechts und beschleunigt leicht."
Die Erkenntnis: Anstatt die Physikformeln zu berechnen, sucht der Algorithmus nach einem Muster. Er fragt sich: „Welche Regel muss gelten, damit das Flugzeug stabil bleibt und genau dorthin fliegt, wo ich es haben will?"

Er nutzt eine Art mathematisches Raten, das aber sehr clever ist. Er sagt im Grunde: „Ich weiß nicht, wie das Flugzeug gebaut ist, aber ich weiß, wie ein perfekter Pilot sich verhalten müsste. Ich suche nach dem Steuerungs-Code, der das Flugzeug so verhält, als würde es von diesem perfekten Piloten gesteuert."

🎯 Die drei Haupt-Tricks

Die Forscher haben drei besondere Werkzeuge entwickelt, um das Problem zu lösen:

1. Der „Rückwärts-Trick" (Daten statt Modelle)

Normalerweise braucht man die Gleichungen $A$ und $B$ (die beschreiben, wie Kräfte wirken). Dieser Algorithmus braucht sie nicht. Er nimmt nur eine Aufzeichnung (ein Video) von einem Flug, bei dem das Flugzeug etwas herumgeschüttelt wurde.

Analogie: Es ist, als würden Sie einen Fußballtrainer nicht fragen, wie die Schwerkraft funktioniert, sondern ihn einfach beobachten, wie er den Ball trifft, um zu verstehen, wie man ihn perfekt ins Tor schießt.

2. Der „Ziel-Tracker" (Nicht nur stabilisieren, sondern folgen)

Ein einfacher Regler sorgt dafür, dass das Flugzeug geradeaus fliegt (wenn es sich dreht, korrigiert er). Aber was, wenn Sie wollen, dass es einem bestimmten Kurs folgt?

Analogie: Ein einfacher Regler ist wie ein Kreisel, der immer geradeaus zeigt. Der neue Algorithmus ist wie ein Hund, der einem Ball hinterherläuft. Er berechnet nicht nur, wie man stabil bleibt, sondern auch, wie man einen Vorwärts-Kommando (den Ball) perfekt verfolgt, ohne zu stolpern.

3. Der „Halb-Wissende" (Wenn man ein bisschen weiß)

Manchmal weiß man ein Teil des Systems. Zum Beispiel: „Wir wissen, wie der Motor funktioniert, aber nicht, wie der Wind den Flügel beeinflusst."

Analogie: Stellen Sie sich vor, Sie steuern ein Boot. Sie kennen den Motor (er dreht sich schnell), aber Sie kennen die Strömung nicht. Der Algorithmus kann den bekannten Teil (Motor) in seine Rechnung einbauen und nur den unbekannten Teil (Strömung) aus den Daten lernen. Das macht das Ergebnis noch genauer.

✈️ Der echte Test: Das kleine Flugzeug

Um zu beweisen, dass das nicht nur Theorie ist, haben die Forscher es in der echten Welt getestet:

Das Objekt: Ein kleines, ferngesteuertes Flugzeug (ein Modell im Maßstab 1:19).
Die Herausforderung: Es war windig, das Flugzeug hatte keine perfekte Aerodynamik, und niemand kannte die exakten physikalischen Werte.
Der Ablauf:
1. Ein Pilot flog das Flugzeug wild hin und her (Daten sammeln).
2. Der Computer berechnete den perfekten Steuerungs-Code aus diesen Daten.
3. Der Computer übernahm die Kontrolle.
Das Ergebnis: Das Flugzeug flog eine Acht (eine komplexe Kurve) und hielt sich trotz starkem Wind perfekt auf Kurs. Es war so stabil, als hätte es ein hochspezialisiertes Flugzeug-Handbuch gelesen – obwohl es keines gab!

💡 Warum ist das wichtig?

Bisher mussten Ingenieure für jedes neue Flugzeug, jede neue Drohne oder jeden neuen Roboter erst wochenlang Modelle bauen und simulieren. Das ist teuer und langsam.

Mit dieser Methode können Sie:

Schneller starten: Sammeln Sie einfach Daten, und der Computer baut den Regler.
Robuster sein: Wenn sich das System ändert (z. B. ein Flügel beschädigt ist oder der Wind anders weht), müssen Sie nicht neu rechnen. Sie sammeln einfach neue Daten und der Regler passt sich an.
Günstiger sein: Kein teures Windkanal-Experiment nötig, um das Modell zu verstehen.

Zusammenfassend: Die Forscher haben einen Weg gefunden, wie man einem Computer beibringt, ein Meister-Pilot zu sein, indem man ihn einfach nur zuschauen lässt, wie das Flugzeug auf Lenkbefehle reagiert – ganz ohne die physikalischen Formeln im Kopf zu haben. Es ist Lernen durch Erfahrung, direkt auf den Computer übertragen.

Titel: Ein datengesteuertes Algorithmus für die modellfreie Synthese von Reglern (A Data-Driven Algorithm for Model-Free Control Synthesis)

Autoren: Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

1. Problemstellung

Das klassische Design des linearen quadratischen Reglers (LQR) erfordert vollständige Kenntnis der Systemdynamik, d. h. der Matrizen $A$ und $B$ des Zustandsraummodells. In vielen praktischen Anwendungen, insbesondere bei nichtlinearen Systemen oder komplexen Luftfahrzeugen (z. B. kleinen UAVs), ist die genaue Modellierung oft teuer, ungenau oder aufgrund von Unsicherheiten und Rauschen in den Messdaten nicht praktikabel.

Häufige Ansätze wie die Systemidentifikation (Schätzung von $A$ und $B$ aus Daten) vor der Reglerauslegung sind fehleranfällig und erhöhen den Aufwand. Bestehende datengesteuerte Methoden basieren oft auf diskreten Zeitmodellen oder erfordern "On-Policy"-Lernverfahren, die eine aktive Anpassung der Steuerung während des Datensammelns benötigen (was bei eingebetteten Systemen mit begrenzter Rechenleistung problematisch sein kann).

Das Ziel dieser Arbeit ist die Entwicklung eines modellfreien Algorithmus, der einen optimalen LQR-Regler für kontinuierliche Zeitssysteme direkt aus endlichen, verrauschten Eingangs-Ausgangs-Daten synthetisiert, ohne dass die Systemmatrizen $A$ und $B$ bekannt sein müssen.

2. Methodik

Der Kern des vorgeschlagenen Ansatzes basiert auf einer notwendigen Bedingung für die Optimalität der Wertfunktion (Value Function) des LQR-Problems.

Theoretische Grundlage:
Für ein lineares, zeitinvariantes System $\dot{x} = Ax + Bu$ ist die optimale Wertfunktion quadratisch: $V(x) = x^\top P x$ . Das Paper leitet her, dass die zeitliche Ableitung dieser Funktion entlang einer beliebigen Trajektorie eine spezifische dynamische Constraint erfüllt, die nur von den gemessenen Zuständen, Eingängen und den unbekannten Gain-Matrizen abhängt, aber nicht von den Systemmatrizen $A$ und $B$ .
Die abgeleitete Gleichung lautet:
$\dot{V}(\hat{x}) = \hat{x}^\top K^\top R K \hat{x} - \hat{x}^\top Q \hat{x} + 2\hat{x}^\top K^\top R \hat{u}$
wobei $K = R^{-1}B^\top P$ der optimale Regler ist.
Algorithmische Umsetzung (NLP-Formulierung):
Anstatt $A$ und $B$ zu schätzen, wird ein nichtlineares Optimierungsproblem (NLP) formuliert:
1. Diskretisierung: Die kontinuierliche Bedingung wird unter Verwendung von Finite-Differenzen-Approximationen (z. B. Euler-Verfahren) für die Zeitdaten diskretisiert.
2. Implizite Constraints: Da die Zustände $x$ oft verrauscht gemessen werden ( $y = x + \epsilon$ ), wird das Problem so formuliert, dass die Dynamik-Constraint implizit über die latenten (wahren) Zustände $X$ gelöst wird.
3. Zielfunktion: Minimierung des quadratischen Fehlers zwischen den gemessenen Ausgängen $Y$ und den geschätzten latenten Zuständen $X$ , unter der Nebenbedingung, dass die dynamische Gleichung für alle Zeitpunkte erfüllt ist.
4. Positive Definitheit: Um sicherzustellen, dass die Lösung $P$ positiv semidefinit ist, wird $P$ als $L^\top L$ parametrisiert, wobei $L$ die Optimierungsvariable ist.
Erweiterungen:
- Referenz-Tracking: Der Ansatz wird auf das Verfolgen von Referenzsignalen erweitert. Dies erfordert die gleichzeitige Berechnung einer Vorsteuerungsmatrix $F$ neben dem Feedback-Gain $K$ .
- Mixed-Model: Das Verfahren wird für Systeme adaptiert, bei denen ein Teil der Dynamik bekannt ist (z. B. Aktuatoren), während der Rest unbekannt bleibt.

3. Wichtige Beiträge

Modellfreie Synthese für kontinuierliche Zeit: Entwicklung eines Algorithmus, der direkt aus Daten einen optimalen LQR-Regler für kontinuierliche Systeme berechnet, ohne diskrete Approximationen des Systems selbst vorzunehmen.
Robustheit gegenüber Rauschen: Durch die Formulierung als NLP mit impliziten Constraints und der Minimierung des Fehlers zwischen Messdaten und latenten Zuständen ist der Algorithmus robust gegenüber Messrauschen.
Gleichzeitige Berechnung von Feedback und Vorsteuerung: Das Verfahren löst das Referenz-Tracking-Problem, indem es $K$ und $F$ simultan bestimmt.
Mixed-Model-Ansatz: Integration von bekannten Teildynamiken (z. B. Aktuatordynamik) in den datengesteuerten Rahmen.
Experimentelle Validierung: Erfolgreicher Nachweis der Methode sowohl in Simulationen als auch in einem realen Flugversuch.

4. Ergebnisse

Die Autoren validierten den Algorithmus in drei Szenarien:

Fall 1: Bekanntes lineares System (Simulation):
Ein linearisiertes Modell einer McDonnell-Douglas A-4D Skyhawk wurde verwendet. Die datengesteuerten Gains ( $\hat{K}, \hat{F}$ ) wurden mit der "Ground Truth" (berechnet via klassischer Riccati-Gleichung) verglichen.
- Ergebnis: Die berechneten Gains waren fast identisch mit der analytischen Lösung. Die geschlossenen Regelkreise zeigten nahezu identisches Einschwingverhalten bei Rollwinkel-Befehlen.
Fall 2: Mixed-Model (Simulation):
Es wurde ein System simuliert, bei dem die Aktuatordynamik bekannt, die Flugzeugdynamik jedoch unbekannt war.
- Ergebnis: Der Algorithmus konnte den optimalen Regler erfolgreich synthetisieren, der dem der vollständigen Modell-basierten Lösung sehr nahe kam.
Fall 3: Realer Flugversuch (Flight Test):
Ein Modellflugzeug (Freewing AL37, 1/19-skalierte Boeing 737) mit unbekannten, nichtlinearen Dynamiken wurde verwendet.
- Datenerfassung: Ein Pilot flog das Flugzeug manuell bei windigen Bedingungen, während IMU-Daten (Rollwinkel, Rollrate) aufgezeichnet wurden.
- Synthese: Aus diesen Daten wurde ein Rollwinkel-Regler (LQR) berechnet.
- Validierung: Der berechnete Regler wurde im Flug aktiviert. Das Flugzeug folgte präzise den Pilotenbefehlen (Acht-Flugbahn), trotz starker Windböen und verrauschter Sensordaten.
- Ergebnis: Der Regler stabilisierte das Flugzeug erfolgreich und zeigte eine hervorragende Tracking-Leistung ohne vorheriges physikalisches Modell.

5. Bedeutung und Ausblick

Diese Arbeit stellt einen signifikanten Fortschritt in der Regelungstechnik dar, da sie die Lücke zwischen theoretischer optimaler Regelung (LQR) und praktischen Anwendungen bei unbekannten Systemen schließt.

Praktische Relevanz: Besonders für die Luftfahrt und UAVs, wo hochpräzise Modelle teuer und schwer zu validieren sind, bietet dieser Ansatz eine kosteneffiziente Alternative.
Robustheit: Die Fähigkeit, mit verrauschten Realwelt-Daten zu arbeiten, macht die Methode für den Einsatz in der Praxis geeignet.
Zukunftsperspektiven: Die Autoren schlagen vor, Metriken für die Datenerhebung zu entwickeln, um die benötigte Datenmenge zu minimieren, und den Algorithmus für die Echtzeit-Synthese (Adaptive Control) zu erweitern, um sich ändernden Umgebungsbedingungen dynamisch anzupassen.

Zusammenfassend beweist das Paper, dass ein optimaler LQR-Regler rein datengetrieben, robust gegenüber Rauschen und ohne Kenntnis der Systemdynamik synthetisiert werden kann, was durch erfolgreiche Tests an einem realen UAV untermauert wird.