⚡ electrical engineering

A Data-Driven Algorithm for Model-Free Control Synthesis

Dit artikel presenteert een datagedreven algoritme dat zonder kennis van de systeemdynamicen de optimale LQR-regelaar en een feedforward-gain voor referentietracking synthetiseert op basis van eindige input-output data, waarbij de methode theoretisch wordt onderbouwd en gevalideerd op een echt schaalvliegtuig.

Oorspronkelijke auteurs: Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

Gepubliceerd 2026-02-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe auto wilt leren rijden, maar je hebt geen handleiding, geen blauwdruk van de motor en je weet niet eens hoe de versnellingen werken. Je weet alleen dat als je het gaspedaal indrukt, de auto sneller gaat, en als je het stuur draait, hij afslaat.

Normaal gesproken zouden ingenieurs eerst de auto volledig moeten analyseren, alle formules opschrijven en dan pas een computerprogramma schrijven dat de auto veilig bestuurt. Dit artikel presenteert een slimme nieuwe manier om dat te doen: je hoeft de auto niet te begrijpen om hem te besturen. Je hoeft alleen maar te kijken hoe hij reageert op wat je doet.

Hier is een uitleg van het artikel in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Black Box"

Stel je voor dat je een drone wilt laten vliegen. Bij een echte drone is het heel moeilijk om precies te weten hoe de wind, het gewicht en de motoren samenwerken. Het is een "black box".

De oude manier: Je bouwt een heel complex model van de drone op papier. Als je een foutje in je berekening maakt, crasht de drone.
De nieuwe manier (uit dit artikel): Je laat de drone gewoon een beetje rondvliegen (met een piloot die hem vasthoudt), en je noteert: "Toen ik het stuur naar links duwde, ging hij naar links." Je doet dit duizenden keren.

2. De Oplossing: Leren door te kijken (Data-driven)

De auteurs hebben een algoritme bedacht dat werkt als een super-snel leergierig kind.
In plaats van formules te gebruiken, kijkt het algoritme naar een reeks van "actie en reactie" (data).

De Analogie: Stel je voor dat je probeert een bal in een bakje te gooien.
- Oude methode: Je meet de afstand, de windkracht en de zwaartekracht, berekent de hoek en gooit dan.
- Nieuwe methode: Je gooit de bal een paar keer, kijkt waar hij landt, en past je worp direct aan. Na een paar keer weet je precies hoe hard en in welke hoek je moet gooien, zonder ooit de zwaartekrachtsformule te hebben gezien.

Het algoritme in dit artikel doet precies dit voor een vliegtuig. Het kijkt naar de data en zegt: "Oké, als ik dit doe, gebeurt dat. Dus om het perfect te laten vliegen, moet ik deze knoppen precies zo indrukken."

3. De Drie Slimme Trucs

Het artikel beschrijft drie manieren waarop dit werkt:

A. De Basis (Alleen data): Je hebt alleen een lijstje met "wat ik deed" en "wat er gebeurde". Het algoritme zoekt de beste manier om de drone stabiel te houden, puur op basis van dat lijstje. Het is alsof je een muzikant bent die een liedje leert door te luisteren, zonder de bladmuziek te hoeven lezen.
B. De Volger (Referentie Tracking): Soms wil je niet alleen dat de drone stabiel is, maar dat hij een specifiek pad volgt (bijvoorbeeld een achtje vliegen). Het algoritme leert niet alleen hoe hij stabiel blijft, maar ook hoe hij een "voorspel" (een extra handeling) toevoegt zodat de drone precies op het juiste moment op het juiste punt is.
- Vergelijking: Het is alsof je niet alleen leert fietsen, maar ook leert hoe je precies op de streep van een finishlijn moet stoppen, zonder dat je de afstandsformules kent.
C. De Mix (Gedeeltelijke kennis): Soms weet je een klein beetje over de machine. Bijvoorbeeld: je weet hoe de motoren werken, maar niet hoe de vleugels reageren op de wind.
- Vergelijking: Stel je voor dat je een fiets rijdt waarvan je de ketting en tandwielen kent, maar je hebt geen idee hoe de banden op het asfalt reageren. Het algoritme combineert je kennis van de ketting met de data van de banden om de beste rijstijl te vinden.

4. De Proef: De Echte Vliegrit

Om te bewijzen dat dit niet alleen theorie is, hebben de auteurs het echt geprobeerd met een klein modelvliegtuigje (een schaalmodel van een Boeing 737).

Ze vlogen het vliegtuigje in de wind (niet ideaal voor een test!).
Ze lieten het vliegtuigje een paar rondjes vliegen terwijl ze alle bewegingen opnamen.
Ze gaven die data aan de computer.
De computer berekende in een handomdraai de beste besturingsinstellingen.
Het resultaat: Ze vlogen het vliegtuigje opnieuw, maar nu met de computer die het overnam. Het vliegtuigje vloog perfect stabiel, zelfs in de wind, en volgde precies het pad dat de piloot wilde.

Waarom is dit belangrijk?

Vroeger moest je een vliegtuig of robot heel goed begrijpen voordat je er een controller voor kon bouwen. Dat kost veel tijd, geld en expertise.
Met deze nieuwe methode kun je direct van data naar een werkende controller gaan.

Het is goedkoper (je hoeft geen dure windtunnel-tests te doen).
Het is sneller.
Het werkt zelfs als het systeem heel complex is of als er veel ruis (storingen) in de metingen zit.

Kortom: Dit artikel laat zien dat je niet altijd de "handleiding" van de natuur hoeft te lezen om de natuur te besturen. Soms is het gewoon kijken, leren en aanpassen veel effectiever.

Titel: Een datagedreven algoritme voor modelvrije controlessynthese

Auteurs: Sean Bowerfind, Matthew R. Kirchner en Gary Hewer.

1. Probleemstelling

De klassieke Linear Quadratic Regulator (LQR) is een van de meest gebruikte methoden voor regeltechniek, maar vereist doorgaans volledige kennis van de systeemmatrices $A$ en $B$ (de dynamica van het systeem). Deze matrices worden meestal verkregen via directe kennis van lineaire systemen of linearisatie van niet-lineaire systemen.

Er zijn echter twee belangrijke beperkingen in de praktijk:

Onbekende dynamica: Voor veel systemen, zoals kleine onbemande luchtvaartuigen (UAV's), is het economisch of praktisch onhaalbaar om hoogwaardige modellen te bouwen (bijv. via CFD of windtunneltests).
Niet-lineariteit en linearisatie: Bij niet-lineaire systemen is het identificeren van een model rond een evenwichtspunt moeilijk.
Bestaande datagedreven methoden: Veel bestaande methoden vereisen "on-policy" benaderingen (actieve updates van het beleid tijdens het verzamelen van data), wat rekenkracht op het vliegtuig vereist, of ze zijn gebaseerd op discrete-tijd systemen die gevoelig zijn voor ruis bij kleine sample-tijden.

Het doel van dit artikel is een modelvrije methode te ontwikkelen die de optimale LQR-feedbackregelaar direct synthetiseert uit eindige steekproeven van in- en uitgangsdata, zonder kennis van de onderliggende systeemmatrices $A$ en $B$ , en dit voor continue-tijd systemen.

2. Methodologie

De kern van de methode is het afleiden van een noodzakelijke voorwaarde voor de optimale waarde-functie ( $V$ ) en de feedbackgain ( $K$ ) die puur gebaseerd is op waargenomen trajecten, zonder de systeemmatrices te gebruiken.

A. Theoretische Basis

Voor een lineair tijdinvariant (LTI) systeem $\dot{x} = Ax + Bu$ met een kostfunctie $J$ , is de optimale waarde-functie kwadratisch: $V(x) = x^T P x$ .
De auteurs bewijzen (Stelling 1) dat voor elke willekeurige traject $\{x(t), u(t)\}$ , de tijdsafgeleide van de waarde-functie voldoet aan:
$\dot{V}(x(t)) = x(t)^T K^T R K x(t) - x(t)^T Q x(t) + 2x(t)^T K^T R u(t)$
waarbij $K = R^{-1}B^T P$ . Belangrijk is dat deze vergelijking geen afhankelijkheid heeft van de matrix $A$ .

B. Data-gedreven Optimalisatie (NLP)

De methode discretiseert de bovenstaande vergelijking over een tijdsgrid met $N$ samples. Omdat de ware toestanden $x(t)$ vaak niet direct meetbaar zijn (er is ruis in de sensoren $y = x + \epsilon$ ), wordt een Niet-lineair Programmeringsprobleem (NLP) geformuleerd:

Doelfunctie: Minimaliseer de fout tussen de gemeten output $Y$ en de geschatte latente toestanden $X$ (onder de aanname van Gaussische ruis).
Voorwaarde: De discretiseerde dynamische constraint (afgeleid van Stelling 1) moet gelden voor alle tijdstappen.
Parametrisatie: Om te garanderen dat de oplossing $P$ positief semi-definiet is, wordt $P$ geparametriseerd als $P = L^T L$ .
Oplossing: Het oplossen van dit NLP levert direct de optimale feedbackgain $K$ op.

C. Uitbreidingen

De methode wordt uitgebreid naar twee complexere scenario's:

Referentievolging (Reference Tracking): Om een systeem niet alleen te stabiliseren maar ook een referentie $r$ te volgen, wordt een voorspanningsgain (feedforward gain) $F$ berekend. Dit vereist een aangepaste NLP die $K$ en $F$ simultaan oplost.
Mixed-Model: Voor systemen waarbij een deel van de dynamica bekend is (bijv. de dynamica van een actuator) en een deel onbekend. De bekende dynamica wordt geïntegreerd in de constraints, terwijl de onbekende delen datagedreven worden opgelost.

3. Belangrijkste Resultaten

De auteurs valideren hun methode via drie gevallen:

Bekend Lineair Systeem (Simulatie):
- Een lineair model van een McDonnell-Douglas A-4D Skyhawk werd gebruikt om data te genereren.
- De modelvrije controller ( $\hat{K}$ ) werd vergeleken met de "ground truth" LQR-oplossing ( $K^*$ ) die bekend is omdat $A$ en $B$ bekend waren.
- Resultaat: De berekende gains waren bijna identiek. De gesimuleerde gesloten-lus responsen van de modelvrije controller volgden de ground truth nauwkeurig, wat de theoretische juistheid bevestigt.
Mixed-Model Referentievolging (Simulatie):
- Er werden bekende actuatormodellen (servo's) toegevoegd aan het luchtvaartuigmodel.
- De mixed-model NLP werd opgelost om de gains te vinden.
- Resultaat: De controller presteerde uitstekend in vergelijking met de theoretische oplossing, ondanks de aanwezigheid van onbekende dynamica in het hoofdlichaam van het vliegtuig.
Echte Vliegtesten (Flight Test):
- Platform: Een schaalmodel van een Boeing 737 (Freewing AL37) met onbekende, niet-lineaire dynamica.
- Proces:
  1. Datacollectie (TF1): Een piloot vloog het vliegtuig handmatig (zonder stabilisatie) in een windige omgeving om data (roll-hoek, roll-snelheid, stuurbewegingen) te verzamelen.
  2. Synthese: De NLP werd opgelost met deze ruwe sensordata om een roll-controller te ontwerpen.
  3. Validatie (TF2): De ontworpen controller werd ingeschakeld tijdens een vliegtest.
- Resultaat: De controller stabiliseerde het vliegtuig en volgde pilootcommando's voor roll-hoek nauwkeurig, zelfs onder winderige omstandigheden. Dit bewijst de robuustheid van de methode tegenover ruis en onbekende niet-lineariteiten.

4. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Modelvrije Synthese voor Continue Tijd: Het biedt een praktische methode om LQR-controllers direct uit data te halen voor continue-tijd systemen, zonder tussenstap van modelidentificatie.
Robuustheid tegen Ruis: Door het gebruik van een impliciete NLP-formulering die de toestanden optimaliseert in plaats van ze direct te schatten, is de methode zeer robuust tegen meetruis.
Geen On-Policy Vereisten: In tegenstelling tot veel Reinforcement Learning-methoden, vereist deze methode geen actieve updates van het beleid tijdens het data-verzamelen. Data kan worden verzameld via open-lus of met een rudimentaire controller, wat de implementatie op beperkte hardware (zoals UAV's) vergemakkelijkt.
Praktische Validatie: Het is een van de weinige studies die een volledig datagedreven controller succesvol toepast op een echt vliegtuig in realistische, winderige omstandigheden.
Flexibiliteit: De methode ondersteunt zowel regulatie (stabilisatie) als referentievolging en kan worden aangepast voor "mixed-model" scenario's waarbij gedeeltelijke kennis beschikbaar is.

Conclusie:
Dit artikel presenteert een krachtige, theoretisch onderbouwde en praktisch gevalideerde methode om optimale regelaars te ontwerpen wanneer het systeemmodel onbekend is. Het opent de deur voor snellere en goedkopere ontwikkelingscycli voor complexe systemen zoals UAV's, waarbij de focus ligt op data-uitwisseling in plaats van complexe modellering.