⚡ electrical engineering

Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

Dit paper introduceert 'Relearn LQR', een data-gedreven on-policy leerframework dat recursieve kleinste-kwadratenmethode combineert met policy gradient om Lineair Kwantitatief Regelaar-problemen op te lossen met onbekende dynamica, waarbij formele stabiliteitsgaranties worden geboden via een Lyapunov-gebaseerde analyse van het verweven niet-lineaire systeem.

Oorspronkelijke auteurs: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vliegtuig bestuurt, maar je hebt geen handleiding, geen blauwdrukken en je weet niet precies hoe de motor reageert op de hendels. Je moet het vliegtuig veilig laten vliegen en tegelijkertijd uitvinden hoe het werkt, terwijl je er al in zit te vliegen. Dat is precies het probleem dat deze wetenschappers oplossen.

Hier is een uitleg van hun werk, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen.

De Kern: "Relearn LQR" – Leren terwijl je vliegt

In de traditionele wereld van besturingstechniek (zoals bij robots of vliegtuigen) maak je eerst een perfect model van het systeem, bereken je de beste manier om het te besturen, en pas dan ga je het echt doen. Maar wat als je het systeem niet kent? Dan moet je het onderweg leren.

De auteurs van dit paper hebben een methode bedacht die ze "Relearn LQR" noemen. Het is een slimme manier om een vliegtuig (of elk ander systeem) te besturen terwijl je tegelijkertijd de handleiding schrijft.

Hoe werkt het? De Analogie van de "Wandelaar met een Kompas"

Stel je voor dat je een wandelaar bent in een mistig landschap (het onbekende systeem). Je wilt naar de laagste vallei (de optimale oplossing) lopen.

De Onbekende Wereld: Je ziet de weg niet. Je weet niet hoe steil de hellingen zijn (de dynamica van het systeem).
De Actie (On-policy): Je zet een stap. Je beweegt. Je voelt hoe de grond onder je voeten reageert. In de technische taal noemen ze dit on-policy: je leert door daadwerkelijk te doen, niet door alleen naar oude kaarten te kijken.
De "Trilling" (Dithering): Om zeker te weten dat je de grond goed voelt, laat je je lichaam een beetje trillen (een klein, gecontroleerd trillings-signaal). Dit zorgt ervoor dat je niet vastloopt op één puntje, maar echt voelt hoe de wereld om je heen werkt. Dit is cruciaal om de "handleiding" correct te schrijven.
Het Leren (Recursive Learning): Na elke stap update je je mentale kaart. Je zegt: "Ah, toen ik hier een stap naar rechts zette, ging ik iets naar boven." Je gebruikt een slimme rekenmethode (Recursive Least Squares) om je kaart steeds scherper te maken.
Het Verbeteren (Policy Gradient): Op basis van je nieuwe kaart pas je je looprichting direct aan. Je zoekt de weg naar beneden.

Het unieke aan deze methode is dat leren en doen tegelijkertijd gebeuren. Je stopt niet met lopen om te studeren, en je stopt niet met studeren om te lopen. Het is één continue dans.

Waarom is dit zo speciaal? De "Stabiliteits-Keurmerk"

De grootste uitdaging bij dit soort "leren onderweg"-methoden is: Wat als ik per ongeluk een slechte stap zet en het vliegtuig crasht terwijl ik nog aan het leren ben?

De meeste bestaande methoden zeggen: "We hopen dat het goed gaat."
De auteurs van dit paper zeggen: "Wij garanderen dat het veilig blijft."

Ze hebben een wiskundig bewijs (een "stabiliteits-keurmerk") gevonden dat zegt:

Zolang je de trillingen (de dither) niet te groot maakt,
En je leert niet te snel (je pas je kaart niet te wild aan),
Dan zal het systeem altijd stabiel blijven.

Het is alsof je een vliegtuig bouwt dat zichzelf herstelmechanismen heeft ingebouwd. Zelfs als je de handleiding nog niet helemaal af hebt, zal het vliegtuig niet neerstorten; het zal gewoon een beetje wiebelen rond de ideale koers, maar altijd veilig blijven.

De Toepassing: Een Vliegtuig in de Mist

In het paper testen ze dit op een vliegtuig dat vliegt op 3000 meter hoogte.

Scenario 1: Het vliegtuig heeft vaste eigenschappen. Het algoritme leert snel hoe het vliegtuig werkt en vindt de perfecte vluchtroute.
Scenario 2: Het vliegtuig verandert onderweg (bijvoorbeeld door wind of slijtage). De "handleiding" wordt dan verouderd.
- Bij andere methoden zou je misschien moeten stoppen, het systeem resetten en opnieuw beginnen.
- Bij Relearn LQR past het systeem zich direct aan. Het merkt dat de helling veranderd is, past zijn kaart aan en blijft vliegen, zonder ooit de controle te verliezen.

Samenvattend in één zin

Dit paper introduceert een slimme, veilige manier om een machine te besturen die je niet kent, waarbij je continu leert van je eigen acties, maar met een wiskundige garantie dat je machine nooit uit de hand zal lopen, zelfs als de omstandigheden veranderen.

Het is alsof je een auto bestuurt in de mist, waarbij je tegelijkertijd de wegkaart tekent, maar de auto is zo ontworpen dat hij nooit van de weg raakt, hoe snel je de kaart ook tekent.

Titel: Stabiliteitsgecertificeerde On-Policy Data-Driven LQR via Recursief Leren en Policy Gradient

Auteurs: Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano.

1. Probleemstelling

Het artikel adresseert het probleem van het oplossen van het Lineair Kwantitatief Regelaar (LQR) probleem voor lineaire systemen waarbij de dynamica (de matrices $A$ en $B$ ) onbekend zijn.

Doel: Ontwerpen van een data-gedreven regelaar die de optimale feedbackpolitiek leert terwijl het systeem wordt bestuurd.
Specifieke Uitdaging: De meeste bestaande data-gedreven methoden (zoals off-policy methoden) verzamelen eerst data en gebruiken deze later voor optimalisatie, of ze garanderen geen stabiliteit van het gesloten-lus systeem tijdens het leerproces.
Kernvraag: Hoe kan men een on-policy strategie ontwikkelen die gelijktijdig leert, optimaliseert en controleert, met een formele garantie dat het totale systeem (leren + besturing) stabiel blijft?

2. Methodologie: Relearn LQR

De auteurs stellen een nieuw algoritme voor, genaamd Relearn LQR (REcursive LEARNing policy gradient for LQR). Dit is een on-policy methode, wat betekent dat de data wordt verzameld terwijl de huidige (nog niet optimale) regelaar op het echte systeem wordt toegepast.

Het algoritme combineert drie processen die gelijktijdig (concurrent) verlopen:

Data Collectie & Dithering:
- De regelaar $u_t = K_t x_t$ wordt toegepast op het onbekende systeem.
- Om voldoende excitatie (persistency of excitation) te garanderen voor het leren van de parameters, wordt een externe dithering-signal ( $d_t$ ) toegevoegd aan de input. Dit zorgt ervoor dat het systeem voldoende "beweegt" om de dynamica te kunnen identificeren.
- De dithering wordt gegenereerd door een exogeen oscillator-systeem.
Lerend Proces (Schatting):
- De systeemmatrices $(A^\star, B^\star)$ worden continu geschat met behulp van een Recursive Least Squares (RLS) methode.
- Dit is een online optimalisatieprobleem dat de parameters $\theta_t$ (waarbij $\theta = [A, B]^\top$ ) bijwerkt op basis van de nieuwste state-input samples.
Optimalisatie Proces (Policy Gradient):
- De geschatte parameters $\theta_t$ worden direct gebruikt om de feedbackwinst $K_t$ te updaten via een gradient-based methode.
- De update volgt de richting van de afgeleide van de kostenfunctie, waarbij de onbekende matrices worden vervangen door hun huidige schattingen.

Wiskundige Formulering:
Het totale systeem wordt gemodelleerd als een niet-lineair dynamisch systeem met twee tijdschalen:

Snelle dynamiek: De systeemtoestand $x_t$ en de RLS-schattingen ( $H_t, S_t$ ) die snel reageren op de dithering en de huidige regelaar.
Trage dynamiek: De update van de regelaar $K_t$ en de parameterschattingsfouten, die langzamer veranderen door de stapgrootte $\gamma$ .

3. Belangrijkste Bijdragen

Stabiliteitscertificaten voor het Gesloten-Lus Systeem:
Het meest opvallende aspect is de formele stabiliteitsanalyse. De auteurs bewijzen dat het volledige verweven systeem (leren + optimaliseren + besturen) exponentieel stabiel is.
- Ze gebruiken Lyapunov-analyse en averaging-theorie (gemiddelde theorie) voor systemen met twee tijdschalen.
- Ze tonen aan dat het systeem convergeert naar een evenwichtspunt waar:
  1. De feedbackpolitiek de optimale LQR-oplossing is ( $K^\star$ ).
  2. De geschatte matrices exact overeenkomen met de werkelijke matrices ( $\theta_t \to \theta^\star$ ).
  3. De systeemtoestand rond de oorsprong oscilleert met een amplitude die willekeurig klein kan worden gemaakt door de dithering-grootte te verkleinen (praktische exponentiële stabiliteit).
On-Policy Concurrentie:
In tegenstelling tot veel bestaande methoden die data verzamelen en dan optimaliseren (off-policy) of experimenten vereisen waarbij het systeem herhaaldelijk moet worden herinitialiseerd, werkt Relearn LQR online en continu. Het systeem wordt nooit stilgezet; het leert en verbetert terwijl het werkt.
Aanpassingsvermogen:
Het algoritme is ontworpen om om te gaan met drijvende parameters (time-varying systems). Als de systeemmatrices langzaam veranderen, past het algoritme zich dynamisch aan zonder dat het proces moet worden herstart.

4. Resultaten

De effectiviteit van Relearn LQR is getest via numerieke simulaties op het model van een hoog manoeuvreerbaar vliegtuig (longitudinale dynamica).

Stabiele Systemen: In het geval van statische parameters convergeerden de kosten ( $J$ ) en de parameterschattingsfouten ( $\|\theta_t - \theta^\star\|$ ) exponentieel naar nul. De gesloten-lus trajecten toonden de verwachte oscillaties rond de oorsprong door de dithering, maar bleven stabiel.
Drijvende Parameters: Er werd een scenario gesimuleerd waarin de systeemmatrices $A$ $A$ en $B$ $B$ langzaam veranderen (via een sigmoid-functie).
- Het algoritme slaagde erin om de optimale kosten en de nieuwe parameters te tracken.
- Tijdens de overgangsperiode (waar de systemen veranderen) namen de fouten tijdelijk toe, maar het systeem herstelde snel en convergeerde opnieuw naar de nieuwe optimale oplossing zonder instabiliteit.

5. Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen leren en besturing met een sterke theoretische onderbouwing.

Theoretische Doorbraak: Het biedt een van de eerste formele bewijzen van stabiliteit voor een volledig on-policy, data-gedreven LQR-systeem waarbij leren en besturen gelijktijdig plaatsvinden.
Praktische Toepassing: De methode is geschikt voor real-time toepassingen in robotica en automatisering waar modellen onbekend zijn en veranderingen kunnen optreden (bijv. slijtage, veranderende omstandigheden).
Toekomst: De auteurs wijzen erop dat hun methode de weg vrijmaakt voor stabiliteitscertificaten in nog complexere settings, zoals stochastische systemen en systemen met ruis, en dat er toekomstig onderzoek nodig is naar de relatie tussen "regret" (spijt) en stabiliteit.

Kortom, Relearn LQR biedt een robuust framework om optimale regelaars te leren voor onbekende systemen, waarbij de veiligheid (stabiliteit) van het proces tijdens het leren gegarandeerd is.