⚡ electrical engineering

Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

Dit artikel stelt een op leren gebaseerd dual-ascent algoritme voor dat oneindige horizon stochastische optimale controleproblemen met gezamenlijke kansrestricties herformuleert tot onbeperkte Markov-beslissingsprocessen via staatsextensie, wat de efficiënte berekening van optimale en haalbare deterministische beleidsregels voor continue staat-inputruimtes mogelijk maakt.

Oorspronkelijke auteurs: Francesco Cordiano, Kanghui He, Bart De Schutter

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Francesco Cordiano, Kanghui He, Bart De Schutter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een ruimteschip dat door een dicht asteroïdengordel navigeert. Je missie is om een verre ster te bereiken met zo min mogelijk brandstof. Maar er is een addertje onder het gras: je kunt niet alleen de asteroïden vermijden die je nú ziet; je moet garanderen dat je gehele reis, van lancering tot landing, met een zeer hoge waarschijnlijkheid veilig verloopt. Dit is de kern van een vakgebied genaamd stochastische optimale controle. Het is de wetenschap van het nemen van de beste beslissingen wanneer de toekomst vaag en vol verrassingen is.

Om de uitdaging te begrijpen, denk aan twee manieren om met gevaar om te gaan. De eerste is als het elke seconde in je achteruitkijkspiegel kijken en zeggen: "Oké, ik ben nu veilig." Dit wordt een "stapgewijze" controle genoemd. De tweede, veel moeilijkere aanpak, is als het naar je hele vliegroute op een kaart kijken en zeggen: "Ik beloof dat elk enkel punt op deze lijn vrij zal zijn van asteroïden." Dit is een joint chance constraint (gezamenlijke kansbeperking). Het is een "missiebrede" belofte. Het probleem is dat het maken van deze belofte extreem moeilijk is voor computers, omdat het toekomstige pad afhangt van elke hobbel en bocht die eraan voorafging, waardoor de wiskunde exponentieel complex wordt. Meestal moeten ingenieurs, om de wiskunde beheersbaar te houden, overdreven voorzichtig zijn door brede, trage omwegen te nemen die brandstof verspillen, of ze moeten aannemen dat het universum na een bepaalde tijd niet meer gevaarlijk is.

Dit artikel, geschreven door Francesco Cordiano, Kanghui He en Bart De Schutter, pakt het probleem aan van hoe je dat oneindige, gevaarlijke pad navigeert zonder overdreven voorzichtig te zijn of aan te nemen dat het gevaar verdwijnt. Ze stellen een slimme nieuwe manier voor om een computer te leren hoe hij deze perfecte, veilige en brandstofefficiënte beslissingen neemt voor systemen die eeuwig blijven draaien, zoals een elektriciteitsnet of een zelfrijdende auto op een snelweg.

De Magische Truc: Een Geheugenprobleem Veranderen in een Toestandsprobleem

De grootste hoofdpijn bij de "missiebrede" veiligheidsbelofte is dat deze niet-Markoviaans is. In gewone mensentaal betekent dit dat de computer alles moet onthouden wat sinds het begin der tijden is gebeurd om te weten of het nog steeds veilig is. Als je nog nooit een asteroïde hebt geraakt, ben je veilig. Als je gisteren een hebt geraakt, ben je al "gefaald". Een standaard computerbrein (een Markov-beleid) kijkt meestal alleen naar waar je nú bent om te beslissen wat je hierna doet. Het heeft geen langetermijngeheugen.

De eerste doorbraak van de auteurs is een "magische truc" genaamd state augmentation (toestandsvergroting). Ze verzinnen een nieuwe set "virtuele sensoren" om aan het ruimteschip te bevestigen.

Het "Alles-is-veilig"-lampje (Toestand $\xi$ ): Dit is een binaire schakelaar die "AAN" (1) blijft zolang het schip nog nooit een asteroïde heeft geraakt. Op het moment dat het een asteroïde raakt, springt de schakelaar naar "UIT" (0) en blijft daar voor altijd.
Het "Eerste Klap"-alarm (Toestand $\psi$ ): Dit is een speciaal alarm dat alleen op het exacte moment dat het schip zijn eerste asteroïde raakt, afgaat. Als dit alarm afgaat, weet het systeem: "Ah, dit is het moment waarop we gefaald zijn."
De "Tijd-draaischijf" (Toestand $\phi$ ): Omdat het schip probeert de brandstof over een oneindige toekomst te minimaliseren, verandert het belang van toekomstig brandstofverbruik in de loop van de tijd. Deze draaischijf houdt dat veranderende belang bij.

Door deze drie virtuele sensoren toe te voegen aan de werkelijke positie van het schip, hoeft de computer het hele verleden niet meer te onthouden. Hij hoeft alleen maar naar de huidige toestand van deze sensoren te kijken. Als het "Alles-is-veilig"-lampje AAN staat, weet hij dat hij tot nu toe veilig is. Als het UIT staat, weet hij dat hij al gefaald is. Dit verandert een complex, geheugenintensief probleem in een standaard, beheersbaar probleem dat de computer stap voor stap kan oplossen.

De Balansact: De Prijs van Veiligheid

Nu het probleem beheersbaar is, volgt de volgende uitdaging: het "oneindige horizon"-gedeelte. Het schip moet voor altijd veilig blijven, niet alleen voor de komende 10 minuten. De auteurs gebruiken een wiskundig concept genaamd Lagrange-dualiteit om dit op te lossen.

Stel je voor dat je een robot inhuurt om je auto te besturen. Je zegt tegen hem: "Rijd zo snel mogelijk, maar rijd niet tegen." De robot weet niet hoe hij snelheid en veiligheid moet balanceren. Dus introduceer je een "Prijs van Veiligheid". Je zegt: "Elke keer dat je dicht bij een botsing komt, moet je een boete betalen."

Als de boete te laag is, rijdt de robot roekeloos en botst hij.
Als de boete te hoog is, rijdt de robot zo langzaam dat hij nergens komt.

Het artikel stelt een algoritme voor dat werkt als een slimme onderhandelaar. Het begint met een lage boete en laat de robot rijden. Als de robot te vaak botst, verhoogt het algoritme de boete. Als de robot te langzaam en te veilig rijdt, verlaagt het de boete. Het doel is om de "Goldilocks"-boete (de duale variabele, $\lambda$ ) te vinden waarbij de robot zo snel mogelijk rijdt terwijl hij precies aan de veiligheidseis voldoet.

De auteurs bewijzen dat deze onderhandeling perfect werkt. Ze laten zien dat er een specifieke prijs is waarbij de "beste snelheid"-strategie van de robot ook de "veiligste" strategie is. Hierdoor kunnen ze het moeilijke "veiligheidsrestrictie"-probleem omzetten in een eenvoudiger "minimaliseer kosten plus boete"-probleem.

De Robot Onderwijzen met Neurale Netwerken

Het laatste puzzelstukje is dat real-world systemen (zoals robots of elektriciteitsnetten) een oneindig aantal mogelijkheden hebben voor waar ze kunnen zijn en wat ze kunnen doen. Je kunt niet voor elke mogelijke situatie een regel opschrijven. Om dit op te lossen, gebruiken de auteurs machine learning.

Ze trainen een Neuraal Netwerk (een type computerbrein geïnspireerd door het menselijk brein) om de "waarde" te leren van het zijn in elke situatie.

Eerst leren ze het netwerk wat er gebeurt als de veiligheidsregel al gebroken is. In dat geval probeert de robot gewoon zo snel mogelijk het doel te bereiken, waarbij veiligheid wordt genegeerd.
Daarna leren ze het netwerk de "Alles-is-veilig"-situatie. Hier leert het netwerk om snelheid te balanceren met de "Prijs van Veiligheid"-boete.

De training vindt offline plaats, wat betekent dat de computer al al het zware denkwerk doet voordat de robot überhaupt begint te bewegen. Eenmaal getraind, kan de robot beslissingen nemen in een fractie van een seconde (0,01 seconde in hun tests) door simpelweg naar zijn huidige toestand en het advies van het neurale netwerk te kijken.

De Resultaten: Sneller, Veiliger en Slimmer

De auteurs testten hun methode op een simulatie van een "unicycle" robot (een robot die op één wiel balanceert) die probeert te navigeren door een doolhof met een gevaarlijk obstakel in het midden. Ze vergeleken hun methode met een populaire techniek genaamd Model Predictive Control (MPC), wat lijkt op een robot die zijn volgende paar stappen plant, controleert of ze veilig zijn, en dan opnieuw plant.

De resultaten waren indrukwekkend:

Veiligheid: De nieuwe methode hield de robot veilig met een schendingspercentage van ongeveer 4,5%, wat ruim onder de toegestane limiet van 10% ligt. De traditionele MPC-methode, zelfs met zware aanpassingen, had een schendingspercentage van 17% en faalde daarmee voor de veiligheidstest.
Prestaties: De nieuwe methode gebruikte aanzienlijk minder "brandstof" (kosten) om het doel te bereiken. De nieuwe methode had een kost van 528,3, terwijl de MPC-methode een kost had van 672,0. De nieuwe methode was slimmer in het nemen van risico's: als hij het obstakel tóch raakte (in de zeldzame gevallen dat dat gebeurde), schakelde hij onmiddellijk over naar het snelst mogelijke pad naar het doel, terwijl de MPC-methode vast kwam te zitten in een conservatieve lus.
Snelheid: Dit is de grootste overwinning. De traditionele MPC-methode deed er gemiddeld 2,94 seconden over om per stap een beslissing te nemen, en liep soms tegen een limiet van 10 seconden aan, wat vertragingen veroorzaakte. De nieuwe methode deed er slechts 0,01 seconde over. Het was bijna 300 keer sneller.

Waarom Dit Belangrijk Is

Dit artikel zegt niet alleen "we hebben het gedaan"; het biedt een rigoureus wiskundig bewijs dat hun methode werkt en convergeert naar de beste mogbare oplossing. Het laat zien dat je niet hoeft te kiezen tussen veilig zijn en efficiënt zijn. Door gebruik te maken van een slimme state augmentation en een intelligent leeralgoritme, kun je systemen bouwen die zowel ongelooflijk snel als strikt veilig zijn in een oneindige toekomst.

De auteurs geven toe dat hun methode afhankelijk is van simulaties en dat het leerproces voldoende data nodig heeft om accuraat te zijn, vooral nabij de randen van gevarenzones. Echter, ze demonstreren dat voor complexe, continue systemen deze aanpak een enorme sprong voorwaarts is. Het verandert een probleem dat voorheen te moeilijk was om op te lossen in een probleem dat een computer in een oogwenk kan oplossen, wat de deur opent naar veiligere, efficiëntere autonome systemen in de echte wereld.

Technische Samenvatting: Leergebaseerde Stochastische Optimale Controle met Oneindige Horizon Probabilistische Constraints

Probleemformulering
Het artikel behandelt de uitdaging van het oplossen van stochastische optimale controlesystemen met een oneindige horizon onder onderhevige aan gezamenlijke kansconstraints (joint chance constraints). In tegenstelling tot individuele (stapgewijze) kansconstraints, die veiligheid bij elke stap onafhankelijk vereisen, eisen gezamenlijke kansconstraints dat de systeemtoestand gedurende de gehele trajectorie binnen een veilige verzameling $X$ blijft met een waarschijnlijkheid van ten minste $1-\varepsilon$ . Deze formulering is cruciaal voor veiligheidskritische systemen, maar presenteert twee belangrijke moeilijkheden:

Niet-Markoviaanse aard: De constraint hangt af van de gehele geschiedenis van het traject, waardoor standaard Markov Decision Process (MDP) formuleringen ontoepasbaar zijn.
Computationele onhandelbaarheid: Traditionele methoden vertrouwen vaak op conservatieve benaderingen (bijv. de ongelijkheid van Boole) of eindige horizon-aannames, die ofwel de prestaties verslechteren of niet in staat zijn de oneindige horizon-setting aan te pakken zonder restrictieve aannames over de ondersteuning van de verstoring.

Methodologie
De auteurs stellen een raamwerk voor dat het oorspronkelijke niet-Markoviaanse, geconstreinde probleem transformeert naar een equivalent onconstrained Markoviaans probleem dat oplosbaar is via leergebaseerde dynamische programmering. De methodologie verloopt in drie hoofdfases:

Toestandsaugmentatie en Herformulering:
De auteurs introduceren een uitgebreide toestandsruimte $S = \mathbb{R}^n \times \{0, 1\}^2 \times [0, 1]$ . De oorspronkelijke toestand $x_t$ wordt uitgebreid met drie hulpvariabelen:
- $\xi_t$ : Een binaire indicator die 1 is als het traject tot tijd $t$ aan de constraints heeft voldaan, en 0 anders.
- $\psi_t$ : Een binaire indicator die 1 is als de huidige toestand $x_t$ de eerste toestand is die de constraint overtreedt, en 0 anders.
- $\phi_t$ : Een scalaire variabele geïnitialiseerd op 1 en bijgewerkt als $\phi_{t+1} = \gamma \phi_t$ om de mismatch tussen de gedisconteerde kosten en de niet-gedisconteerde constraint te elimineren.
Deze augmentatie maakt het mogelijk om de gezamenlijke kansconstraint te herformuleren als een additieve constraint op de verwachte som van $\psi_t$ over de oneindige horizon: $\mathbb{E}[\sum \psi_t] \leq \varepsilon$ .
Lagrangiaans Duaal Raamwerk en Sterke Dualiteit:
Het geconstreinde probleem wordt gegoten in een Lagrangiaans duaal raamwerk. De auteurs bewijzen dat sterke dualiteit geldt voor deze formulering onder de Slater-conditie. Dit staat toe dat het geconstreinde probleem kan worden geherformuleerd als een equivalent onconstrained probleem waarbij de kansconstraint wordt behandeld als een strafterm in de doelfunctie. De resulterende doelfunctie is:
$\inf_{\pi} \mathbb{E} \left[ \sum_{t=0}^{\infty} (\phi_t \ell(x_t, u_t) + \lambda \psi_t) \right] - \lambda \varepsilon$
waarbij $\lambda \geq 0$ de duale variabele is.
Dual-Ascent Algoritme en Leren:
Om het onconstrained probleem voor continue toestands- en actieruimtes op te lossen, stellen de auteurs een dual-ascent algoritme voor:
- Primal Stap: Voor een vaste $\lambda$ is de innerlijke minimalisatie een onconstrained optimaal controlesysteem opgelost via dynamische programmering (DP).
- Duale Stap: De duale variabele $\lambda$ wordt bijgewerkt via geprojecteerde gradiënt-ascent op basis van de schending van de risicoconstraint.
Om continue ruimtes te hanteren, ontwikkelen de auteurs een leergebaseerd raamwerk met behulp van neurale netwerken (NN) om de waardefunctie te benaderen. Ze maken gebruik van de structurele eigenschappen van de uitgebreide toestand:
- Als een schending heeft plaatsgevonden ( $\xi=0$ ), reduceert het probleem tot een onconstrained optimalisatie van de kosten, benaderd door een netwerk $\hat{W}$ .
- Als er geen schending heeft plaatsgevonden ( $\xi=1$ ), wordt de waardefunctie $\hat{J}$ geleerd, waarbij de waarschijnlijkheid van de transitie naar de schendingstoestand wordt meegenomen.
  Theoretische analyse bevestigt dat de waardefunctie continu is, wat het gebruik van universele benaderaars zoals neurale netwerken rechtvaardigt.

Belangrijkste Bijdragen

Equivalent Markoviaans Formulering: Het artikel breidt de technieken van toestandsaugmentatie uit van een eindige horizon naar oneindige horizon settings, waardoor het probleem wordt gegoten in een geconstreind MDP zonder terug te vallen op conservatieve benaderingen zoals de ongelijkheid van Boole.
Sterke Dualiteit en Deterministisch Beleid: De auteurs bewijzen sterke dualiteit voor de oneindige horizon-casus. Cruciaal is dat zij aantonen dat het voorgestelde dual-ascent algoritme convergeert naar een deterministisch Markoviaans beleid dat zowel optimaal als haalbaar is. Dit contrasteert met eerdere werken die vaak leunen op gemengde beleidsvormen of gemiddelde haalbaarheid over leeriteraties.
Verzwakte Haalbaarheidsvoorwaarden: Het artikel toont aan dat de aanname van een begrensde onzekerheidssteun (gebruikelijk in de oneindige horizon-literatuur) niet strikt noodzakelijk is; haalbaarheid kan worden gegarandeerd als de waarschijnlijkheid van de eerste constraintschending voldoende snel afneemt (bijv. via mean-square stabiliteit).
Leergebaseerde Oplossing: Er wordt een specifiek offline trainingsschema voorgesteld om de waardefunctie en de duale functie te benaderen, wat de computationele complexiteit van de online controlefase aanzienlijk vermindert vergeleken met Model Predictive Control (MPC).

Resultaten
De aanpak werd gevalideerd met een numeriek voorbeeld van een unicycle die door een obstakelveld navigeert met een gezamenlijke kansconstraint ( $\varepsilon = 0.1$ ).

Prestaties: De leergebaseerde aanpak bereikte een lagere closed-loop kosten ( $L_{cl} = 528.3$ ) vergeleken met een gerandomiseerd MPC-schema ( $L_{cl} = 672.0$ ).
Veiligheid: De empirische constraint schendingsgraad voor de voorgestelde methode was $0.045$, wat voldoet aan de $\varepsilon = 0.1$ eis. In contrast hiermee vertoonde het MPC-schema met 25 samples een schendingsgraad van $0.17$, waarmee het niet aan de veiligheidsspecificatie voldeed.
Efficiëntie: De online computationele tijd voor de voorgestelde methode was ongeveer 0.01 seconden per stap (het oplossen van een een-staps probleem), terwijl de MPC-aanpak gemiddeld 2.94 seconden vereiste (met een limiet van 10 seconden) en vaak moeite had om haalbare oplossingen te vinden nabij het obstakel.
Gedrag: Het geleerde beleid identificeerde correct dat zodra een constraint schending optreedt voor een specifiek traject, de optimale strategie is om de veiligheidsconstraint te negeren en de kosten te minimaliseren, een gedrag dat het MPC-schema niet efficiënt kon repliceren.

Betekenis
Het artikel beweert een computationeel efficiënte en theoretisch rigoureuze oplossing te bieden voor een klasse problemen die openstaande uitdagingen blijven: stochastische controle met een oneindige horizon en gezamenlijke kansconstraints. Door conservatieve benaderingen te vermijden en gebruik te maken van sterke dualiteit, bereikt de methode betere prestaties en veiligheidsgaranties dan state-of-the-art MPC-benaderingen, terwijl de online computationele complexiteit laag blijft. Het werk overbrugt de kloof tussen de theorie van constrained MDP's en praktische leergebaseerde controle voor continue systemen.