⚡ electrical engineering

Training with Hard Constraints: Learning Neural Certificates and Controllers for SDEs

Deze paper introduceert twee trainingsframeworks die hard constraints garanderen voor het leren van neurale certificaten en controllers voor systemen gestuurd door stochastische differentiaalvergelijkingen, waarbij de ene methode domeindiscretisatie gebruikt voor globale geldigheid en de andere een scenario-gebaseerde aanpak biedt voor schaalbaarheid in hogere dimensies met PAC-garanties.

Oorspronkelijke auteurs: Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, Morteza Lahijanian

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, Morteza Lahijanian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot bestuurt die door een stormachtige stad moet rijden. De robot moet van punt A naar punt B komen (de doel), maar hij mag absoluut niet in de modderplassen belanden (de gevaarlijke zone). Het probleem is dat de weg onvoorspelbaar is: de wind waait willekeurig, de weg is glad, en de robot kan soms een beetje uit de hand lopen.

In de wereld van kunstmatige intelligentie (AI) proberen we vaak zulke robots te leren rijden door ze duizenden keren te laten oefenen. Maar wat als de AI een keer een rare fout maakt? In een simpele game is dat niet erg, maar als het om een zelfrijdende auto of een drone gaat, kan één fout catastrofaal zijn. We willen 100% zekerheid, niet alleen "het werkt meestal wel".

Dit papier van Chun-Wei Kong en zijn team lost precies dat probleem op. Ze hebben een nieuwe manier bedacht om AI-systemen te trainen die wiskundig bewijzen dat ze veilig zijn, zelfs als het weer (de "stochastische processen") tegen ze is.

Hier is de uitleg in twee simpele methoden:

Methode 1: De "Gordijntje-methode" (Bound-Training)

Stel je voor dat je een heel groot, complex laken (de hele stad) moet controleren op gaten. Je kunt niet elke centimeter van het laken met je ogen afzoeken; dat duurt eeuwen.

In plaats daarvan knip je het laken in kleine, vierkante stukjes (een rooster of partition). Voor elk stukje bereken je de "ergste mogelijke situatie".

Als het stukje veilig is, ook in de ergste situatie, dan is het stukje veilig.
Als je voor elk stukje kunt bewijzen dat het veilig is, dan is het hele laken veilig.

De auteurs gebruiken dit idee om een AI (een neuraal netwerk) te trainen. Ze dwingen de AI om een "veiligheidskaart" te tekenen.

De kaart: Een digitale kaart die zegt: "Hier ben je veilig, hier moet je bang zijn."
De training: Ze trainen de AI niet zomaar om de kaart te maken, maar ze gebruiken een speciale "straf" (verliesfunctie). Als de AI ook maar één klein hoekje van de kaart tekent waar het onveilig zou kunnen zijn, krijgt ze een enorme straf.
Het resultaat: Zodra de straf nul is, weten we met 100% zekerheid dat de kaart klopt. De robot kan dan die kaart gebruiken om veilig door de stad te rijden.

De beperking: Dit werkt geweldig voor steden met 2 of 3 straten (2 of 3 dimensies), maar als je een heel groot land met 100 straten hebt (10 dimensies), krijg je zoveel stukjes dat je computer er van vastloopt.

Methode 2: De "Vlieger-methode" (Scenario-based Training)

Voor die grote, complexe landen (hoge dimensies) gebruiken ze een slimme truc. In plaats van het hele laken in stukjes te knippen, gooien ze duizenden vliegen (steekproeven) tegen het laken.

Stel je voor dat je een groot net (de AI) wilt testen. Je gooit er 10.000 ballen tegenaan.

Als de AI alle ballen kan vangen zonder dat er eentje doorheen gaat, dan is de kans 99,999% dat hij ook de 10.001e bal vangt.
Ze gebruiken wiskunde (PAC-garanties) om te zeggen: "Als we genoeg ballen gooien, kunnen we met bijna 100% zekerheid zeggen dat het net overal veilig is, behalve misschien op een heel klein, onzichtbaar plekje."

Dit is veel sneller en schaalbaarder. Het werkt zelfs voor systemen met 10 of meer dimensies, waar de eerste methode faalt.

Wat is het grote nieuws?

Voorheen moesten onderzoekers kiezen tussen:

Veiligheid: Wiskundig bewijzen dat het werkt (maar dan alleen voor simpele systemen).
Schaalbaarheid: Het trainen van slimme AI voor complexe systemen (maar dan zonder garantie dat het nooit faalt).

De auteurs van dit papier hebben de brug gevonden. Ze hebben twee methoden ontwikkeld die beide doen:

Ze kunnen complexe systemen (zoals een vliegtuig of een robotarm) trainen.
Ze geven een hard bewijs (een certificaat) dat de AI veilig is, voordat hij ook maar één keer echt wordt ingezet.

Ze hebben dit zelfs getest op echte problemen, zoals het stabiliseren van een schommelende pendel in de wind en het vliegen van een vliegtuigmodel door turbulentie. In al deze gevallen wist hun AI niet alleen de taak te volbrengen, maar kon ze ook bewijzen dat ze nooit in de gevaarlijke zone zou komen.

Kortom: Ze hebben een manier gevonden om AI-systemen niet alleen "slim" te maken, maar ook "wiskundig onfeilbaar" te garanderen, zelfs als de wereld om hen heen chaotisch is. Dat is een enorme stap voor de veiligheid van toekomstige technologie.

Titel: Training met Harde Constraints: Het Leren van Neuronale Certificaten en Controllers voor SDE's

Auteurs: Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, en Morteza Lahijanian (University of Colorado Boulder).

1. Probleemstelling

Het paper richt zich op het beheersen van continue-tijd, continue-ruimte stochastische systemen, gemodelleerd door Stochastische Differentiaalvergelijkingen (SDE's). Het specifieke doel is het garanderen van reach-avoid eigenschappen: de kans dat een systeem startend vanuit een initiële set ( $X_0$ ) een doelset ( $X_g$ ) bereikt zonder de onveilige set ( $X_u$ ) te betreden, moet boven een bepaalde drempelwaarde liggen.

De uitdagingen zijn:

Formele garanties: Empirische prestaties van neurale netwerken (NN) zijn onvoldoende voor veiligheidskritieke toepassingen. Er zijn formele bewijzen nodig dat de constraints (ongelijkheden) over het hele continue domein gelden.
Harde constraints: Bestaande methoden gebruiken vaak "soft" penalties of post-training verificatie, wat geen garantie biedt voor het volledige domein.
Schaalbaarheid: Klassieke methoden zoals Sum-of-Squares (SoS) programmeren schalen slecht naar hogere dimensies. Bestaande NN-benaderingen met "learner-verifier" frameworks (gebruikmakend van SMT-solvers of discretisatie) lopen vast bij hogere dimensies of vereisen restrictieve aannames over de dynamica.
Gecombineerd leren: Het is moeilijk om een NN-controller en een NN-certificaat (een functie die de veiligheid bewijst) gelijktijdig te trainen met gegarandeerde constraints.

2. Methodologie

De auteurs stellen twee complementaire trainingsframeworks voor die harde constraints direct in het trainingsproces van neurale netwerken coderen.

A. Bound-Training Framework (Hard-SAT)

Deze methode is gebaseerd op domein-discretisatie en interval-aritmetiek om garanties te geven voor het volledige domein.

Principe: Het domein $X$ wordt opgesplitst in een partitie van cellen ( $Q$ ). Voor elke cel worden analytische bovengrenzen (bounds) berekend voor de certificaatfunctie $V_\theta(x)$ en de infinitesimale generator $G[V_\theta](x)$ (die de drift en diffusie van de SDE combineert).
Verliesfunctie: Er wordt een op bounds gebaseerde verliesfunctie ( $L_{bound}$ $L_{b o u n d}$ ) gedefinieerd die de overtreding van de certificaat-ongelijkheden meet. De termen omvatten:
- $V(x) \geq 0$
- $V(x) \leq 1$ op $X_0$
- $V(x) \geq \beta$ op $X_u$
- $G[V](x) < 0$ op de overige gebieden.
Garantie: Als het verlies $L_{bound} = 0$ is, zijn de constraints wiskundig gegarandeerd voor het hele domein, ongeacht de discretisatiegrootte (mits de bounds correct zijn berekend).
Adaptieve verfijning: Om de "curse of dimensionality" te mitigeren, worden strategieën voor top-K refinement (alleen de cellen met de grootste overtreding splitsen) en merging (cellen samenvoegen als ze voldoen) gebruikt.
Gecombineerde Synthese: De methode wordt uitgebreid om zowel de controller $\pi$ als het certificaat $V$ te trainen door de parameters van beide netwerken te updaten via backpropagation door een differentieerbaar berekeningstelsel afgeleid van de gesloten-lus SDE-dynamica.

B. Scenario-based Training (PAC-garanties)

Voor systemen met hogere dimensies (waar discretisatie onmogelijk wordt) wordt een statistische benadering voorgesteld.

Principe: In plaats van het hele domein te discretiseren, worden willekeurige steekproeven ( $\hat{X}$ ) genomen uit de toestandruimte.
Convexe Scenario-Optimalisatie: De constraints worden alleen geëvalueerd op deze steekproeven. Het probleem wordt geformuleerd als een lineair programma (LP) door alleen de gewichten van de laatste laag van het neurale certificaat te optimaliseren (de rest van het netwerk wordt "warm-started").
PAC-Garantie: Op basis van de theorie van convex scenario-optimalisatie (Campi et al., 2009) wordt gegarandeerd dat, met een hoge betrouwbaarheid ( $1-\delta$ ), de gevonden oplossing voldoet aan de constraints over het grootste deel van het domein, behalve op een klein gebied met maat $\leq \epsilon$ .
Schaalbaarheid: De benodigde steekproefgrootte is onafhankelijk van de dimensie van de toestandruimte, waardoor deze methode schaalbaar is naar 10D en hoger.

3. Belangrijkste Bijdragen

Bound-Training Framework: Een nieuwe trainingsmethode voor neurale reach-avoid certificaten met harde garanties (zero loss impliceert volledige geldigheid) voor SDE's, schaalbaar tot 5D.
Gecombineerde Synthese: Uitbreiding van het framework voor het gelijktijdig trainen van neurale controllers en certificaten, waarbij de certificaat-constraints de controller-updates direct sturen.
Scenario-based Training: Een schaalbaar, partitie-vrij alternatief voor hogere dimensies (tot minstens 10D) met arbitrair strakke PAC-garanties (Probably Approximately Correct).
Empirische Validatie: Uitgebreide benchmarks op diverse systemen (o.a. omgekeerde slinger, Geometrische Brownse Beweging, Lorenz-systeem, en een XV-15 tilt-rotor vliegtuig) die aantonen dat de methoden de state-of-the-art (Neustroev et al., 2025) overtreffen in schaalbaarheid en betrouwbaarheid.

4. Resultaten

Verificatie (Problem 1):
- De Hard-SAT methode (bound-training) slaagt in het vinden van geldige certificaten voor systemen tot 5 dimensies (GBM), terwijl de state-of-the-art methode faalt bij 3D en hoger.
- De Scenario-based methode schaalbaar tot 10 dimensies met een betrouwbaarheid van $1 - 10^{-9}$ .
- In vergelijking met Neustroev et al. (2025) vereist de bound-training aanzienlijk minder partities en levert het harde garanties, terwijl de soft-training van de concurrentie vaak faalt bij hogere dimensies.
Synthese (Problem 2):
- Het framework slaagt erin om voor vier complexe systemen (2D slinger, 2D GBM, 3D Lorenz, 3D XV15 vliegtuig) zowel een controller als een certificaat te leren.
- Monte Carlo-simulaties tonen een empirische reach-avoid-kans van 1.0 voor alle gesloten-lus systemen.
- Visualisaties tonen aan dat de geleerde controllers systemen succesvol naar het doel sturen terwijl ze onveilige gebieden vermijden, in tegenstelling tot ongecontroleerde of open-loop trajecten.

5. Betekenis en Conclusie

Dit paper doorbreekt de beperkingen van bestaande methoden voor veiligheidskritieke controle van stochastische systemen.

Het lost het dilemma op tussen garanties en schaalbaarheid door twee specifieke tools aan te bieden: een exacte methode voor middelhoge dimensies en een statistisch robuuste methode voor hoge dimensies.
Het introduceert een paradigmaverschuiving van "leren en dan verifiëren" naar "leren met ingebouwde garanties", wat de noodzaak van trial-and-error bij het ontwerpen van controllers vermindert.
De mogelijkheid om controllers en certificaten gelijktijdig te trainen met harde constraints opent de weg naar het ontwerpen van veilige AI-gestuurde systemen voor complexe, real-world toepassingen zoals luchtvaart en robotica, zelfs onder onzekerheid (ruis).

De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en adoptie van deze technieken verder stimuleert.