⚡ electrical engineering

Learning Neural Network Controllers with Certified Robust Performance via Adversarial Training

Dit paper presenteert een methode voor het gezamenlijk synthetiseren van neurale netwerkcontrollers en dissipativiteitscertificaten via adversarial training, die post-training geverifieerd worden met alpha,beta-CROWN om robuuste prestaties te garanderen en certificeringsgebieden tot 78 keer groter te maken dan traditionele lineaire matrixongelijkheidsbenaderingen.

Oorspronkelijke auteurs: Neelay Junnarkar, Yasin Sonmez, Murat Arcak

Gepubliceerd 2026-04-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Neelay Junnarkar, Yasin Sonmez, Murat Arcak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nogal onvoorspelbare robot wilt bouwen die een balancerende stok (een omgekeerde slinger) rechtop moet houden. Deze robot gebruikt een "neuraal netwerk" – een soort digitale hersenen die leren door ervaring, net als een kind dat fietsen leert.

Het probleem? In de echte wereld zijn er altijd onverwachte dingen: een windstootje, een hapering in de motor, of een kleine fout in de meting. Als je deze robot op een kritieke plek zet (bijvoorbeeld in een ziekenhuis of een fabriek), mag hij nooit vallen. Maar hoe bewijs je dat een "lerende" robot veilig is, als zijn gedrag zo complex is dat zelfs de bouwer niet precies weet wat hij in elke situatie gaat doen?

Dit is het probleem dat dit papier oplost. Hier is de uitleg in simpele taal, met een paar creatieve metaforen.

1. Het Probleem: De "Black Box"

Traditionele robots gebruiken vaste regels (als A, dan B). Die zijn makkelijk te controleren. Neuronale netwerken zijn echter als een zwarte doos. Je stopt data erin en er komt een beslissing uit, maar het pad daarbinnen is zo complex dat je niet kunt zeggen: "Ik weet 100% zeker dat hij nooit valt."

Bestaande methoden om veiligheid te garanderen zijn vaak te voorzichtig (ze noemen het "conservatief"). Het is alsof je zegt: "We mogen de robot alleen maar gebruiken als hij in een heel klein, veilig kooitje staat." Dat is veilig, maar het maakt de robot nutteloos, want hij kan nergens anders heen.

2. De Oplossing: Twee Helden in Teamwerk

De auteurs van dit papier gebruiken een slimme combinatie van twee technieken om de robot zowel slim als veilig te maken. Ze noemen dit "Adversarial Training" (tegenstrijdige training).

Stel je voor dat je een veiligheidscontroleur en een uitdagende testpiloot hebt.

De Testpiloot (Adversarial Training): Deze persoon probeert de robot bewust te laten vallen. Hij zoekt naar de zwakste plekken, de "gaten" in het systeem waar de robot faalt. Hij is de slechte jongen die probeert de robot te overtuigen dat hij niet veilig is.
De Veiligheidscontroleur (Dissipativity Certificates): Dit is een wiskundig bewijs (een soort "diploma" of "stempel van goedkeuring") dat zegt: "Zelfs als de testpiloot alles op alles zet, blijft de robot staan."

Het geheim: In plaats van ze apart te laten werken, laten ze ze samen trainen.

De testpiloot probeert de robot te laten vallen.
De robot (en zijn veiligheidsdiploma) leren van die fouten en passen zich aan om die val te voorkomen.
De testpiloot wordt nog slimmer en zoekt nieuwe manieren om te falen.
De robot wordt nog sterker.

Dit gaat door tot de robot zo sterk is dat zelfs de slimste testpiloot hem niet meer kan laten vallen.

3. De Wiskundige "Tijdsbespaarder"

Om te bewijzen dat de robot veilig is, gebruiken ze twee verschillende gereedschappen:

De LMI-methode (De oude, trage manier): Dit is alsof je een hele stad op een kaart tekent en zegt: "We weten zeker dat de robot veilig is in dit kleine vierkantje." Het is veilig, maar het vierkantje is heel klein.
De α,β-CROWN-methode (De nieuwe, snelle manier): Dit is een supercomputer die direct in de "zwarte doos" van de robot kijkt. In plaats van een klein vierkantje, kan deze methode bewijzen dat de robot veilig is in een enorm groot gebied.

In het papier vergelijken ze dit met het vergroten van een veiligheidsgebied. De oude methode gaf een veilig gebied dat 1x zo groot was. Hun nieuwe methode gaf een gebied dat 78 keer zo groot was! Dat betekent dat de robot veel meer ruimte heeft om te bewegen zonder gevaar.

4. Hoe werkt het in de praktijk? (De "Anchors")

Tijdens het trainen gebruiken ze iets wat ze "Anchors" (ankers) noemen.
Stel je voor dat je een zeilboot hebt die je wilt laten varen in een groot meer. Je begint met een klein veilig gebied rond de kade.

De "ankers" zijn punten net buiten dat veilige gebied.
De robot leert niet alleen om binnen het veilige gebied te blijven, maar hij wordt ook beloond als hij die ankers kan bereiken zonder te zinken.
Hierdoor groeit het veilige gebied stap voor stap, totdat het het hele meer beslaat.

5. Het Resultaat

De robot die ze hebben getraind, is niet alleen slimmer, maar heeft ook een officieel, wiskundig bewijs dat hij veilig is, zelfs als er onvoorspelbare storingen zijn.

Vroeger: Je moest de robot in een heel klein kooitje houden om veilig te zijn.
Nu: Dankzij hun methode kan de robot in een gebied werken dat 78 keer groter is dan vroeger.

Samenvatting in één zin

Dit papier introduceert een methode waarbij je een AI-robot en een wiskundig veiligheidsbewijs samen laat trainen door ze voortdurend uit te dagen; hierdoor krijg je een robot die niet alleen slimmer is, maar ook een officieel certificaat heeft dat hij veilig werkt in een veel groter gebied dan ooit tevoren mogelijk was.

Het is alsof je een atleet niet alleen traint om harder te lopen, maar ook een officieel certificaat laat maken dat bewijst dat hij op elk terrein (van modder tot ijs) niet zal struikelen.

Titel: Het leren van neurale netwerk-controllers met gecertificeerde robuuste prestaties via adversariele training

1. Probleemstelling

Neurale netwerken (NN) hebben bewezen uitstekende prestaties te leveren bij complexe regelingstaken voor niet-lineaire dynamische systemen. Het toepassen van deze controllers in veiligheidskritieke omgevingen wordt echter gehinderd door het ontbreken van formele garanties voor het gesloten-lusgedrag.

Uitdaging: In tegenstelling tot klassieke controllers, zijn NN-controllers niet-lineair en hoogdimensionaal, wat het moeilijk maakt om stabiliteit en robuustheid te certificeren.
Specifiek doel: Het waarborgen van prestaties onder externe verstoringen en modelonzekerheid (niet-parametrisch). Bestaande methoden die zich richten op nominale stabiliteit zijn onvoldoende voor deze robuustheidseisen.
Aanpak: De auteurs gebruiken dissipativiteitstheorie, een generalisatie van Lyapunov-stabiliteit, om input-output eigenschappen (zoals verstoringdemping) en stabiliteit onder onzekerheid te certificeren.

2. Methodologie

De paper stelt een methode voor om controllers en dissipativiteitscertificaten gezamenlijk te synthetiseren via een iteratief proces van training en verificatie.

A. Kerncomponenten:

Robuuste Dissipativiteit: Het systeem moet voldoen aan een dissipatie-inequatie (met een opslagfunctie $V$ ) binnen een begrensd gebied, zelfs bij aanwezigheid van onzekerheid $\Delta$ .
Hybride Verificatie Framework:
- $\alpha,\beta$ -CROWN: Een branch-and-bound methode die wordt gebruikt voor de directe analyse van de bekende niet-lineaire dynamica (zoals de NN-activaties en de plant). Dit vermijdt de conservatisme van het benaderen van bekende niet-lineariteiten.
- Kwadratische Beperkingen (QCs): Worden uitsluitend gebruikt om de niet-parametrische modelonzekerheid te karakteriseren.
Adversariele Training:
- Het doel is om de controller ( $\pi_\theta$ ) en de opslagfunctie ( $V_\phi$ ) zo te trainen dat de dissipativiteitsvoorwaarden gelden voor een zo groot mogelijk volume in de toestandsruimte.
- Counterexamples: Tijdens het trainingstraject worden "tegenvoorbeelden" (punten waar de voorwaarde wordt geschonden) gegenereerd om de training te sturen.

B. Het Trainingsproces (Algorithm 1):

Initialisatie: Start met een lineaire matrix-ongelijkheid (LMI)-oplossing voor de controller en een kwadratische opslagfunctie.
Verliesfunctie: Een gecombineerde verliesfunctie ( $L_{total}$ $L_{t o t a l}$ ) wordt geminimaliseerd:
- $L_{sample}$ : Straft schendingen van de verificatievoorwaarde op willekeurig gesamplede punten.
- $L_{adv}$ (Adversariele): Gebruikt Projected Gradient Descent (PGD) om de "ergste-case" punten te vinden waar de voorwaarde het meest wordt geschonden, en straft deze af.
- $L_{anchor}$ : Moedigt het uitbreiden van het gecertificeerde gebied aan door punten net buiten het huidige gebied te straffen als ze niet binnen het nieuwe gebied vallen.
Domeinuitbreiding: Zodra het huidige gebied geen schendingen meer toont, wordt het domein uitgebreid via simulaties van convergerende trajecten.
Formele Verificatie: Na training wordt $\alpha,\beta$ -CROWN gebruikt om via bisection de maximale grootte ( $\rho$ ) van het gecertificeerde gebied te bepalen.

3. Belangrijkste Bijdragen

Gezamenlijke Synthese: Een nieuwe methode om controllers en certificaten (opslagfuncties) gelijktijdig te leren, in plaats van ze apart te behandelen.
Complementaire Krachten: Het combineren van $\alpha,\beta$ -CROWN (voor nauwkeurige niet-lineaire analyse) en QCs (voor onzekerheid), wat leidt tot minder conservatieve resultaten dan pure LMI-methoden.
Adversariele Sturing: Het gebruik van gegenereerde tegenvoorbeelden om de leerprocessen te sturen naar robuuste oplossingen.
Nieuwe Definitie: Een definitie van robuuste dissipativiteit die compatibel is met begrende sets, essentieel voor de toepassing van $\alpha,\beta$ -CROWN.

4. Resultaten

De methode is getest op een omgekeerde slinger (inverted pendulum) in twee scenario's:

A. $\ell_2$ -Gain Bound (Verstoringdemping):

Doel: Maximaliseren van het volume waar het systeem verstoringen kan dempen.
Vergelijking:
- LMI-baseline: Kleinste gebied (0.16 rad·rad/s).
- $\alpha,\beta$ -CROWN (zonder training): 51x groter dan LMI.
- Training alleen opslagfunctie: 67.5x groter dan LMI.
- Gezamenlijke training (Controller + Opslagfunctie): 78.1x groter dan de LMI-baseline.
Conclusie: Het gezamenlijk trainen levert de grootste winst op, maar zelfs het trainen van alleen het certificaat met een vaste controller geeft een enorme verbetering ten opzichte van LMI.

B. Robuuste Stabiliteit onder Modelonzekerheid:

Doel: Stabiliteit garanderen onder sector-grens onzekerheid.
Resultaten:
- LMI-baseline: 0.80 rad·rad/s.
- Gezamenlijke training: 8.1 rad·rad/s (ongeveer 10x groter dan LMI).
Observatie: De methode is effectief voor het certificeren van stabiliteit over een hele set van onzekere systemen.

Rekenkosten:
De methode is rekenintensiever dan LMI (minuten tot uren versus seconden), maar de winst in het gecertificeerde veiligheidsgebied is substantieel.

5. Betekenis en Conclusie

Dit werk biedt een cruciale stap voorwaarts voor de veilige implementatie van neurale netwerk-controllers.

Reductie van Conservatisme: De belangrijkste bijdrage is het drastisch verminderen van de conservatisme die inherent is aan traditionele LMI-methoden die niet-lineariteiten moeten benaderen.
Formele Garantieën: Het biedt formele garanties voor robuuste prestaties in niet-lineaire systemen met onzekerheid, wat essentieel is voor toepassingen in robotica, autonome voertuigen en andere veiligheidskritieke domeinen.
Toekomstperspectief: De auteurs wijzen erop dat de framework kan worden uitgebreid naar Integral Quadratic Constraints (IQCs) voor nog bredere toepassingen.

Kortom, de paper demonstreert dat door het combineren van geavanceerde verificatietools ( $\alpha,\beta$ -CROWN) met adversariele training, het mogelijk is om neurale controllers te ontwikkelen die niet alleen goed presteren, maar waarvan de veiligheid en robuustheid wiskundig bewezen kunnen worden over aanzienlijk grotere gebieden dan voorheen mogelijk was.