⚡ electrical engineering

Learning Neural Network Controllers with Certified Robust Performance via Adversarial Training

Diese Arbeit stellt eine Methode vor, die durch adversariales Training neuronale Netzwerk-Regler und dissipative Zertifikate gemeinsam synthetisiert, um formale Garantien für die robuste Leistung in nichtlinearen dynamischen Systemen zu liefern, wobei die Verifikation nach dem Training mit alpha,beta-CROWN erfolgt und signifikant größere zertifizierte Bereiche als herkömmliche lineare Matrixungleichungsansätze ermöglicht.

Ursprüngliche Autoren: Neelay Junnarkar, Yasin Sonmez, Murat Arcak

Veröffentlicht 2026-04-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Neelay Junnarkar, Yasin Sonmez, Murat Arcak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen autonomen Roboter, der einen Stab balancieren soll (wie ein Jongleur, der einen Stock auf der Hand hält). Das Problem: Der Roboter lernt durch ein neuronales Netzwerk (eine Art künstliches Gehirn), ist also sehr flexibel, aber auch schwer zu verstehen. In der echten Welt gibt es immer Störungen – Windböen, rutschige Böden oder ungenaue Sensoren. Wenn der Roboter unsicher ist, könnte er umkippen und Schaden anrichten.

Die Forscher aus diesem Papier haben eine Methode entwickelt, um diesen Roboter nicht nur gut trainieren zu lassen, sondern ihm auch einen formalen Sicherheitsausweis zu geben.

Hier ist die Erklärung der Methode, aufgeteilt in einfache Bilder:

1. Das Problem: Der "Black Box"-Controller

Herkömmliche Roboter-Steuerungen sind wie ein gut geölter Uhrwerk-Mechanismus: Man kann genau berechnen, wie sie sich verhalten. Neuronale Netze sind hingegen wie ein magischer Zauberer. Sie funktionieren oft super, aber niemand weiß genau, warum sie bei einer bestimmten Windböe nicht umkippen. In sicherheitskritischen Bereichen (wie autonomen Autos oder medizinischen Geräten) reicht "es funktioniert meistens" nicht aus. Wir brauchen einen Garantie-Schein.

2. Die Lösung: Ein Sicherheitsnetz aus zwei Teilen

Die Autoren kombinieren zwei Werkzeuge, die wie ein Zweikampf-Team funktionieren:

Teil A: Der "Scharfe Beobachter" (α,β-CROWN)
Stellen Sie sich vor, Sie haben einen extrem präzisen, aber langsamen Detektiv. Dieser Detektiv kann jede einzelne Bewegung des Roboters im Computer simulieren und prüfen: "Wenn der Roboter hier steht und ein Windstoß kommt, kippt er dann?"
- Das Problem: Dieser Detektiv ist sehr langsam, wenn er alles auf einmal prüfen soll.
- Die Lösung: Er prüft nur kleine, sichere Bereiche (wie ein Suchscheinwerfer).
Teil B: Der "Schätzer" (Quadratische Constraints / QCs)
Für Dinge, die wir nicht genau kennen (wie unbekannte Unsicherheiten im Modell), nutzen wir eine grobe, aber schnelle Schätzung. Das ist wie ein Sicherheitsgurt, der immer einen gewissen Spielraum einplant, auch wenn wir die genaue Kraft des Windes nicht kennen.

3. Der Trick: "Adversarial Training" (Der Bösewicht-Training)

Normalerweise trainiert man einen Roboter, damit er Aufgaben löst. Hier trainiert man ihn, damit er nicht von einem "Bösewicht" besiegt wird.

Das Szenario: Während des Trainings gibt es einen digitalen "Bösewicht" (einen Algorithmus), der versucht, den Roboter zum Umkippen zu bringen. Er sucht nach der kleinsten, unsichtbaren Lücke in der Sicherheit.
Der Prozess:
1. Der Bösewicht findet eine Schwachstelle (ein "Counterexample").
2. Der Roboter und sein Sicherheitsausweis (das neuronale Netzwerk für die Sicherheit) werden sofort trainiert, genau diese Lücke zu stopfen.
3. Der Bösewicht versucht es erneut.
4. Dieser Kreislauf läuft so lange, bis der Bösewicht keine Schwachstelle mehr finden kann.

Stellen Sie sich vor, Sie bauen eine Burg. Ein Angreifer (der Bösewicht) versucht, die Mauern zu durchbrechen. Jedes Mal, wenn er ein Loch findet, bauen Sie die Mauer an dieser Stelle dicker und stärker, bis der Angreifer aufgibt.

4. Das Ergebnis: Ein riesiger Sicherheitsbereich

Am Ende des Trainings haben sie zwei Dinge:

Einen Controller (den Roboter), der extrem robust ist.
Einen Zertifikat (den Sicherheitsausweis), der mathematisch beweist: "Solange der Roboter sich in diesem bestimmten Bereich bewegt, wird er niemals umkippen, egal wie stark der Wind weht."

Der Vergleich:
Die Forscher haben ihre Methode mit einer alten, konservativen Methode (LMI) verglichen.

Die alte Methode war wie ein Sicherheitsgurt, der so eng sitzt, dass man sich kaum bewegen kann. Sie garantierte Sicherheit, aber nur für einen winzigen Bereich.
Die neue Methode hat den Sicherheitsbereich um das 78-fache vergrößert!
- Vergleich: Wenn die alte Methode sagte "Du darfst nur auf diesem kleinen Teppich stehen", sagt die neue Methode "Du darfst den ganzen Raum betreten und trotzdem sicher sein."

Zusammenfassung in einem Satz

Die Autoren haben eine Methode entwickelt, bei der ein KI-Controller und sein Sicherheitszertifikat gemeinsam gegen einen digitalen "Bösewicht" trainieren, um einen riesigen Bereich zu finden, in dem das System garantiert sicher und stabil bleibt – viel größer als alles, was mit alten Methoden möglich war.

Warum ist das wichtig?
Weil es uns erlaubt, KI in sicherheitskritischen Situationen einzusetzen, ohne Angst zu haben, dass sie bei einer unerwarteten Störung versagt. Es ist der Unterschied zwischen "Hoffentlich passiert nichts" und "Wir haben mathematisch bewiesen, dass nichts passiert".

1. Problemstellung

Neuronale Netzwerk-Controller (NN) zeigen zwar hervorragende empirische Leistungen bei der Regelung nichtlinearer dynamischer Systeme, ihr Einsatz in sicherheitskritischen Anwendungen wird jedoch durch das Fehlen formaler Garantien für das geschlossene Regelverhalten behindert. Im Gegensatz zu klassischen Controllern sind NNs hochdimensional und nichtlinear, was eine Zertifizierung erschwert.

Das zentrale Problem liegt in der Gewährleistung von Robustheit gegenüber externen Störungen und Modellunsicherheiten. Während die Stabilität unter nominalen Bedingungen teilweise bereits zertifiziert werden kann, bleibt die Sicherstellung von Leistungsanforderungen (wie z. B. $L_2$ -Gain-Bound oder Passivität) unter Unsicherheit ein ungelöstes oder wenig erforschtes Problem. Herkömmliche Methoden, die auf Integral Quadratic Constraints (IQCs) und Linear Matrix Inequalities (LMIs) basieren, sind oft zu konservativ, da sie Nichtlinearitäten durch quadratische Schranken approximieren, was zu stark verkleinerten zertifizierten Regionen führt.

2. Methodik

Die Autoren schlagen einen hybriden Ansatz vor, der adversarielles Training mit formaler Verifikation kombiniert, um Controller und dissipative Zertifikate gemeinsam zu synthetisieren.

Theoretisches Fundament:
- Robuste Dissipativität: Das Ziel ist die Sicherstellung, dass das System unter Unsicherheit eine Dissipativitätsungleichung erfüllt (Verallgemeinerung der Lyapunov-Stabilität). Dies umfasst eine Speicherfunktion $V(x)$ und eine Supply-Rate.
- Hybride Verifikation:
  - Für bekannte Nichtlinearitäten (z. B. Aktivierungsfunktionen des NNs) wird $\alpha,\beta$ -CROWN verwendet. Dies ist eine branch-and-bound-basierte Methode, die globale untere Schranken für Funktionen berechnet und direkte Analysen nichtlinearer Dynamiken ermöglicht.
  - Für nicht-parametrische Modellunsicherheiten werden Quadratische Constraints (QCs) verwendet, um die Unsicherheitsmenge zu charakterisieren.
Trainingsalgorithmus (Adversarial Training):
Der Prozess (Algorithmus 1) besteht aus zwei Phasen: Training und formale Verifikation.
1. Ziel: Maximierung des Volumens der Zustandsraummenge, auf der das System robust dissipativ ist.
2. Verlustfunktion: Ein kombinierter Loss wird optimiert, der aus drei Teilen besteht:
  - Sample Loss: Straft Verletzungen der Verifikationsbedingung $\phi(x, w, d) > 0$ an zufällig gesampelten Punkten.
  - Adversarial Loss: Nutzt Projected Gradient Descent (PGD), um „Counterexamples" (kritische Punkte, an denen die Bedingung verletzt wird) zu finden und diese gezielt in das Training einzubringen.
  - Anchor Loss: Fördert das Wachstum des zertifizierten Bereichs, indem Punkte in einem Band um den aktuell zertifizierten Bereich bestraft werden, wenn sie nicht mehr enthalten sind.
3. Architektur:
  - Der Controller ist ein Recurrent Implicit Neural Network (RINN), das mit LMI-Methoden initialisiert werden kann.
  - Die Speicherfunktion $V(x)$ ist ein neuronales Netzwerk, das einen quadratischen Term mit einer nichtlinearen Modulation kombiniert.
4. Domain Expansion: Wenn keine Verletzungen mehr gefunden werden, wird der Suchbereich durch Simulation von Trajektorien erweitert, um größere stabile Regionen zu finden.
Formale Verifikation:
Nach dem Training wird $\alpha,\beta$ -CROWN verwendet, um durch Bisektion über den Level-Set-Parameter $\rho$ die maximal mögliche zertifizierte Region zu bestimmen.

3. Wichtige Beiträge

Gemeinsame Synthese: Ein Verfahren zur gleichzeitigen Synthese von NN-Controllern und dissipativen Zertifikaten, das Robustheit gegenüber nicht-parametrischen Unsicherheiten garantiert.
Kombination von Stärken: Die Nutzung der komplementären Stärken von $\alpha,\beta$ -CROWN (für exakte Nichtlinearitätsanalyse) und QCs (für Unsicherheitsmodellierung), um die Konservativität rein LMI-basierter Ansätze zu überwinden.
Adversarielles Training für Verifikation: Ein neuer Trainingsansatz, der Counterexamples als Leitfaden nutzt, um die Verifikationsbedingungen direkt zu erfüllen und den zertifizierten Bereich zu maximieren.
Skalierbare Verifikation: Ein Framework, das die Verifikation auf nichtlineare dynamische Systeme mit Unsicherheiten anwendbar macht, ohne auf lineare Approximationen angewiesen zu sein.

4. Ergebnisse

Die Methode wurde an einem drehmomentgesteuerten invertierten Pendel in zwei Szenarien getestet:

$L_2$ -Gain-Bound: Minimierung der Verstärkung von Störungen auf den Ausgang.
Robuste Stabilität: Stabilitätssicherung unter sektorgebundenen Unsicherheiten am Eingang.

Vergleich mit LMI-Baseline:

Volumen: Die vorgeschlagene Methode zertifizierte Regionen, die bis zu 78-mal größer waren als die mit einem reinen LMI-Ansatz erzielten Regionen.
Effekte des Trainings:
- Selbst ohne Training des Controllers (nur Optimierung der Speicherfunktion) stieg das zertifizierte Volumen um den Faktor 67,5 gegenüber der LMI-Baseline.
- Die gemeinsame Optimierung von Controller und Speicherfunktion führte zu den größten Ergebnissen (Faktor 78,1).
Vergleich $\alpha,\beta$ -CROWN vs. LMI: Bereits die Verifikation desselben Systems mit $\alpha,\beta$ -CROWN (ohne Training) zeigte eine 51-fache Vergrößerung des zertifizierten Bereichs im Vergleich zu LMI, was die extreme Konservativität der reinen QC-Approximation für Nichtlinearitäten demonstriert.

Die Ergebnisse zeigen, dass durch die Kombination von adversariellem Training und präziser Verifikation signifikant größere Sicherheitsmargen erreicht werden können, auch ohne den Controller zu ändern, wobei die gemeinsame Optimierung den größten Nutzen bringt.

5. Bedeutung und Ausblick

Dieses Paper ist ein wichtiger Schritt hin zu sicherheitskritischen Anwendungen von Deep Learning in der Regelungstechnik. Es adressiert die Lücke zwischen der hohen Leistungsfähigkeit neuronaler Netze und der Notwendigkeit formaler Sicherheitsgarantien.

Praktische Relevanz: Die Methode ermöglicht den Einsatz von NN-Controllern in Umgebungen, in denen Unsicherheiten und Störungen garantiert beherrscht werden müssen.
Kompromiss: Der Hauptnachteil ist der höhere Rechenaufwand im Vergleich zu LMI-Methoden, was jedoch durch die drastische Reduktion der Konservativität gerechtfertigt wird.
Zukunft: Die Autoren planen, das Framework von QCs auf allgemeine Integral Quadratic Constraints (IQCs) zu erweitern, um noch komplexere Unsicherheitsstrukturen abdecken zu können.

Zusammenfassend bietet die Arbeit einen robusten, skalierbaren Weg, um die Zuverlässigkeit von KI-gesteuerten Regelungssystemen formal zu untermauern.