⚡ electrical engineering

Training with Hard Constraints: Learning Neural Certificates and Controllers for SDEs

Diese Arbeit stellt zwei trainingsbasierte Frameworks vor, die durch Domänendiskretisierung oder szenariobasierte Methoden garantieren, dass neuronale Zertifikate und Regler für stochastische Differentialgleichungen harte Sicherheitsbedingungen erfüllen, wobei sie sich skalierbar auf Systeme mit bis zu 10 Dimensionen erstrecken.

Ursprüngliche Autoren: Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, Morteza Lahijanian

Veröffentlicht 2026-03-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chun-Wei Kong, Sebastian Escobar, Ibon Gracia, Jay McMahon, Morteza Lahijanian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚀 Die unsichtbare Sicherheitsgrenze: Wie KI lernt, nicht zu verunglücken

Stellen Sie sich vor, Sie trainieren einen Roboter, der einen komplexen Tanz auf einem schmalen Seil aufführen soll. Der Tanz ist voller Stürme (das ist der Zufall im System). Ihr Ziel ist es, dass der Roboter von Punkt A (Start) zu Punkt B (Ziel) kommt, ohne jemals in den Abgrund (die unsichere Zone) zu fallen.

Das Problem: Herkömmliche KI-Modelle sind wie Talentierte, aber unvorsichtige Tänzer. Sie können den Tanz oft gut lernen, aber niemand kann ihnen garantieren, dass sie bei einer plötzlichen Böe nicht doch abstürzen. Sie funktionieren gut im Durchschnitt, aber im echten Leben reicht "meistens gut" nicht aus.

Diese Forscher haben zwei neue Methoden entwickelt, um KI-Systeme so zu trainieren, dass sie zu 100 % sicher sind – oder zumindest mit einer Wahrscheinlichkeit, die so nah an 100 % liegt, dass man es nicht mehr bemerkt.

Methode 1: Der "Luftgitarren-Check" (Die Gitter-Methode)

Stellen Sie sich vor, Sie wollen überprüfen, ob ein ganzer Fußballplatz sicher ist.
Die erste Methode des Papiers (genannt Hard-SAT) funktioniert wie ein extrem pedantischer Sicherheitsinspektor, der den Platz in viele kleine Kacheln unterteilt.

Das Gitter: Der Inspektor teilt den gesamten Raum in kleine Quadrate ein (wie ein Schachbrett).
Die Prüfung: Für jedes einzelne Quadrat berechnet er die "schlimmstmögliche" Situation. Wenn der Roboter in diesem Quadrat steht, wie schlimm kann es maximal werden?
Die Lektion: Wenn der KI-Modell-Trainingsprozess feststellt, dass es in irgendeinem Quadrat eine Gefahr gibt, wird es bestraft. Es muss so lange üben, bis in jedem einzelnen Quadrat die Gefahr verschwunden ist.

Das Ergebnis:
Sobald der "Schmerz" (der Verlustwert) auf Null sinkt, wissen wir zu 100 %, dass der Roboter sicher ist. Es ist wie ein mathematischer Beweis.

Der Haken: Je größer der Raum (je mehr Dimensionen), desto mehr Kacheln braucht man. Bei 5 Dimensionen wird das Schachbrett so riesig, dass der Computer platzt (wie bei einem 3D-Puzzle, das zu groß für den Tisch wird).

Methode 2: Der "Statistische Lotteriegewinn" (Die Szenario-Methode)

Was tun, wenn der Raum so riesig ist, dass man ihn nicht mehr in Kacheln unterteilen kann? (Zum Beispiel bei 10 Dimensionen – das ist wie ein Würfel mit 10 Seiten, den man nicht mehr überblicken kann).

Hier kommt die zweite Methode ins Spiel (genannt Szenario-basiertes Training).

Stellen Sie sich vor, Sie wollen wissen, ob ein neuer Flugzeugtyp sicher ist. Sie können nicht jeden einzelnen Flug in der Geschichte simulieren. Stattdessen nehmen Sie eine riesige Stichprobe.

Das Los: Sie werfen Millionen von Würfeln, um zufällige Startpunkte und Stürme zu simulieren.
Die Garantie: Die Mathematik sagt uns: Wenn Sie genug Würfe machen (z. B. eine Million), können Sie mit fast 100-prozentiger Sicherheit sagen: "Wenn das Flugzeug bei diesen Würfen nicht abstürzt, wird es auch bei 99,999 % aller anderen möglichen Situationen nicht abstürzen."
Die Ausnahme: Es gibt eine winzige, fast unsichtbare Zone, in der es theoretisch noch riskant sein könnte. Aber diese Zone ist so klein, dass Sie sie wie einen winzigen Sandkorn im Ozean betrachten können.

Der Trick:
Anstatt den ganzen Raum zu prüfen, prüft diese Methode nur die "schlimmsten" Szenarien, die in Ihrer Stichprobe vorkommen, und passt die KI so an, dass sie diese übersteht. Das ist viel schneller und funktioniert auch bei sehr komplexen Systemen (bis zu 10 Dimensionen).

Das große Ziel: Der "Doppelt-Trainierte" Trainer

Normalerweise macht man zwei Dinge:

Man trainiert einen Controller (den Tänzer), damit er gut tanzt.
Man sucht einen Sicherheitszertifikat (den Inspektor), der sagt, ob es sicher ist.

Oft passt das nicht zusammen: Der Tänzer ist gut, aber der Inspektor sagt "Nein, zu riskant!". Dann muss man neu anfangen.

Diese Forscher haben einen einheitlichen Trainingsprozess entwickelt. Sie trainieren den Tänzer und den Inspektor gleichzeitig.

Der Inspektor schreit sofort: "Achtung, hier ist es zu gefährlich!"
Der Tänzer passt seinen Schritt sofort an, um sicherer zu werden.

Das Ergebnis ist ein System, das nicht nur gut tanzt, sondern von Anfang an so trainiert wurde, dass es die Sicherheitsregeln einhält.

Zusammenfassung in einem Satz

Die Forscher haben zwei Werkzeuge entwickelt: Ein präzises Raster, das für kleine Räume eine 100%ige Sicherheitsgarantie gibt, und eine statistische Stichprobe, die für riesige, komplexe Räume eine Garantie gibt, die so sicher ist, dass man sie als "praktisch unendlich sicher" bezeichnen kann – alles in einem einzigen Trainingsprozess für KI.

Warum ist das wichtig?
Weil wir bald Autos, Drohnen und Roboter in der echten Welt haben, die nicht einfach "hoffentlich" funktionieren dürfen. Sie müssen beweisbar sicher sein, bevor sie auf die Straße dürfen. Diese Methode liefert genau diesen Beweis.

1. Problemstellung

Das Paper adressiert die Herausforderung, formale Garantien für die Sicherheit und Erreichbarkeit von kontinuierlichen stochastischen Systemen zu gewährleisten, die durch Stochastische Differentialgleichungen (SDEs) beschrieben werden.

Kontext: In sicherheitskritischen Anwendungen reicht eine rein empirische Leistung von neuronalen Netzen (NN) nicht aus. Es werden formale Beweise benötigt, dass ein gesteuertes System eine „Reach-Avoid"-Spezifikation erfüllt (d.h., es erreicht ein Zielgebiet $X_g$ , ohne ein unsicheres Gebiet $X_u$ zu betreten).
Herausforderung: Die Existenz solcher Garantien wird oft durch „Zertifikate" (ähnlich wie Lyapunov-Funktionen) bewiesen, die bestimmte Ungleichungen über einem kontinuierlichen Domänenbereich erfüllen müssen.
- Klassische Methoden (z. B. Sum-of-Squares-Programmierung) skalieren schlecht mit der Dimensionalität des Zustandsraums.
- Neuronale Netze bieten zwar Flexibilität, aber das Erzwingen dieser Ungleichungen als harte Constraints (Hard Constraints) während des Trainings ist schwierig.
- Bestehende Ansätze nutzen oft „weiche" Strafterme oder nachträgliche Verifikation, was keine globalen Garantien bietet, oder sie basieren auf Verifizierungs-Tools (wie SMT-Lösern), die bei allgemeinen SDEs und hohen Dimensionen an Skalierbarkeitsgrenzen stoßen.

2. Methodik

Die Autoren stellen zwei komplementäre, constraint-getriebene Trainingsframeworks vor, die harte Garantien direkt in den Lernprozess integrieren:

A. Bound-Training Framework (Hard-SAT)

Dieser Ansatz zielt auf Systeme mit mittlerer Dimensionalität ab (bis ca. 5D).

Prinzip: Der Zustandsraum wird diskretisiert (partitioniert). Für jede Partition (Zelle) werden mittels Intervallarithmetik (z. B. auto-LiRPA) analytische Schranken für die Zertifikatsfunktion $V_\theta$ und ihren infinitesimalen Generator $G[V_\theta]$ berechnet.
Loss-Funktion: Eine „bound-based loss"-Funktion wird definiert, die die Verletzung der Zertifikatsbedingungen (Nicht-Negativität, Randbedingungen, strikte Abnahme entlang der Trajektorien) über die Schranken der Partitionen misst.
Garantie: Sobald dieser Loss auf Null sinkt, ist mathematisch garantiert, dass die Ungleichungen im gesamten kontinuierlichen Domänenbereich erfüllt sind.
Optimierung: Um die exponentielle Explosion der Zellenanzahl zu bekämpfen, werden adaptive Verfeinerungs- und Merging-Strategien eingesetzt:
- Top-K-Verfeinerung: Nur Zellen mit der größten Verletzung werden weiter unterteilt.
- Merging: Benachbarte Zellen, die die Bedingungen mit ausreichendem Sicherheitsabstand erfüllen, werden zusammengeführt.
Erweiterung: Das Framework ermöglicht die gemeinsame Synthese von neuronalem Regler ( $\pi$ ) und Zertifikat ( $V$ ), indem der Regler in die Berechnung des Generators $G$ eingebunden wird und gemeinsam optimiert wird.

B. Szenario-basiertes Training (PAC-Garantien)

Dieser Ansatz ist für hochdimensionale Systeme (ab 10D) konzipiert, wo Diskretisierung unmöglich wird.

Prinzip: Statt des gesamten Raums zu partitionieren, werden zufällige Stichproben (Szenarien) aus dem Zustandsraum gezogen.
Optimierungsproblem: Das Problem wird auf die Optimierung der Parameter der letzten Schicht des neuronalen Netzes ( $\theta_L$ ) reduziert. Da die Aktivierungsfunktion der letzten Schicht linear ist, wird das Optimierungsproblem zu einem Linearen Programm (LP).
Garantie (PAC): Basierend auf der Theorie der konvexen Szenario-Optimierung (Campi et al.) wird garantiert, dass mit einer hohen Konfidenz ( $1-\delta$ ) die Zertifikatsbedingungen überall im Zustandsraum gelten, außer auf einer Menge mit einem sehr kleinen Maß $\epsilon$ .
Vorteil: Die benötigte Stichprobengröße hängt nicht von der Dimensionalität des Zustandsraums ab, was eine Skalierbarkeit auf hohe Dimensionen ermöglicht.

3. Wichtige Beiträge

Hard-SAT Framework: Ein neues Trainingsframework für neuronale Zertifikate, das durch Domänen-Diskretisierung und bounds-basierte Loss-Funktionen globale harte Garantien für SDEs liefert.
Gemeinsame Synthese: Erweiterung des Frameworks auf die gleichzeitige Lernphase von neuronalen Reglern und Zertifikaten, wodurch der Regler direkt durch die Zertifikatsbedingungen geleitet wird.
Skalierbare Szenario-Methode: Einführung einer partition-freien Methode mit PAC-Garantien (Probably Approximately Correct), die hochdimensionale SDEs (bis mindestens 10D) handhabbar macht.
Umfassende Evaluierung: Demonstration der Überlegenheit gegenüber dem State-of-the-Art (insb. Neustroev et al., 2025) in Bezug auf Skalierbarkeit und Erfolg bei der Synthese.

4. Ergebnisse

Die Autoren evaluieren ihre Methoden an mehreren Benchmarks, darunter invertierte Pendel, Geometrische Brownsche Bewegungen (GBM), Lorenz-Systeme und das XV-15-Tiltrotor-Flugzeug.

Verifikation (Problem 1):
- Hard-SAT: Übertrifft den State-of-the-Art signifikant. Während andere Methoden bei 3D-GBM scheitern, findet Hard-SAT gültige Zertifikate bis zu 5 Dimensionen.
- Szenario-basiert: Skaliert problemlos bis 10 Dimensionen. Die Methode erreicht eine erreichbare Wahrscheinlichkeit ( $p_{RA}$ ) von fast 1,0 mit sehr kleinen Verletzungsbereichen ( $\epsilon$ ).
- Effizienz: Die Szenario-Methode ist deutlich schneller als die diskretisierungsbasierte Methode bei hohen Dimensionen.
Gemeinsame Synthese (Problem 2):
- Das Hard-SAT-Algorithmus konnte erfolgreich neuronale Regler und Zertifikate für komplexe Systeme (3D Lorenz, XV-15 Flugzeug) trainieren.
- Monte-Carlo-Simulationen bestätigten eine empirische Reach-Avoid-Wahrscheinlichkeit von 1,0 für alle geschlossenen Regelkreise.
- Im Gegensatz zu reinen Sample-basierten Trainingsansätzen (Soft-Constraints) führte das vorgeschlagene Hard-Constraint-Training zu stabilen und verifizierbaren Lösungen.

5. Bedeutung und Fazit

Das Paper stellt einen bedeutenden Fortschritt im Bereich des formal verifizierten maschinellen Lernens für stochastische Systeme dar.

Paradigmenwechsel: Es bewegt sich weg von „Trainieren und dann Verifizieren" (was oft zu inkonsistenten Ergebnissen führt) hin zu „Trainieren mit Garantien".
Praktische Relevanz: Die Fähigkeit, Zertifikate und Regler für Systeme bis zu 10 Dimensionen zu synthetisieren, öffnet Türen für Anwendungen in der Robotik, Luftfahrt und autonomen Systemen, wo Störungen (Rauschen) und hohe Dimensionalität die Regelbarkeit erschweren.
Flexibilität: Die Kombination aus deterministischen Garantien (via Partitionierung) für mittlere Dimensionen und statistischen Garantien (via Szenarien) für hohe Dimensionen bietet einen robusten Werkzeugkasten für verschiedene Anwendungsfälle.

Zusammenfassend bieten die Autoren eine Lösung, die die Expressivität neuronaler Netze mit der mathematischen Strenge formaler Methoden verbindet, ohne dabei die Skalierbarkeit zu opfern.