🤖 machine learning

Distributionally Robust PAC-Bayesian Control

Diese Arbeit stellt einen verteilungsrobusten PAC-Bayes-Rahmen vor, der mithilfe von System-Level-Synthesis und Wasserstein-Distanzen Leistungsgarantien für lernbasierte Regler auch bei unbeschränkten Verlusten und Umgebungsverschiebungen (Sim-to-Real) bietet.

Ursprüngliche Autoren: Domagoj Herceg, Duarte Antunes

Veröffentlicht 2026-04-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Domagoj Herceg, Duarte Antunes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lernen einen jungen Piloten für ein Flugzeug aus. Sie trainieren ihn in einem Simulator, der perfekt funktioniert: Das Wetter ist immer gleichmäßig, die Maschinen reagieren genau wie erwartet und es gibt keine unerwarteten Turbulenzen.

Das Problem? Wenn dieser Pilot dann in die echte Welt fliegt, ist das Wetter anders, die Maschinen sind etwas abgenutzt und es gibt plötzliche Böen. Ein Pilot, der nur den Simulator kennt, könnte in der Realität abstürzen.

Genau dieses Problem lösen die Autoren dieses Papers. Sie haben eine neue Methode entwickelt, um sicherzustellen, dass KI-gesteuerte Regler (wie unser Pilot) auch dann sicher funktionieren, wenn die Realität anders ist als die Trainingsdaten.

Hier ist die Erklärung in einfachen Schritten:

1. Das Problem: Der "Simulator-Realitäts-Klatsch"

In der KI-Welt nennt man das den "Sim-to-Real Gap".

Der alte Ansatz: Man trainiert einen Regler und sagt: "Wenn er im Simulator gut war, ist er auch in der Realität gut." Das ist gefährlich, weil die Realität oft böse Überraschungen (Störungen) bereithält, die im Training nicht vorkamen.
Das Risiko: Wenn die KI auf eine Situation trifft, die sie nie gesehen hat, kann sie katastrophal versagen.

2. Die Lösung: Ein doppelter Sicherheitsgurt

Die Autoren kombinieren zwei moderne Ideen, um einen "doppelten Sicherheitsgurt" zu bauen:

A. Der PAC-Bayes-Gurt (Die Statistik)
Stellen Sie sich vor, Sie geben dem Piloten nicht nur eine Anweisung, sondern eine Wahrscheinlichkeitsverteilung. Statt zu sagen "Fliege genau so", sagen Sie: "Fliege in diesem Bereich, aber sei flexibel."

Diese Methode (PAC-Bayes) garantiert mathematisch: "Mit sehr hoher Wahrscheinlichkeit (z.B. 99 %) wird der Pilot nicht abstürzen, solange die Bedingungen ähnlich bleiben."
Das Problem bisher: Diese Garantie galt nur, wenn die Realität exakt wie der Simulator war.

B. Der Wasserstein-Gurt (Die Robustheit)
Hier kommt der Clou ins Spiel. Die Autoren fügen einen zusätzlichen Gurt hinzu, der sich um Veränderungen kümmert.

Sie nutzen eine mathematische Messlatte namens "Wasserstein-Distanz". Stellen Sie sich diese wie einen "Abstandsmesser" zwischen zwei Welten vor: der Trainingswelt und der echten Welt.
Die Idee ist: "Selbst wenn die echte Welt bis zu einem gewissen Punkt X von der Trainingswelt abweicht (z.B. stärkere Winde), bleibt der Pilot sicher."
Sie berechnen eine Strafe für den Regler: Je empfindlicher der Regler auf kleine Änderungen reagiert (wie ein nervöser Pilot, der bei jedem Hauch Wind die Steuerung überreagiert), desto höher die Strafe. Der Regler lernt also, ruhig und stabil zu bleiben, auch wenn sich die Umgebung leicht ändert.

3. Wie funktioniert das im Detail? (Die SLS-Methode)

Um das Ganze rechnerisch machbar zu machen, nutzen die Autoren eine Technik namens "System Level Synthesis" (SLS).

Die Analogie: Statt den Piloten direkt zu steuern, schauen wir uns das Gesamtsystem an: Wie bewegt sich das Flugzeug, wenn der Wind weht?
Sie übersetzen das Problem in eine Form, bei der sie direkt die "Stabilität des Flugzeugs" berechnen können. Wenn das Flugzeug stabil ist, ist der Regler gut.
Das Tolle daran: Sie können die Sicherheit direkt mit der Stärke der Steuerung verknüpfen. Ein stabiler Regler hat automatisch eine bessere Sicherheitsgarantie.

4. Das Ergebnis: Ein selbstbewegender Sicherheitszertifikat

Am Ende erhalten die Autoren eine Formel, die wie ein Sicherheitszertifikat aussieht.

Dieses Zertifikat sagt nicht nur: "Der Regler ist gut."
Es sagt: "Der Regler ist gut, UND er bleibt gut, selbst wenn die Realität bis zu einem bestimmten Grad (dem Radius $\rho$ ) vom Simulator abweicht."
Wenn die KI versucht, einen Regler zu finden, der im Simulator super ist, aber in der Realität instabil, wird dieses Zertifikat rot aufleuchten und den Regler ablehnen.

Zusammenfassung in einem Satz

Die Autoren haben einen mathematischen "Sicherheitsgurt" entwickelt, der KI-Regler nicht nur für den Simulator trainiert, sondern sie zwingt, auch dann sicher zu bleiben, wenn die echte Welt etwas chaotischer ist als erwartet – und das alles mit einer harten mathematischen Garantie, dass es funktioniert.

Warum ist das wichtig?
Weil wir KI bald in Autos, Robotern und Flugzeugen einsetzen wollen. Niemand möchte, dass ein autonomes Auto panisch wird, weil die Straße etwas rutschiger ist als im Trainingsvideo. Diese Methode gibt uns das Vertrauen, dass die KI auch dann einen kühlen Kopf bewahrt.

1. Problemstellung

Das Paper adressiert ein zentrales Problem beim Einsatz von lernbasierten Reglern in der Regelungstechnik: die Verletzlichkeit gegenüber Verteilungsverschiebungen (Distributional Shifts), oft als „Sim-to-Real-Gap" bezeichnet.

Herausforderung: Herkömmliche lernbasierte Regler gehen davon aus, dass die Trainingsdaten und die Umgebungsdaten im Einsatz (Deployment) aus derselben Verteilung stammen. In der Realität weichen diese jedoch oft ab (z. B. durch unmodellierte Störungen), was zu drastischen Leistungseinbußen führen kann.
Limitationen bestehender Ansätze:
- Die etablierte PAC-Bayes-Theorie (Probably Approximately Correct) bietet zwar hohe Wahrscheinlichkeits-Garantien für die Generalisierung, geht aber meist von beschränkten Verlustfunktionen (bounded losses) und identischen Trainings-/Einsatzverteilungen aus.
- Verteilungsrobuste Optimierung (DR) nutzt oft Ambiguitätsmengen, behandelt aber die Komplexität des Reglers oft nur als additive Konstante oder ignoriert die Abhängigkeit der Verlustverteilung vom Regler selbst.
Ziel: Entwicklung eines Rahmens, der sowohl unbeschränkte Verluste (typisch für physikalische Systeme) als auch Verteilungsverschiebungen explizit berücksichtigt und dabei hohe Wahrscheinlichkeits-Garantien für die Sicherheit und Leistung im Einsatz liefert.

2. Methodik

Die Autoren kombinieren zwei moderne Forschungsrichtungen: die PAC-Bayes-Verallgemeinerungstheorie und die Verteilungsrobuste Optimierung (DR) mittels des Wasserstein-Abstands (Typ-1).

A. Theoretischer Rahmen (DR-PAC-Bayes)

Wasserstein-Ambiguitätsmenge: Anstatt eine feste Verteilung anzunehmen, wird die wahre Einsatzverteilung $D'$ als Element einer Ambiguitätsmenge $A_\rho(D)$ definiert, die durch einen Radius $\rho$ um die empirische Trainingsverteilung $D$ im Wasserstein-Abstand $W_1$ definiert ist.
Lipschitz-Abhängigkeit: Ein Kernstück der Methode ist die Nutzung der Kantorovich-Rubinstein-Dualität. Diese erlaubt es, den worst-case-Erwartungswert des Verlusts über die Ambiguitätsmenge durch den nominalen Erwartungswert plus einen Strafterm zu beschränken:
$\sup_{D' \in A_\rho(D)} \mathbb{E}_{Z \sim D'}[\ell(K, Z)] \leq \mathbb{E}_{Z \sim D}[\ell(K, Z)] + \rho \cdot L(K)$
Dabei ist $L(K)$ die Lipschitz-Konstante der Verlustfunktion in Abhängigkeit vom Regler $K$ . Dies verknüpft die Robustheit direkt mit der geometrischen Empfindlichkeit des Reglers.
Unbeschränkte Verluste: Im Gegensatz zu früheren Arbeiten, die Verluste künstlich begrenzen, nutzen die Autoren Ergebnisse für sub-Gaußsche Verluste, die vom Regler abhängen. Dies ermöglicht die Behandlung von Verlusten, die nicht von vornherein beschränkt sind.

B. System-Level Synthesis (SLS) für LTI-Systeme

Um die Theorie auf reale lineare zeitinvariante (LTI) Systeme anzuwenden, nutzen die Autoren das System-Level Synthesis (SLS) Framework:

Reparametrisierung: Statt den Regler $K$ direkt zu optimieren, werden die geschlossenen Schleifen-Antwortmatrizen (closed-loop maps) $\Phi_x$ und $\Phi_u$ optimiert, die den Zusammenhang zwischen Störungen und Zuständen/Eingängen beschreiben.
Endliche Dimension: Durch die Vektorisierung dieser Matrizen wird der Hypothesenraum endlich-dimensional.
Proxy-Berechnung:
- Sub-Gaußsche Konzentration: Für Gaußsche oder beschränkte Störungen wird gezeigt, dass der sub-Gaußsche Parameter $\sigma(\theta)$ direkt durch den Operator-Norm der gewichteten geschlossenen Schleife $\|M(\theta)\|_{op}$ bestimmt wird.
- Lipschitz-Konstante: Die Lipschitz-Konstante $L(\theta)$ für den Wasserstein-Strafterm entspricht ebenfalls dem Operator-Norm $\|M(\theta)\|_{op}$ .
Optimierungsproblem: Das resultierende Problem ist eine Minimierung des erwarteten robusten Risiks unter Berücksichtigung eines Komplexitätsterms (KL-Divergenz zwischen Posterior und Prior), der ebenfalls von der Reglerleistung abhängt. Dies führt zu einem selbstbalancierenden Optimierungsproblem.

3. Hauptbeiträge

Erweiterung des PAC-Bayes-Rahmens: Einführung einer verteilungsrobusten Erweiterung für PAC-Bayes-Kontrolle, die unbeschränkte Lipschitz-Verlustfunktionen und Wasserstein-Verteilungsverschiebungen zulässt.
Regler-abhängige Zertifikate: Für endliche Horizonte bei LTI-Systemen (via SLS) werden explizite, reglerabhängige Zertifikate für sowohl die Verlustkonzentration als auch die Robustheit gegenüber Verschiebungen abgeleitet. Beide basieren auf derselben geschlossenen Schleifen-Map.
Berechenbarkeit: Transformation des theoretischen Bounds in ein berechenbares Optimierungsproblem. Durch die SLS-Reparametrisierung werden die benötigten Größen (Operator-Normen) direkt aus den Optimierungsvariablen ableitbar.
Keine Identifikation der Störverteilung nötig: Der Ansatz liefert Garantien für den Einsatz unter Verschiebungen, ohne dass die genaue Verteilung der Störungen im Einsatz bekannt sein muss; nur der Radius $\rho$ der Ambiguitätsmenge muss spezifiziert werden.

4. Ergebnisse und Numerisches Beispiel

Die Autoren validieren ihre Methode an einem Doppelintegrator-System (Diskretzeit-LTI-System) mit einem endlichen Horizont ( $T=10$ ).

Setup: Training mit endlich vielen Störtrajektorien (Gaußsch), Optimierung eines Gaußschen Posteriors über die SLS-Parameter.
Vergleich:
- Vanilla PAC-Bayes ( $\rho=0$ ): Versagt bei Verteilungsverschiebungen. Die theoretische Schranke wird im Test (Deployment) verletzt, da sie die Umgebungsänderung nicht berücksichtigt.
- Robuster PAC-Bayes ( $\rho > 0$ ): Liefert eine gültige obere Schranke für das tatsächliche Risiko auch unter adversarischen Verschiebungen (innerhalb des Radius $\rho$ ).
Leistung: Der robuste Regler zeigt nicht nur theoretische Sicherheit, sondern erreicht auch eine niedrigere empirische Kostenfunktion im Test unter Verschiebung als der nicht-robuste Regler.
Zerlegung der Kosten: Die Analyse zeigt, dass der Komplexitätsterm mit mehr Daten abnimmt, während der Trade-off zwischen empirischem Risiko und Wasserstein-Strafterm automatisch durch den Optimierer ausgeglichen wird.

5. Bedeutung und Ausblick

Sicherheitsgarantien: Das Paper bietet einen der ersten rigorosen Wege, um hohe Wahrscheinlichkeits-Garantien für lernbasierte Regler in unsicheren, sich verändernden Umgebungen zu geben, ohne auf vereinfachende Annahmen (wie beschränkte Verluste) zurückgreifen zu müssen.
Praktische Relevanz: Die Kombination von PAC-Bayes mit SLS macht die Methode für lineare Systeme praktisch anwendbar und berechenbar.
Zukunft: Die Autoren sehen Potenzial in der Erweiterung auf Modellunsicherheiten, sub-exponentielle Verluste (z. B. quadratische Kosten) und lernbasierte robuste modellprädiktive Regelung (MPC).

Fazit: Die Arbeit schließt eine wichtige Lücke zwischen theoretischer Lerntheorie und praktischer Regelungstechnik, indem sie mathematisch fundierte Sicherheitszertifikate für den Einsatz von KI-gesteuerten Reglern in realen, von Trainingsdaten abweichenden Umgebungen liefert.