⚡ electrical engineering

Safe Exploration for Nonlinear Processes Using Online Gaussian Process Learning

Dieser Beitrag stellt ein sicheres datengesteuertes Regelungsframework für nichtlineare Systeme mit teilweise bekannten Dynamiken vor, das online-Gauß-Prozess-Lernen mit lyapunovbasierten probabilistischen Sicherheitsbedingungen kombiniert, um Stabilität und Einhaltung von Nebenbedingungen zu gewährleisten, während der sichere Betriebsbereich durch informative Exploration adaptiv erweitert wird.

Ursprüngliche Autoren: Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, durch einen dunklen, unbekannten Raum voller zerbrechlicher Möbel zu gehen. Sie besitzen eine grobe Karte des Raums (das lineare Modell), wissen aber, dass die Karte unvollständig ist; es gibt versteckte Hindernisse und seltsame Bodenbeschaffenheiten, die Sie noch nicht gesehen haben (die unbekannten nichtlinearen Dynamiken).

Wenn Sie den Roboter blind umherwandern lassen, um den Raum zu lernen, könnte er gegen eine Vase laufen. Wenn Sie ihn streng auf der bekannten Karte halten, wird er niemals die neuen Hindernisse kennenlernen. Dieser Artikel schlägt ein kluges „Trainingsrad"-System vor, das es dem Roboter ermöglicht, sicher zu explorieren, während er gleichzeitig in Echtzeit die Wahrheit über den Raum lernt.

Hier ist, wie das System funktioniert, aufgeschlüsselt in einfache Konzepte:

1. Das Zwei-Teile-Gehirn

Das Gehirn des Roboters ist in zwei Teile aufgeteilt:

Der Veteran (Das Lineare Modell): Dies ist das bestehende Wissen des Roboters. Es kennt die grundlegende Physik, wie der Raum funktionieren sollte, basierend auf einer einfachen, sicheren Näherung. Es ist wie ein erfahrener Führer, der den allgemeinen Grundriss kennt, aber zugibt: „Ich kenne die Details dieser spezifischen Ecke nicht."
Der Lehrling (Der Gaußsche Prozess): Dies ist ein intelligenter Lerner, der die Bewegungen des Roboters beobachtet. Während sich der Roboter bewegt, vergleicht der Lehrling, was tatsächlich passiert ist, mit dem, was der Veteran vorhergesagt hat. Der Unterschied ist das „Residuum" (die Überraschung). Der Lehrling verwendet ein statistisches Werkzeug namens Gaußscher Prozess (GP), um diese Überraschungen zu lernen. Entscheidend ist, dass der Lehrling nicht nur rät; er berechnet auch wie unsicher er ist. Er sagt: „Ich denke, der Boden ist hier rutschig, aber ich bin nur zu 95 % sicher."

2. Die Unsichtbare Sicherheitsblase (Die PCIS)

Um den Roboter sicher zu halten, erzeugt das System eine unsichtbare Sicherheitsblase um die aktuelle Position des Roboters. Dies wird als Probabilistische Kontrollinvariante Menge (PCIS) bezeichnet.

Funktionsweise: Das System fragt: „Wenn sich der Roboter in diese Richtung bewegt, besteht die Chance, dass er gegen eine Wand läuft, selbst wenn unser ‚Lehrling' falsch liegt?"
Der Sicherheitsabstand: Da der Lehrling zugibt, dass er falsch liegen könnte, fügt das System einen „Sicherheitspuffer" um die bekannte Karte hinzu. Wenn der Lehrling sehr unsicher ist (hohe Unsicherheit), schrumpft die Sicherheitsblase, und der Roboter wird gezwungen, im Zentrum zu bleiben. Wenn der Lehrling sehr zuversichtlich ist (geringe Unsicherheit), dehnt sich die Blase aus und ermöglicht dem Roboter, weiter zu explorieren.
Die Garantie: Der Artikel beweist mathematisch, dass der Roboter, solange er innerhalb dieser Blase bleibt, nicht abstürzen wird, selbst wenn das Modell unvollkommen ist.

3. Der „Neugierige aber Vorsichtige" Fahrer

Der Roboter sitzt nicht einfach nur da; er muss sich bewegen, um zu lernen. Das System löst bei jedem einzelnen Schritt ein mathematisches Problem (ein Quadratisches Programm), um den nächsten Zug zu entscheiden.

Das Ziel: Es versucht, einen Zug zu finden, der dem Roboter am meisten über den Raum beibringt (Maximierung des „Informationsgewinns").
Die Einschränkung: Er darf die Sicherheitsblase niemals verlassen.
Das Ergebnis: Der Roboter neigt natürlich zu Bereichen, in denen er am meisten verwirrt ist (hohe Unsicherheit), um sie zu lernen, tut dies aber behutsam und stellt sicher, dass er die Sicherheitsregeln niemals verletzt. Es ist wie ein neugieriges Kind, das alles berühren möchte, aber an einem Sicherheitsleash gebunden ist, der nur dann länger wird, wenn es beweist, dass es vorsichtig ist.

4. Die Lernschleife

Der Artikel testete dies in zwei Szenarien:

Ein einfaches 2D-Mathematikproblem: Ein Roboter, der sich auf einer flachen Oberfläche mit einer kniffligen Kurve bewegt.
Ein Drei-Tank-Wassersystem: Eine komplexe industrielle Anlage mit drei Wassertanks, die durch Rohre verbunden sind, wobei die Wasserstände innerhalb sicherer Grenzen bleiben müssen.

Die Ergebnisse:

Sicherheit: Bei jedem Test verletzte der Roboter niemals die Sicherheitsgrenzen (er stürzte nie ab oder füllte die Tanks über).
Lernen: Während der Roboter mehr Daten sammelte, wurde sein „Lehrling" zuversichtlicher. Die Unsicherheit schrumpfte, und die Sicherheitsblase wurde größer, was dem Roboter ermöglichte, mehr vom Raum zu erkunden.
Effizienz: Das System war schnell genug, um in Echtzeit zu laufen und Entscheidungen in Millisekunden zu treffen.

Das Fazit

Dieser Artikel stellt einen Rahmen für das Unterrichten von Maschinen über komplexe, unvorhersehbare Systeme vor, ohne sie etwas zerstören zu lassen. Durch die Kombination eines bekannten „Entwurfs" des Systems mit einem intelligenten, unsicherheitsbewussten Lerner und dem Einpacken alles in eine mathematisch garantierte Sicherheitsblase erreicht das System ein perfektes Gleichgewicht: Es lernt schnell, aber es geht niemals unsichere Risiken ein.

Die Autoren kommen zu dem Schluss, dass diese Methode für den Einsatz in der realen Welt in Branchen bereit ist, in denen Sicherheit kritisch ist, wie Robotik und Prozesssteuerung, vorausgesetzt, der anfängliche „Entwurf" des Systems ist zumindest einigermaßen genau.

Technische Zusammenfassung: Sichere Exploration für nichtlineare Prozesse mittels Online-Gauß-Prozess-Lernen

Problemstellung

Der Beitrag adressiert die Herausforderung der Regelung nichtlinearer Systeme mit teilweise bekannten Dynamiken in sicherheitskritischen Anwendungen (z. B. Robotik, Luft- und Raumfahrt, Prozessindustrie). Während datengetriebene Methoden wie Reinforcement Learning Anpassungsfähigkeit bieten, fehlt es ihnen oft an harten Garantien für Stabilität und Einhaltung von Nebenbedingungen während der Explorationsphase. Bestehende Ansätze für sicheres Lernen stützen sich häufig auf idealisierte Annahmen, wie etwa vollständige Kenntnis der nichtlinearen Dynamiken oder konservative Lipschitz-Oberschätzungen der Unsicherheit, was ihre Praktikabilität einschränkt.

Das spezifische Problem besteht im Entwurf eines Regelungsrahmens, der eine sichere Exploration für nichtlineare Systeme gewährleistet, bei denen:

Nur eine stabilisierbare lineare Approximation des Prozesses bekannt ist.
Nicht modellierte nichtlineare Dynamiken (Residuen) online gelernt werden müssen.
Das System während des gesamten Lernprozesses mit hoher Wahrscheinlichkeit Zustands- und Eingangsnebenbedingungen einhalten muss.

Methodik

Der vorgeschlagene Rahmen integriert Gauß-Prozess-(GP-)Regression, Lyapunov-Stabilitätstheorie und konvexe Optimierung, um eine sichere, informative Exploration zu erreichen.

1. Systemzerlegung und GP-Modellierung

Die Systemdynamiken werden als steuerungsaffines nichtlineares System modelliert:
$\dot{x} = Ax + Bu + g(x)$
wobei $(A, B)$ eine bekannte, stabilisierbare Linearisierung ist und $g(x)$ ein unbekanntes, glattes Residuum darstellt. Das Residuum $g(x)$ wird online mittels eines Gauß-Prozesses modelliert. Während Daten gesammelt werden, liefert der GP einen posteriori-Mittelwert $\mu_t(x)$ und eine Standardabweichung $\sigma_t(x)$ . Ein Konfidenzintervall mit hoher Wahrscheinlichkeit wird so konstruiert, dass:
$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$
mit der Wahrscheinlichkeit $1-\delta$ gilt, wobei $\beta_t$ ein zeitvariabler Konfidenzparameter ist, der aus Finite-Sample-GP-UCB-Plänen abgeleitet wird.

2. Probabilistische Kontrollinvariante Mengen (PCIS)

Die Sicherheit wird durch eine Probabilistische Kontrollinvariante Menge (PCIS) sichergestellt, die aus einer Kontroll-Lyapunov-Funktion (CLF), $V(x) = x^\top P x$ , abgeleitet wird. Die PCIS ist definiert als die Menge der Zustände, für die eine Steuereingabe existiert, die sicherstellt, dass die Lyapunov-Funktion abnimmt, selbst unter der worst-case-GP-Unsicherheit innerhalb des Konfidenzintervalls.
Die Bedingung für die Menge $S_t$ lautet:
$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$
Diese Konstruktion garantiert, dass das System, wenn es innerhalb der PCIS startet, mit hoher Wahrscheinlichkeit ( $1-\delta$ ) dort bleibt, wodurch die rekursive Machbarkeit der Nebenbedingungen sichergestellt wird.

3. Optimierungsbasierter Regler

Zu jedem Zeitpunkt löst der Regler ein konvexes quadratisches Programm (QP), um die Steuereingabe $u$ zu bestimmen. Das Ziel besteht darin, den Informationsgewinn zu maximieren (durch Anregung in Richtungen hoher Unsicherheit), während die Sicherheitsnebenbedingungen strikt eingehalten werden.
Das QP minimiert die Abweichung von einem nominalen stabilisierenden Regler $u_{lin}$ :
$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$
unter der Lyapunov-Abnahmebedingung (unter Einbeziehung der GP-Unsicherheitsgrenze) und den Eingangsnebenbedingungen. Eine Schlupfvariable $s$ stellt die Machbarkeit sicher und wird durch $\rho$ bestraft, um die Sicherheit zu priorisieren.

4. Adaptive Erweiterung

Da der GP die Residuen-Dynamiken lernt, nimmt die Unsicherheit $\sigma_t(x)$ ab. Diese Reduktion ermöglicht eine adaptive Erweiterung der PCIS, wodurch schrittweise reichhaltigere Explorationsregionen freigegeben werden, ohne die Sicherheitsgarantien zu verletzen.

Hauptbeiträge

Der Beitrag umreißt drei primäre Beiträge:

Nominal-Residuen-Zerlegung: Ein Rahmen, der ein bekanntes lineares Modell mit einem Online-GP-Residuum kombiniert und damit sicheres Lernen unbekannter Nichtlinearitäten ohne vollständige Modellkenntnis ermöglicht.
Lyapunov-basierte PCIS-Konstruktion: Eine Methode zur Konstruktion probabilistischer invarianter Mengen, die GP-Unsicherheiten einbeziehen und Finite-Sample-probabilistische Garantien für Stabilität und Einhaltung von Nebenbedingungen bieten.
Optimierungsbasierter Regler: Ein Echtzeit-Regler, der in jedem Schritt ein konvexes QP löst, um Informationsgewinn (Exploration) mit strengen Sicherheitsgarantien (Lyapunov-Abnahme) in Einklang zu bringen und dabei die Konservativität mehrstufiger Unsicherheitsfortpflanzung zu vermeiden, wie sie in anderen Safe-MPC-Formulierungen vorkommt.

Experimentelle Ergebnisse

Der Rahmen wurde an zwei Benchmarks validiert: einem 2D-polynomiellen System und einem MIMO-Dreitank-Wasserstandsprozess.

2D-polynomiales System

Lernleistung: Das GP-Modell erzielte signifikante Verbesserungen der Genauigkeit (RMSE von ~1,11 auf ~0,03 reduziert) über 12 Iterationen.
Unsicherheitskalibrierung: Die empirische Abdeckung der 95%-Konfidenzintervalle verbesserte sich nach der Kalibrierung von 37 % auf 100 %, wodurch die Zuverlässigkeit der Sicherheitszertifikate gewährleistet wurde.
Sicherheit: Der vorgeschlagene GP-PCIS-Regler hielt alle Trajektorien innerhalb des zertifizierten sicheren Bereichs mit null Verletzungen der Nebenbedingungen. Im Gegensatz dazu verletzte eine unsichere Baseline (LQR ohne Sicherheitsschichten) die Zustandsnebenbedingungen.
Mengenexpansion: Das Volumen des zertifizierten sicheren Bereichs expandierte um etwa 27,7 %, da die Unsicherheit abnahm, was die adaptive Natur des Rahmens demonstriert.

Dreitank-Wasserstandsprozess

Komplexität: Dieses MIMO-gekoppelte System testete die Skalierbarkeit und Echtzeitfähigkeit des Rahmens.
Sparse vs. exakte GP: Sparse-GP-Näherungen (unter Verwendung induzierender Punkte) erwiesen sich als praktikabel und boten Inferenzzeiten, die um mehr als den Faktor 1000 schneller waren als bei exakten GPs, bei gleichzeitiger Aufrechterhaltung einer nahezu nominalen Abdeckung (~94,5 %) und akzeptablem RMSE.
Sicherheit: Über einen Identifikationshorizont von 2000 Sekunden erreichte der Rahmen null Verletzungen der Wasserstandsnebenbedingungen (45 %–87 %), während eine unsichere Baseline kurzzeitig unter die untere Grenze fiel.
Echtzeitleistung: Die medianen QP-Lösungszeiten pro Schritt lagen im Millisekundenbereich, was die Machbarkeit für die Echtzeitimplementierung bestätigt.

Bedeutung und Behauptungen

Der Beitrag beansprucht, ein einheitlicher und implementierbarer Rahmen für sichere Exploration in teilweise bekannten nichtlinearen Systemen zu sein. Seine Bedeutung liegt in:

Ausgleich von Handhabbarkeit und Konservativismus: Im Gegensatz zu mehrstufigen Safe-MPC-Formulierungen, die übermäßig konservativ werden können, erzwingt dieser Ansatz eine einstufige Lyapunov-Abnahme mit GP-Konfidenzgrenzen, was zu einem konvexen QP ohne mehrstufigen Unsicherheitsaufblähung führt.
Praktikabilität: Es wird nur ein stabilisierbares lineares Modell (in der Praxis üblich) benötigt, anstatt exakter nichtlinearer Dynamiken, was ihn auf reale Systeme anwendbar macht, bei denen nicht modellierte Effekte online gelernt werden müssen.
Theoretische Garantien: Es werden Finite-Sample-probabilistische Sicherheitsgarantien geboten, die sicherstellen, dass das System stabil bleibt und mit hoher Wahrscheinlichkeit innerhalb der Nebenbedingungen verbleibt, selbst während der aktiven Lernphase.

Die Autoren räumen Einschränkungen ein, darunter den Konservativismus von einstufigen Worst-Case-Grenzen und die kubische Skalierung des exakten GP-Trainings, und schlagen zukünftige Arbeiten zu mehrstufigen Chance-Constraints und Sparse-GP-Updates für höherdimensionale Aufgaben vor. Die Ergebnisse zeigen jedoch, dass die vorgeschlagene Methode eine informative Exploration effektiv ermöglicht, während sie strikt die Sicherheitsnebenbedingungen einhält.