A robust and adaptive MPC formulation for Gaussian process models

Diese Arbeit stellt einen robusten und adaptiven MPC-Rahmen für unsichere nichtlineare Systeme vor, der Gaußsche Prozesse zur Modellierung dynamischer Unsicherheiten mit kontraktiven Metriken kombiniert, um rekursive Zulässigkeit, robuste Einhaltung von Nebenbedingungen und Konvergenz mit hoher Wahrscheinlichkeit zu gewährleisten.

Das Wesentliche

Stellen Sie sich vor, Sie steuern ein kleines, fliegendes Drohnen-Modell (eine Quadcopter-Drohne) durch einen verwinkelten Park. Ihr Ziel ist es, sicher von einem Startpunkt zu einem Zielpunkt zu fliegen, ohne gegen Bäume zu stoßen oder den Boden zu berühren.

Das Problem ist: Die Drohne reagiert auf Windböen, und wenn sie nah am Boden fliegt, gibt es seltsame Luftströmungen (den sogenannten "Bodeneffekt"), die sich kaum mathematisch exakt beschreiben lassen. Ein herkömmlicher Computer-Controller würde versuchen, eine perfekte Formel für alles zu haben. Da diese Formel aber nicht existiert, würde die Drohne entweder sehr vorsichtig (und langsam) fliegen oder riskant werden.

Diese Wissenschaftler von der ETH Zürich haben eine Lösung entwickelt, die man sich wie einen klugen, lernenden Navigator vorstellen kann. Hier ist die Erklärung der wichtigsten Ideen in einfachen Worten:

1. Der lernende Assistent (Gaußsche Prozesse)

Stellen Sie sich vor, Sie haben einen Assistenten, der die Drohne noch nie gesehen hat. Anfangs weiß er nur grobe Fakten. Aber während Sie fliegen, sammelt er ständig neue Daten: "Aha, hier oben ist der Wind stärker" oder "Hier unten drückt die Luft die Drohne nach oben".

In der Fachsprache nennt man das Gaußsche Prozesse (GP). Es ist wie ein sehr vorsichtiger Lehrer, der nicht nur eine Antwort gibt, sondern immer sagt: "Ich bin mir zu 95 % sicher, dass die Luft so wirkt, aber es könnte auch ein bisschen anders sein." Er zeichnet also nicht nur eine Linie, sondern einen Sicherheitskorridor um seine Vorhersage.

2. Der Sicherheitskorridor (Robuste Vorhersage)

Normalerweise würden Computer versuchen, die Drohne genau auf einer Linie zu halten. Wenn die Vorhersage aber falsch ist, kracht sie gegen einen Baum.

Diese Forscher nutzen eine Methode namens Kontraktionsmetriken. Stellen Sie sich das wie einen unsichtbaren, dehnbaren Gummischlauch vor, der die Drohne umgibt.

• Der Computer berechnet nicht nur den Weg der Drohne, sondern auch, wie stark sich dieser Gummischlauch ausdehnen muss, um alle möglichen Abweichungen (durch Wind oder Fehler) einzufangen.
• Solange die Drohne innerhalb dieses Schlauches bleibt und der Schlauch selbst nicht gegen die Bäume (die Grenzen) stößt, ist die Drohne sicher.
• Der Clou: Der Schlauch wird durch eine einfache mathematische Regel gesteuert, die sicherstellt, dass er sich nicht unendlich aufbläht, sondern kontrolliert bleibt.

3. Der lernende Pilot (Adaptives MPC)

Hier kommt der eigentliche "Trick" der neuen Methode: Online-Lernen.

• Die alte Methode (GP-RMPC): Der Pilot lernt vor dem Flug aus einem Buch (Offline-Daten). Während des Fluges ändert er seine Strategie nicht, auch wenn er merkt, dass das Buch veraltet ist. Er bleibt vorsichtig, weil er nicht weiß, ob seine Vorhersagen noch stimmen.
• Die neue Methode (GP-RAMPC): Der Pilot lernt während des Fluges. Jedes Mal, wenn er eine neue Messung macht, aktualisiert er sein "Buch".
  • Das Problem: Wenn man sein Buch aktualisiert, ändern sich die Vorhersagen. Was gestern als sicher galt, könnte heute unsicher wirken, weil die Unsicherheit anders berechnet wird. Das könnte dazu führen, dass der Computer denkt: "Oh nein, ich kann nicht mehr weiterfliegen, das ist zu gefährlich!" und die Drohne stoppt.
  • Die Lösung: Die Forscher haben einen cleveren Trick entwickelt. Sie behalten nicht nur das neueste Buch, sondern eine Sammlung von Büchern (von alt bis neu). Der Computer sucht sich dann den besten Weg, indem er die Informationen aus allen Büchern geschickt kombiniert. So stellt er sicher, dass die Drohne immer einen sicheren Weg findet, auch wenn sich das Wissen ändert. Es ist wie ein Team von Piloten, die sich absprechen, damit niemand in Panik gerät, wenn neue Informationen hereinkommen.

4. Das Ergebnis im Test

In einem Test mit einer Drohne, die über einen Hügel fliegen musste (wo die Luftströmungen sehr schwer vorherzusagen waren), zeigte sich:

• Die alte Methode war sehr vorsichtig. Sie flog langsam und hielt sich weit weg von Hindernissen, weil sie die Unsicherheit immer "schlimmstenfalls" annahm.
• Die neue Methode wurde mit jedem Flugschritt sicherer. Da sie die Unsicherheit durch das Lernen verringerte, konnte sie schneller fliegen, näher an den Zielpunkt kommen und insgesamt effizienter agieren, ohne die Sicherheit zu gefährden.

Zusammenfassung

Stellen Sie sich das wie das Fahren eines Autos in einem nebligen Wald vor:

• Normale Steuerung: Sie fahren sehr langsam, weil Sie nicht wissen, ob vor Ihnen ein Baum steht.
• Die neue Steuerung: Sie haben ein System, das während der Fahrt lernt, wo die Bäume wirklich stehen. Es zeichnet eine unsichtbare "Sicherheitszone" um Ihr Auto. Wenn das System lernt, dass der Nebel an einer Stelle lichter wird, verkleinert es die Sicherheitszone und Sie können schneller fahren. Und falls das System unsicher wird, weiß es genau, wie es die Zone vergrößern muss, damit Sie niemals gegen einen Baum fahren, egal wie sich das Wetter ändert.

Die Forscher haben also einen Weg gefunden, wie eine Maschine sicher bleibt, während sie dazulernt – ein wichtiger Schritt für autonome Roboter, die in der echten, unvorhersehbaren Welt arbeiten sollen.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung der Steuerung nichtlinearer Systeme, die von beschränkten Störungen und unmodellierte Nichtlinearitäten betroffen sind.

• Herausforderung: Herkömmliche modellprädiktive Regelungsverfahren (MPC) benötigen ein genaues Systemmodell, um Sicherheitsgarantien (Einhaltung von Zustands- und Eingangsbeschränkungen) zu gewährleisten. In der Praxis sind solche Modelle jedoch oft ungenau oder unbekannt.
• Grenzen bestehender Ansätze:
  • Robuste MPC-Ansätze (RMPC) für parametrische Unsicherheiten sind etabliert, aber oft auf endlichdimensionale Parametervektoren beschränkt.
  • Ansätze, die Gaußsche Prozesse (GPs) zur Modellierung unbekannter Dynamiken nutzen, bieten zwar flexible Lernfähigkeiten und rigorose Unsicherheitsschätzungen, scheitern jedoch oft an theoretischen Garantien für die rekursive Machbarkeit (d.h., das Optimierungsproblem bleibt zu jedem Zeitpunkt lösbar) und die Einhaltung von Beschränkungen bei Online-Lernupdates.
  • Bestehende GP-RMPC-Methoden (z. B. basierend auf Intervallarithmetik oder linearisierten Taylor-Approximationen) führen oft zu übermäßig konservativen Vorhersagen (exponentiell wachsende erreichbare Mengen) oder sind nicht mit Online-Updates kompatibel.

Das Ziel ist es, einen MPC-Rahmen zu entwickeln, der GPs nutzt, um Dynamiken online zu lernen, dabei aber theoretische Garantien für Sicherheit, Machbarkeit und Konvergenz mit einer vorgegebenen Wahrscheinlichkeit bietet.

2. Methodik

Der vorgeschlagene Ansatz kombiniert Gaußsche Prozesse (GP) mit kontraktiven Metriken (contraction metrics) in einem robusten und adaptiven MPC-Rahmen (GP-RAMPC).

A. Modellierung und Unsicherheitsabschätzung

• Gaußsche Prozesse: Die unbekannte Nichtlinearität $g(x)$ wird mittels GP modelliert. Basierend auf Messdaten (offline und online) werden Posterior-Mittelwerte $\mu_N(x)$ und Varianzen $\sigma_N^2(x)$ berechnet.
• Hohe Wahrscheinlichkeitsgrenzen: Es wird eine hochwahrscheinliche Fehlergrenze $w(x) = \beta_N \sigma_N(x)$ hergeleitet (basierend auf Lemma 1), die garantiert, dass die wahre Funktion $g(x)$ innerhalb dieses Bandes liegt.

B. Robuste Vorhersage mittels Kontraktionsmetriken

Anstatt die erreichbaren Mengen direkt zu propagieren (was oft zu konservativen Schätzungen führt), wird ein Rohr (Tube) um eine nominale Trajektorie $z(t)$ konstruiert.

• Kontraktionsmetrik: Ein offline berechneter metrischer Tensor $M(x)$ wird verwendet, um die Konvergenz von Trajektorien zu garantieren.
• Skalierungsdynamik: Die Unsicherheit wird nicht durch komplexe Mengenpropagation, sondern durch eine skalare Differentialgleichung für den Tuben-Radius $\delta(t)$ modelliert:
  $$\dot{\delta}_t = -(\rho - L_G)\delta_t + G_M w(z_t) + E_M$$
  Dabei repräsentieren $L_G, G_M, E_M$ Konstanten, die die Unsicherheit und Störungen abbilden.
• Vorteil: Dies verhindert das exponentielle Wachstum der Unsicherheit, das bei linearen Approximationen (Taylor-Reihen) über lange Horizonte auftritt.

C. Adaptive Komponente (Online-Lernen)

Das Kernstück der Adaptivität ist die Integration von Online-Daten:

• GP-Sammlung: Anstatt nur ein einziges GP-Modell zu aktualisieren (was zu inkonsistenten Unsicherheitsgrenzen und Machbarkeitsproblemen führen kann), wird eine Sammlung von GP-Modellen ($\mathcal{M}_k$) geführt, die auf sukzessiven Datensätzen basieren.
• Schnittmengen-Argument: Die Unsicherheitsgrenze wird durch den Schnitt der Konfidenzbänder aller Modelle in der Sammlung gebildet. Dies garantiert, dass die Unsicherheitsgrenze mit neuen Daten monoton nicht-ansteigend ist.
• Nominale Vorhersage: Die nominale Trajektorie wird durch eine optimierte lineare Kombination der Posterior-Mittelwerte der verschiedenen GP-Modelle berechnet. Dies ermöglicht es dem Optimierer, flexibel zwischen den Modellen zu interpolieren, um die Machbarkeit zu erhalten.

D. Das Optimierungsproblem (OCP)

Das MPC-Problem minimiert eine Kostenfunktion über eine nominale Trajektorie unter Berücksichtigung:

1. Der nominalen Dynamik (basierend auf der linearen Kombination der GP-Mittelwerte).
2. Der skalaren Tuben-Dynamik (zur Sicherstellung, dass der wahre Zustand innerhalb des Rohrs bleibt).
3. Verschärfter Beschränkungen ($h_j(z) + c_j \delta \leq 0$), die den Tuben-Radius $\delta$ einbeziehen.
4. Einem terminalen Mengen-Constraint, das die rekursive Machbarkeit sicherstellt.

3. Wichtige Beiträge

1. Theoretische Garantien: Der Ansatz bietet mit einer vom Benutzer gewählten Wahrscheinlichkeit ($1-p$) Garantien für:
   • Rekursive Machbarkeit: Das Optimierungsproblem bleibt zu jedem Zeitpunkt lösbar, auch bei Online-Updates.
   • Robuste Beschränkungserfüllung: Der wahre Systemzustand verletzt die Constraints nicht.
   • Konvergenz: Die nominale Trajektorie konvergiert gegen den Referenzzustand.
2. Neuartige Unsicherheitspropagation: Die Verwendung von Kontraktionsmetriken zur Skalierung des Tubes umgeht die Probleme der Taylor-Approximation (akkumulierende Fehler) und ist deutlich weniger konservativ als Intervallarithmetik oder Lipschitz-basierte Methoden.
3. Adaptiver Mechanismus: Die Methode löst das Problem der Inkonsistenz bei GP-Updates durch die Verwendung einer GP-Sammlung und einer linearen Kombination der Mittelwerte, was eine nahtlose Integration von Online-Daten ohne Verlust der Stabilitätsgarantien ermöglicht.
4. Berechnungseffizienz: Die Propagation der Unsicherheit reduziert sich auf die Simulation einer skalaren Differentialgleichung anstelle komplexer Mengenoperationen, was die Online-Berechnung effizient macht.

4. Ergebnisse (Numerisches Beispiel)

Die Methode wurde an einem planaren Quadcopter getestet, der unter dem Einfluss schwer modellierbarer Bodeneffekte (eine unbekannte vertikale Kraft $g(x)$) und Windstörungen steht.

• Vergleich mit existierenden Methoden:
  • Gegenüber einer Methode basierend auf linearisierten Taylor-Approximationen (aus [18]) zeigte der vorgeschlagene Ansatz keine exponentielle Zunahme des Tuben-Radius. Die Taylor-Methode führte nach ca. 1 Sekunde zu numerischer Divergenz, während die Kontraktionsmetrik-basierte Methode die Unsicherheit stabil hielt.
• Vergleich GP-RMPC vs. GP-RAMPC:
  • Der adaptive Ansatz (GP-RAMPC), der Online-Daten nutzt, erreichte das Zielgebiet 6 % schneller als der rein robuste Ansatz (GP-RMPC), der nur Offline-Daten nutzte.
  • Die geschlossene Regelkreis-Kostenfunktion (Tracking-Fehler) wurde um 9 % reduziert.
• Rechenzeit: Die Berechnungszeit pro Iteration blieb trotz der Online-Updates konstant und handhabbar (ca. 89 ms pro Schritt), da die GP-Auswertung in Batches mit einer festen maximalen Anzahl von Modellen und Datenpunkten durchgeführt wurde.

5. Bedeutung und Fazit

Dieses Paper schließt eine wichtige Lücke in der Forschung zu datengetriebener Regelung:

• Es verbindet die Flexibilität von Machine Learning (GPs) mit der Robustheit und Sicherheit klassischer MPC.
• Es löst das kritische Problem der rekursiven Machbarkeit bei adaptiven Systemen, was für den praktischen Einsatz in sicherheitskritischen Anwendungen (z. B. Robotik, autonome Fahrzeuge) essenziell ist.
• Durch die Verwendung von Kontraktionsmetriken wird ein effizienter und weniger konservativer Ansatz zur Unsicherheitspropagation bereitgestellt, der über die Grenzen linearisierter Modelle hinausgeht.

Die vorgestellte GP-RAMPC-Methode ermöglicht es Systemen, während des Betriebs zu lernen und sich anzupassen, ohne dabei die mathematisch bewiesenen Sicherheitsgarantien zu opfern. Dies ist ein bedeutender Schritt hin zu autonomen Systemen, die in komplexen, unsicheren Umgebungen sicher operieren können.