💻 computer science

Scalable Gaussian Process Regression via Deterministic Trigonometric Features: Uniform Bounds for Safe Model Predictive Control

Dieses Paper führt ein skalierbares Framework der deterministischen trigonometrischen Feature-Gauß-Prozesse (DTF-GP) ein, das hochwahrscheinliche uniforme Unsicherheitsgrenzen für eine sichere lernbasierte modellprädiktive Regelung ermöglicht und dabei die Sicherheitsgarantien voller Gauß-Prozesse bei signifikant verbesserter Recheneffizienz in großen Datenregimen erreicht.

Ursprüngliche Autoren: Julius Jagdt, Johanna Menn, Sebastian Trimpe, Melanie N. Zeilinger, Anna Scampicchio

Veröffentlicht 2026-08-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Julius Jagdt, Johanna Menn, Sebastian Trimpe, Melanie N. Zeilinger, Anna Scampicchio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Roboterarm vor, der empfindliche Elektronik montiert, oder ein selbstfahrendes Auto, das durch eine belebte Stadt navigiert. Damit diese Maschinen sicher arbeiten können, müssen sie ständig vorhersagen, was als Nächstes passieren wird. Sie verlassen sich auf mathematische Modelle – vereinfachte Versionen der Realität –, um zu erraten, wie sich ihre Bewegungen auf ihre Position auswirken werden. Aber das echte Leben ist chaotisch. Reibung, Wind und Verschleiß bedeuten, dass diese Modelle niemals perfekt sind. Wenn ein Roboter sich auf eine fehlerhafte Vermutung verlässt, könnte er zu fest drücken, ein Teil beschädigen oder kollidieren. Um sicher zu bleiben, nutzen Ingenieure eine Strategie namens Model Predictive Control (Modellprädiktive Regelung). Diese Methode berechnet ständig den besten Weg nach vorne neu und gleicht jeden Schritt mit strengen Sicherheitsregeln ab. Dieses Sicherheitsnetz funktioniert jedoch nur, wenn der Roboter weiß, wie viel er nicht weiß. Er muss die Grenzen seiner eigenen Vorhersagen verstehen.

Jahrelang haben Wissenschaftler ein leistungsstarkes statistisches Werkzeug namens Gauß-Prozess genutzt, um die Lücken dieser unvollkommenen Modelle zu füllen. Stellen Sie sich einen Gauß-Prozess wie einen sehr vorsichtigen, hochintelligenten Kartografen vor. Anstatt nur eine einzelne Linie zu zeichnen, die zeigt, wohin der Roboter gehen wird, zeichnet er ein breites, unscharfes Band, das alle möglichen Orte darstellt, an denen der Robbot landen könnte. Je breiter das Band ist, desto unsicherer ist sich der Roboter. Diese Unsicherheit ist entscheidend für die Sicherheit: Wenn das Band zu breit wird, weiß der Roboter, dass er langsamer werden oder anhalten muss. Das Problem ist, dass dieses kartografische Werkzeug immer langsamer wird, während der Roboter immer mehr Daten sammelt, um daraus zu lernen. Es ist, als versuche man, ein riesiges Puzzle zu lösen, bei dem jedes neue Teilchen erfordert, dass man das gesamte Bild von Grund auf neu löst. Bei großen Datensätzen kann der Computer einfach nicht mithalten, was Ingenieure dazu zwingt, zwischen einem sicheren, langsamen System oder einem schnellen, unsicheren System zu wählen.

Ein Forscherteam aus Universitäten in Deutschland, der Schweiz und Schweden hat einen Weg gefunden, diesen Stillstand zu durchbrechen. Sie entwickelten eine neue Methode, die die Sicherheitsgarantien des langsamen, perfekten Kartografen beibehält, aber so schnell wie eine einfache, schnelle Skizze läuft. Ihr Ansatz, den sie eine deterministische trigonometrische Feature-Gauß-Prozess-Methode nennen, ersetzt die schweren, komplexen Berechnungen durch eine kluge Approximation unter Verwendung von Wellen. Anstatt zu versuchen, jedes mögliche Ergebnis auf einmal zu berechnen, zerlegt die neue Methode das Problem in einen festen Satz von Wellenmustern. Durch die Auswahl dieser Muster auf eine spezifische, nicht-zufällige Weise haben die Forscher bewiesen, dass die resultierende Karte genauso zuverlässig ist wie die ursprüngliche, langsame Version. Sie zeigten, dass dieses neue Werkzeug dieselben hochkonfidenten Sicherheitswarnungen wie ein volles System liefern kann, jedoch ohne die erdrückenden Rechenkosten.

Die Forscher testeten ihre Idee an einem simulierten invertierten Pendel, einem klassischen Steuerungsproblem, bei dem ein Roboter einen Stab auf einem beweglichen Wagen balancieren muss. In ihren Experimenten verglichen sie ihre neue Methode mit dem traditionellen, langsamen Ansatz. Sie fanden heraus, dass beide Methoden die Umgebung mit gleicher Geschicklichkeit erkundeten und gleichermaßen viel über die verborgenen Fehler des Systems lernten. Die neue Methode war ebenso gut darin, die sichersten und effizientesten Wege zu finden. Der Unterschied in der Geschwindigkeit war jedoch dramatisch. Als die Menge der Daten wuchs, verlangsamte sich die traditionelle Methode erheblich und hatte Schwierigkeiten, mit dem Volumen der Informationen Schritt zu halten. Die neue Methode hingegen behielt ein stetiges Tempo bei, unabhängig davon, wie viele Daten sie verarbeitete. Sie bewältigte große Datensätze mit Leichtigkeit und bewies damit, dass es möglich ist, sowohl hohe Sicherheit als auch hohe Geschwindigkeit zu haben.

Diese Arbeit ist wichtig, weil sie eine große Barriere für den Einsatz fortschrittlicher Lernsysteme in der realen Welt beseitigt. Zuvor mussten Ingenieure die Menge der Daten, die ihre Roboter lernen konnten, begrenzen, um das System in Echtzeit am Laufen zu halten. Jetzt können sie das System mit riesigen Mengen an Daten füttern, um es intelligenter und sicherer zu machen, ohne sich Sorgen machen zu müssen, dass der Computer einfriert. Die Forscher haben demonstriert, dass ihr neuer Rahmenwerk in sicherheitskritische Systeme integriert werden kann, um sicherzustellen, dass der Roboter niemals ein Risiko eingeht, das er nicht berechnen kann. Indem sie eine langsame, schwere Berechnung in eine schnelle, effiziente umgewandelt haben, haben sie die Tür für robustere und zuverlässigere autonome Systeme geöffnet, die kontinuierlich lernen können, während sie sicher innerhalb ihrer Grenzen bleiben.

Technische Zusammenfassung: Skalierbare Gauß-Prozess-Regression mittels deterministischer trigonometrischer Merkmale

Problemstellung
Lernbasierte modellprädiktive Regelung (MPC) unter Verwendung von Gauß-Prozessen (GPs) bietet einen robusten Ansatz zur Regelung dynamischer Systeme mit unbekannter Dynamik und Modellabweichung. Eine kritische Anforderung für die Gewährleistung der Sicherheit in diesen stochastischen MPC-Frameworks ist die Verfügbarkeit von Unsicherheitsgrenzen, die über den gesamten Zustands- und Eingangsraum hinweg einheitlich gelten. Während solche einheitlichen Grenzen für die exakte (vollständige) GP-Regression hergeleitet werden konnten, skaliert der Rechenaufwand für die exakte Inferenz kubisch mit der Anzahl der Datenpunkte ( $O(N^3)$ ). Diese schlechte Skalierbarkeit macht die vollständige GP-Regression für Regime mit großen Datenmengen unpraktikabel. Bestehende skalierbare GP-Approximationen – wie Methoden mit induzierenden Variablen, Subset-of-Data-Ansätze und randomisierte Merkmalsmethoden (z. B. Random Fourier Features) – können nicht die notwendigen einheitlichen Unsicherheitsgrenzen bereitstellen, die für die sicherheitskritische Regelung erforderlich sind. Folglich besteht eine Lücke zwischen dem Bedarf an skalierbarer Inferenz und der Anforderung an rigorose, einheitliche Sicherheitsgarantien.

Methodik
Die Autoren schlagen den Deterministic Trigonometric Feature Gaussian Process (DTF-GP) vor, einen skalierbaren Framework, der die GP-Regression auf eine Bayessche lineare Regression in einem endlich dimensionalen Merkmalsraum reduziert und gleichzeitig die Fähigkeit zur Ableitung einheitlicher Unsicherheitsgrenzen beibehält.

Endlich-dimensionale Kernel-Approximation:
Das Verfahren approximiert stationäre Kernel durch eine endliche Menge deterministischer trigonometrischer Merkmale. Unter Ausnutzung des Bochner-Theorems wird der stationäre Kernel als kontinuierliche Superposition von trigonometrischen Basisfunktionen dargestellt, die durch die Spektraldichte gewichtet sind. Der DTF-GP diskretisiert dieses Integral, indem er Frequenzen aus einem festen, gleichmäßig verteilten Gitter auswählt.

Deterministische Auswahl: Im Gegensatz zu Random Fourier Features, die Frequenzen stochastisch auswählen, wählt der DTF-GP Frequenzen deterministisch aus.
Spektrale Parametrisierung: Für den quadratisch-exponentiellen (RBF) Kernel werden die spektralen Gewichte so parametrisiert, dass sie den exponentiellen Abfall der wahren Spektraldichte widerspiegeln.
Frequenz-Trunkierung: Die Frequenzen werden innerhalb einer elliptischen Region im Frequenzraum beibehalten, die durch einen Trunkierungsradius bestimmt wird. Dies stellt sicher, dass die signifikantesten spektralen Komponenten erhalten bleiben, während vernachlässigbare Massen verworfen werden.

Ableitung einheitlicher Unsicherheitsgrenzen:
Der zentrale theoretische Beitrag ist die Herleitung einer hochwahrscheinlichen einheitlichen Unsicherheitsgrenze für den DTF-GP.

Die Grenze zerlegt den Gesamtfehler in einen Rauschterm (der über selbstnormalisierende Konzentrationsungleichungen behandelt wird) und einen Approximations-Term.
Der Approximations-Term wird unter Verwendung eines orthogonalen Projektionsoperators analysiert, der die unbekannte Funktion aus dem unendlich-dimensionalen Reproduzierenden Hilbert-Raum (RKHS) induziert durch den wahren Kernel auf den endlich-dimensionalen RKHS induziert durch den DTF-Kernel abbildet.
Die Grenze berücksichtigt explizit den Projektionsfehler (die Differenz zwischen der wahren Funktion und ihrer Projektion auf den endlichen Merkmalsraum).
Für den RBF-Kernel leiten die Autoren eine geschlossene obere Schranke für diesen Projektionsfehler her, die vom RKHS-Norm der Funktion, den spektralen Zerfallsparametern und dem Trunkierungsradius abhängt.

Integration in Safe MPC:
Der DTF-GP wird in einen SafeMPC-Framework integriert. Die abgeleitete einheitliche Unsicherheitsgrenze wird verwendet, um Unsicherheitsmengen über einen Vorhersagehorizont zu propagieren. Durch die Sicherstellung, dass der wahre Modellfehler mit hoher Wahrscheinlichkeit innerhalb dieser Grenzen liegt, kann der Regler Zustands- und Eingangsbedingungen erzwingen und somit eine sichere Exploration garantieren.

Wesentliche Beiträge

Formalisierung des DTF-GP: Die Arbeit formalisiert einen skalierbaren GP-Framework unter Verwendung deterministischer trigonometrischer Merkmale, die aus einem gleichmäßigen Frequenzgitter ausgewählt werden, wodurch die Inferenz auf Bayessche lineare Regression reduziert wird.
Einheitliche Unsicherheitsgrenzen: Die Autoren leiten eine hochwahrscheinliche einheitliche Unsicherheitsgrenze für den DTF-GP ab. Entscheidend ist, dass sie eine explizite, geschlossene Form der Projektionsfehlerschranke für den Fall des RBF-Kernels angeben, wodurch sichergestellt wird, dass die resultierende Konfidenzgrenze auf denselben Annahmen wie die vollständigen GP-Grenzen beruht (RKHS-Norm, sub-Gauß-Rauschen und posteriore Größen).
Sichere lernbasierte Regelung: Der Framework wird erfolgreich in ein lernbasiertes MPC-Schema integriert, was eine sichere Exploration mit hohen Wahrscheinlichkeits-Sicherheitsgarantien in großen Datensätzen ermöglicht, in denen eine vollständige GP-Inferenz rechnerisch nicht praktikabel ist.

Ergebnisse
Der vorgeschlagene Ansatz wurde an einem Problem der nichtlinearen Pendelsteuerung (Inverted Pendulum) evaluiert.

Explorationsleistung: In dynamischen Explorationsszenarien erreichte der DTF-GP eine kumulative gegenseitige Information (ein Maß für die Explorationseffizienz), die über verschiedene Datensatzgrößen hinweg mit der eines vollständigen GP vergleichbar war. Dies zeigt, dass die endlich-dimensionale Approximation die Fähigkeit zur Systemdynamik-Lernen nicht signifikant beeinträchtigt, sofern der Trunkierungsradius so gewählt wird, dass ein spezifischer Projektionsfehlerzielwert erreicht wird.
Effizienz der Berechnung: Der DTF-GP zeigte einen signifikanten Rechenvorteil in Regime mit großen Datenmengen. Während die Berechnung eines vollständigen GP mit der Anzahl der Datenpunkte skaliert ( $O(N^2)$ $O (N^{2})$ für Updates, $O(N^3)$ $O (N^{3})$ für die Likelihood-Auswertung), skaliert der DTF-GP mit der Anzahl der Merkmale ( $M$ $M$ ), die unabhängig von der Datensatzgröße ist, sobald die Trunkierung festgelegt wurde.
- In Experimenten zur statischen Exploration zeigte der DTF-GP fast keine Abhängigkeit von der Anzahl der initialen Stichproben, während die Laufzeit des vollständigen GP signifikant anstieg.
- Der DTF-GP behielt eine mit dem vollständigen GP vergleichbare Explorationsleistung bei und bot gleichzeitig reduzierte Rechenkosten, was besonders vorteilhaft für rauschreiche oder hochkonfidente Einstellungen mit großen Datensätzen ist.

Bedeutung und Ansprüche
Das Paper beansprucht, die Lücke zwischen skalierbarer GP-Regression und den strengen Sicherheitsanforderungen der lernbasierten MPC zu schließen. Durch die Bereitstellung eines skalierbaren Frameworks, das die Ableitung einheitlicher Unsicherheitsgrenzen ermöglicht, erlaubt der DTF-GP den Einsatz sicherer lernbasierter Regler in Szenarien mit großen Datensätzen, in denen exakte GP-Inferenz unpraktikabel ist. Die Autoren betonen, dass ihre Methode die theoretischen Sicherheitsgarantien von vollständigen GPs (hochwahrscheinliche einheitliche Grenzen) beibehält und gleichzeitig die rechnerische Handhabbarkeit endlich-dimensionaler Approximationen bietet. Die Arbeit wird als Schritt präsentiert, um die sichere datengetriebene Regelung für komplexe Systeme mit erheblicher Modellabweichung und hoher Datenverfügbarkeit praktikabel zu machen.

Mehr davon