Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

Stellen Sie sich vor, Sie müssten ein Schiff durch einen Sturm steuern, ohne eine Karte, einen Kompass oder auch nur eine klare Sicht auf den Horizont zu haben. Sie können nur sehen, wie die Wellen gegen den Rumpf schlagen, und den Wind spüren, der in Ihr Gesicht weht. Dies ist die Realität für viele Ingenieure und Wissenschaftler, die komplexe Maschinen steuern müssen – von autonomen Fahrzeugen bis hin zu Stromnetzen –, wenn sie kein vollständiges mathematisches Modell darüber besitzen, wie diese Systeme funktionieren. Anstatt sich auf einen perfekten Bauplan zu verlassen, müssen sie durch Ausprobieren lernen: beobachten, wie das System auf verschiedene Eingaben reagiert, die Kosten von Fehlern aufzeichnen und schrittweise eine Strategie zusammenbauen, die funktioniert. Jahrzehntelang bot ein mächtiges mathematisches Werkzeug namens linearer Programmierung eine Möglichkeit, in solchen Situationen die bestmögliche Strategie zu finden. Dieses Werkzeug hat jedoch einen berüchtigten Fehler: Wenn die Anzahl der Variablen, die das System beschreiben, wächst, geraten die Berechnungen oft außer Kontrolle und liefern Antworten, die unendlich groß und daher nutzlos sind. Es ist, als versuche man, eine Waage mit Gewichten zu balancieren, die immer schwerer werden, bis der Balken bricht.

Einem Forscherteam der ETH Zürich ist es gelungen, diese Waage im Gleichgewicht zu halten, selbst wenn das System komplex und die Daten knapp sind. Sie entwickelten eine neue Methode, um die mathematische Suche nach einer optimalen Steuerungsstrategie zu leiten und sicherzustellen, dass die Lösung endlich und praktikabel bleibt. Durch den Einsatz einer Technik namens Momentenabgleich (Moment-Matching), bei der im Wesentlichen die mathematische „Form“ der gewünschten Lösung mit den Mustern der beobachteten Daten abgeglichen wird, können sie garantieren, dass der Computer eine stabile Antwort findet. Ihre Arbeit legt nahe, dass es möglich ist, Regler für hochdimensionale, nichtlineare Systeme zu entwerfen – Maschinen mit vielen beweglichen Teilen und komplexen Verhaltensweisen – indem man nur eine begrenzte Menge an Daten verwendet, ohne die zugrunde liegende Physik des Systems im Voraus kennen zu müssen. Dieser Ansatz verwandelt eine theoretische Möglichkeit in ein zuverlässiges technisches Werkzeug und öffnet die Tür für intelligentere, adaptivere Steuerungssysteme für die reale Welt.

Die zentrale Herausforderung, die die Forscher adressierten, ist die Schwierigkeit, diese mathematischen Berechnungen davon abzuhalten, „davonzulaufen“. In der Welt der optimalen Steuerung besteht das Ziel darin, einen Satz von Regeln zu finden, der einer Maschine zu jedem Zeitpunkt sagt, was sie tun soll, um eine Kostenfunktion zu minimieren, wie etwa den Energieverbrauch oder die Fahrzeit. Wenn das System einfach ist, funktionieren Standardmethoden gut. Aber wenn das System komplex ist, mit vielen Dimensionen wie Position, Geschwindigkeit und Beschleunigung, die alle miteinander interagieren, explodiert die Anzahl der möglichen Szenarien. Die Forscher stellten fest, dass frühere Versuche, dies unter Verwendung datengesteuerter Methoden zu lösen, oft scheiterten, weil das mathematische Problem unbeschränkt wurde. Das bedeutet, dass der Computer versuchte, eine Lösung zu finden, die unendlich groß wurde, was effektiv die Berechnung zum Absturz brachte. Während einige frühere Methoden versuchten, dies zu beheben, indem sie künstliche Nebenbedingungen oder Regularisierungen hinzufügten, verzerrten diese oft das Endergebnis und machten den Regler weniger effektiv. Andere stützten sich auf riesige Datenmengen, was in der realen Welt, in der Experimente teuer oder gefährlich sind, oft unmöglich ist.

Um dies zu lösen, führten die Autoren eine Methode ein, die die Daten selbst nutzt, um die Grenzen der Suche zu definieren. Anstatt zu raten, wo die Lösung liegen sollte, betrachteten sie die spezifischen Muster in den Daten, die aus den Bewegungen des Systems gesammelt wurden. Sie behandelten die Daten als eine Sammlung von Punkten in einem hochdimensionalen Raum und stellten eine einfache Frage: Können wir eine Richtung für unsere Suche finden, die durch diese Punkte gestützt wird? Wenn die Suchrichtung mit dem „Kegel“ der Möglichkeiten übereinstimmt, der durch die Daten erzeugt wird, ist garantiert, dass die Berechnung endlich bleibt. Sie zeigten, dass sie durch die sorgfältige Auswahl eines Kostenvektors – eines mathematischen Gewichts, das dem Computer sagt, was er priorisieren soll – basierend auf den beobachteten Daten sicherstellen konnten, dass die Lösung beschränkt bleibt. Dies ist vergleichbar mit der Festlegung eines Ziels für eine Reise, das angesichts des bereits kartierten Geländes garantiert erreichbar ist, anstatt auf einen Punkt zu zielen, der sich möglicherweise am Rand der Welt befindet.

Die Forscher testeten diese Idee an zwei sehr unterschiedlichen Arten von Systemen. Zuerat untersuchten sie lineare zeitinvariante Systeme, also Maschinen, die sich auf eine vorhersehbare, geradlinige Weise verhalten. Sie simulierten diese Systeme mit zunehmender Komplexität, von kleinen Aufbauten bis hin zu Systemen mit dreißig verschiedenen Zustandsvariablen. In diesen Tests verglichen sie ihre neue Methode mit einem Standardansatz, der einen festen, unveränderlichen Kostenvektor verwendet. Die Ergebnisse waren beeindruckend: Während die Standardmethode bei Systemen mit mehr als zwei Zustandsvariablen keine Lösung fand, fand ihr Momentenabgleich-Ansatz erfolgreiche endliche Lösungen für Systeme mit bis zu dreißig Variablen, selbst wenn nur fünfhundert Datenpunkte verwendet wurden. Die von ihnen erlernten Regler waren nahezu perfekt und lagen innerhalb von einem Prozent des theoretisch bestmöglichen Ergebnisses.

Als Nächstes wagten sie sich in viel schwierigeres Terrain vor: nichtlineare mechanische Systeme. Dies sind Maschinen, bei denen die wirkenden Kräfte nicht einfachen Geraden folgen; zum Beispiel ein System mit elastischen Kopplungen, nichtlinearer Gravitation und einem Widerstand, der mit der Kubik der Geschwindigkeit zunimmt. Diese Systeme sind notorisch schwer zu steuern, da kleine Änderungen zu völlig unterschiedlichen Verhaltensweisen führen können. Die Forscher simulierten diese Systeme mit bis zu zehn Dimensionen und fanden heraus, dass ihre Methode immer noch stabile Lösungen finden konnte, während der Standardansatz scheiterte. In einer spezifischen Simulation steuerten sie ein vierdimensionales System, das von Natur aus instabil war, was bedeutet, dass es ohne Intervention auseinanderfallen würde. Der von ihnen gelernte Regler steuerte das System erfolgreich zu einem stabilen Gleichgewicht und hielt es im Gleichgewicht, während eine ungesteuerte Version desselben Systems wegdriftete. Der Schlüssel zu diesem Erfolg lag nicht in mehr Daten, sondern in einer klügeren Nutzung der vorhandenen Daten. Indem sie die Momente der Daten abglichen – im Wesentlichen die Durchschnittswerte und die Streuung der beobachteten Verhaltensweisen –, konnten sie eine Kostenfunktion konstruieren, die das mathematische Problem lösbar hielt.

Die Schönheit dieses Ansatzes liegt in seiner Effizienz und in seiner Abhängigkeit von den vorhandenen Daten. Die Forscher zeigten, dass die Methode auch dann funktioniert, wenn die Anzahl der Datenpunkte im Verhältnis zur Komplexität des Systems klein ist. Sie fanden heraus, dass sie durch die Vergrößerung eines Hilfspools von Stichprobenpunkten die Chancen verbesserten, eine Lösung für noch größere Systeme zu finden. Dies deutet darauf hin, dass der Engpass nicht die Menge der Daten ist, sondern wie diese Daten interpretiert werden. Die Methode erfordert nicht, dass das System linear ist oder die Dynamik bekannt ist; sie erfordert lediglich, dass die gesammelten Daten genügend Informationen liefern, um die Form des Problems zu definieren. Die Rechenkosten für die Einrichtung dieser Methode sind gering und umfassen nur einen Satz linearer Gleichungen, die schnell auf einem Standardcomputer gelöst werden können.

Letztendlich bietet diese Arbeit einen praktischen Weg für die datengesteuerte Steuerung in hochdimensionalen Räumen. Sie führt das Feld weg von der Vorstellung, dass wir massive Datensätze oder perfekte Modelle benötigen, um komplexe Maschinen zu steuern. Stattdessen zeigt sie, dass mit dem richtigen mathematischen Rahmen ein relativ kleiner Datensatz ausreicht, um einen Regler abzuleiten, der sowohl stabil als auch effektiv ist. Die Forscher weisen vorsichtig darauf hin, dass ihre Simulationen zwar vielversprechend sind, die Methode derzeit jedoch für deterministische Systeme mit polynomischen Merkmalen nachgewiesen wurde. Sie sehen eine Zukunft, in der diese Technik auf stochastische Systeme, in denen die Zufälligkeit eine größere Rolle spielt, und auf noch komplexere Arten von Funktionen ausgeweitet wird. Für den Moment haben sie jedoch demonstriert, dass der Fluch der Dimensionalität, der diese Arten von Berechnungen lange Zeit geplagt hat, gebändigt werden kann. Indem sie sicherstellen, dass die Suche nach der besten Steuerungsstrategie in der Realität der beobachteten Daten verwurzelt bleibt, haben sie ein theoretisches Konzept in ein Werkzeug verwandelt, das dazu genutzt werden kann, bessere, sicherere und intelligentere Maschinen zu bauen.