⚡ electrical engineering

Trajectory-Regularized Stochastic Optimal Control via KL Divergence

Dieses Paper führt die Trajektorien-regulierte stochastische optimale Regelung (TRSOC) ein, ein Framework, das eine Kullback-Leibler-Divergenz-Strafe zwischen den kontrollierten und den Referenz-Trajektorienverteilungen integriert, um die laufenden Kosten zu modifizieren, während die Struktur der dynamischen Programmierung erhalten bleibt, was geschlossene Lösungen in linear-quadratischen Settings liefert und einen abstimmbaren Kompromiss zwischen Leistung und Referenztreue ermöglicht.

Ursprüngliche Autoren: Mintae Kim, Koushil Sreenath

Veröffentlicht 2026-07-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mintae Kim, Koushil Sreenath

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch einen belebten, regnerischen Park zu laufen. Sie möchten, dass der Roboter so schnell wie möglich zu einer bestimmten Bank gelangt, aber der Boden ist rutschig und der Wind unvorhersehbar. Dies ist die Welt der Stochastischen Optimalen Steuerung (SOC). Denken Sie bei „stochastisch“ an ein schickes Wort für „voller zufälliger Überraschungen“, und „optimale Steuerung“ ist die Mathematik, die verwendet wird, um den bestmöglichen Pfad zu finden, wenn man nicht genau vorhersagen kann, was als Nächstes passiert. Normalerweise geht es bei diesen mathematischen Problemen nur um eine Sache: das Ziel mit dem geringsten Aufwand oder in der kürzesten Zeit zu erreichen.

Doch in der realen Welt haben wir oft einen „Geist“ einer bevorzugten Art der Bewegung. Vielleicht wurde der Roboter von einem Menschen trainiert, der langsam und vorsichtig ging, oder wir haben einen Haufen alter Videodaten, die zeigen, wie sich ein sicherer Roboter früher verhalten hat. Die Standardmathematik ignoriert diesen „Geist“ oft und konzentriert sich nur auf die schnellste Route, was dazu führen kann, dass der Roboter zuckend oder unsicher agiert. Diese Arbeit stellt eine einfache Frage: Können wir den Roboter lehren, schnell zu sein, aber auch höflich nah an der Art zu bleiben, wie er sich früher bewegt hat? Die Autoren stellen eine neue Methode namens Trajektorien-Regularisierte Stochastische Optimale Steuerung (TRSOC) vor. Sie verwenden ein mathematisches Werkzeug namens KL-Divergenz (denken Sie an ein „Distanzmesser“ für ganze Pfade, nicht nur für einzelne Schritte), um die zufälligen Bewegungen des Roboters sanft in die Nähe eines Referenzmusters zu lenken, ohne ihn dazu zu zwingen, diesem Muster exakt zu folgen.

Die große Idee des Papers: Der „Geist“ in der Maschine

Die Autoren, Mintae Kim und Koushil Sreenath, schlagen einen cleveren Weg vor, zwei konkurrierende Wünsche zu mischen: die Aufgabe gut zu erledigen (Performance) und sich wie die alte, sichere Version zu verhalten (Referenz).

Stellen Sie sich vor, Sie fahren ein Auto. Das „Performance“-Ziel ist es, in 10 Minuten zum Supermarkt zu kommen. Das „Referenz“-Verhalten ist die Art, wie Ihre vorsichtige Großmutter fährt: Sie fährt nie zu schnell, sie setzt immer den Blinker und sie nimmt weite Kurven. Die Standard-Fahr-Mathematik würde Ihnen sagen, Sie sollen Ihre Großmutter ignorieren und so schnell fahren, wie es die Verkehrsregeln erlauben. TRSOC fügt jedoch eine „Höflichkeitsstrafe“ hinzu. Es sagt: „Du kannst schnell fahren, aber wenn du anfängst, wild zu schwanken oder die Gewohnheiten deiner Großmutter zu ignorieren, bekommst du eine Strafe.“

Der magische Trick in diesem Paper ist die Berechnung dieser „Strafe“. Normalerweise ist der Vergleich zweier ganzer Pfade (Trajektorien) unglaublich schwierig, so als würde man versuchen, zwei ganze Filme Frame für Frame zu vergleichen. Aber die Autoren nutzen einen berühmten mathematischen Satz namens Girsanov-Theorem, um dies zu vereinfachen. Sie zeigen, dass man, anstatt den ganzen Film zu vergleichen, nur auf den Drift schauen muss – also die Richtung, in die der Roboter sich in jedem einzelnen Moment bewegen will.

Wenn der Roboter versucht, sich in eine Richtung zu drücken, die sehr anders ist als das „Geist“-Referenzmodell, fügt die Mathematik eine quadratische Strafe hinzu. Denken Sie an dies wie an ein Gummiband. Wenn der Roboter versucht, vom Referenzpfad wegzuziehen, dehnt sich das Gummiband, und die Kosten (die „Strafe“) steigen. Je stärker das Gummiband (gesteuert durch eine Zahl namens $\lambda$ ) ist, desto schwieriger ist es für den Roboter, abzuweichen.

Die Ergebnisse: Den Sweet Spot finden

Das Paper schlägt diese Idee nicht nur vor; es beweist auch mathematisch, dass sie funktioniert, und testet sie mit Simulationen.

1. Der Kompromiss ist real
Die Autoren zeigen, dass man durch das Drehen am „Gummiband“-Regler ( $\lambda$ ) fließend zwischen zwei Extremen gleiten kann:

$\lambda = 0$ (Kein Gummiband): Der Roboter agiert rein nach Performance. Er findet den schnellsten, effizientesten Pfad, aber er könnte zuckend oder unberechenbar wirken.
$\lambda = \text{Riesig}$ (Super enges Gummiband): Der Roboter wird zum Nachahmer. Er folgt dem Referenzpfad fast perfekt, selbst wenn dieser Pfad nicht der schnellste ist.
Dazwischen: Der Robbot findet ein gesundes Mittelmaß. Er erledigt den Job, behält aber seine Bewegungen glatt und vertraut bei.

In ihren Experimenten verwendeten sie einen Roboter, der einer Acht-Schleifen-Spur folgen musste. Als sie die Regularisierung erhöhten, hörte der Roboter auf, scharfe, aggressive Korrekturen vorzunehmen, und begann statnach, dem glatten, kurvigen Pfad der Referenz zu folgen, obwohl der „schnellste“ Pfad etwas erratischer gewesen wäre.

2. Es funktioniert auch mit „Geist“-Daten
Einer der coolsten Teile ist, dass die „Referenz“ nicht unbedingt eine perfekte mathematische Formel sein muss. Die Autoren zeigten, dass man dem System Offline-Daten einspeisen kann – Aufnahmen eines sich bewegenden Roboters – und die Mathematik wird das „Geist“-Verhalten aus diesen Daten lernen.

Sie trainierten ein kleines neuronales Netzwerk, um zu erraten, wie sich der Referenzroboter bewegte.
Dann ließen sie das TRSOC-System diese Vermutung als Leitfaden nutzen.
Das Ergebnis? Der neue Roboter verhielt sich sehr ähnlich wie der Roboter in den Aufnahmen, was beweist, dass diese Methode aus realen Daten lernen kann, nicht nur aus perfekten Gleichungen.

3. Sicherheit und Stabilität
Das Paper untersucht auch, ob dieses „Gummiband“ den Roboter instabil macht. Überraschenderweise fanden sie heraus, dass das Hinzufügen dieser Regularisierung das System sogar stabiler machen kann. Indem aggressive, wilde Bewegungen bestraft werden, verhindert die Mathematik natürlich, dass der Roboter Risiken eingeht, die zum Kontrollverlust führen könnten. In ihren Simulationen blieb der Roboter innerhalb sicherer Grenzen, selbst wenn die Mathematik kompliziert wurde.

Was dies für die Zukunft bedeutet

Das Paper behauptet nicht, alle Steuerungsprobleme des Universums gelöst zu haben. Stattdessen bietet es ein neues, flexibles Werkzeug an. Es zeigt, dass man nicht zwischen „schnell und riskant“ oder „sicher und langsam“ wählen muss. Man kann ein System haben, das beides ist, indem man einen einzigen Parameter abstimmt.

Die Autoren legen nahe, dass dies für die Robotik, die von menschlichen Demonstrationen lernen muss (wie ein Roboterarm, der das Wäschefalten aus einem Video lernt), oder für selbstfahrende Autos, die lokale Fahrgewohnheiten respektieren müssen, während sie den Verkehr navigieren, von großer Bedeutung sein könnte. Durch die Verwendung dieser „Trajektorien-Regularisierung“ können Ingenieure Roboter bauen, die nicht nur effizient, sondern auch berechenbar und höflich sind – indem sie dem „Geist“ guten Verhaltens folgen, während sie gleichzeitig ihre Aufgabe erfüllen.

Kurz gesagt: TRSOC ist wie das Geben eines Gewissens an einen Roboter. Er will immer noch das Rennen gewinnen, aber er erinnert sich daran, wie er sich früher verhalten hat, und versucht einen Pfad zu finden, der sowohl seinen Ehrgeiz als auch seine Geschichte zufriedenstellt.

Technisches Resümee: Trajektorien-regularisierte stochastische optimale Regelung mittels KL-Divergenz

1. Problemformulierung

Die Arbeit adressiert eine Einschränkung der Standard-stochastischen optimalen Regelung (SOC), die sich ausschließlich auf die Minimierung der erwarteten kumulativen Kosten unter Unsicherheit konzentriert, ohne die Abweichung der resultierenden Systemdynamik von einem gewünschten Referenzverhalten zu beschränken. In vielen Anwendungen kodieren Referenzverhalten (z. B. passive Dynamiken, Basisregler oder aus Offline-Daten abgeleitete Verteilungen) wertvolle strukturelle Priorisierungen. Große Abweichungen von diesen Referenzen können zu instabilen (brittle) Policies führen.

Die Autoren schlagen die Trajektorien-regularisierte stochastische optimale Regelung (TRSOC) vor. Das Ziel ist es, eine Kostenfunktion zu minimieren, die die Aufgabenleistung mit der Nähe der kontrollierten Trajektorienverteilung zu einer Referenztrajektorienverteilung abwägt. Diese Nähe wird mittels der Kullback–Leibler-Divergenz (KL-Divergenz) zwischen den Wahrscheinlichkeitsgesetzen des kontrollierten Prozesses ( $P_u$ ) und des Referenzprozesses ( $P_0$ ) gemessen.

Das System wird als kontrollierter Diffusionsprozess modelliert:
$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$
wobei die Kontrolle $u_t$ über den Drift eintritt. Die Referenzdynamik teilt dieselbe Diffusionsmatrix $\sigma$ , besitzt jedoch einen anderen Drift $f_0$ .

2. Methodik

A. Reduktion der Trajektorien-KL auf lokale Kosten

Ein zentraler theoretischer Beitrag ist die Reduktion der Trajektorien-KL-Divergenz auf eine lokale, handhabbare laufende Kostenfunktion.

Girsanov-Theorem: Unter der Annahme, dass die Diffusionsmatrix $\sigma(x)$ invertierbar ist und der Drift-Mismatch die Novikov-Bedingung erfüllt, existiert die Radon–Nikodým-Ableitung zwischen den kontrollierten und den Referenzmaßen.
Lemma 1: Es wird gezeigt, dass die KL-Divergenz $KL(P_u \| P_0)$ über einen endlichen Horizont $[0, T]$ gleich dem Erwartungswert eines integralisierten quadratischen Drift-Mismatch-Penalties ist:
$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$
wobei $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$ .
Augmentierte laufende Kosten: Dieses Ergebnis ermöglicht es, die Trajektorien-Regularisierung direkt in das Standard-SOC-Framework als additiven Term zu den laufenden Kosten zu integrieren:
$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$
Hierbei ist $\lambda \geq 0$ der Regularisierungsparameter.

B. Dynamische Programmierung und HJB-Struktur

Da die KL-Regularisierung zu einem Integral einer laufenden Kostenfunktion reduziert wird, bewahrt das TRSOC-Problem die Markov-Eigenschaft und das Prinzip der dynamischen Programmierung (DP).

Die Wertfunktion $V(t, x)$ erfüllt die standardmäßige Hamilton–Jacobi–Bellman (HJB)-Gleichung:
$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$
wobei $\mathcal{L}_u$ der infinitesimale Generator der Diffusion ist.
Im Gegensatz zu „KL-Control“-Ansätzen, die direkt über Trajektorienmaße optimieren (was oft zu risikosensitiven Zielen und exponentieller Tilgung führt), bleibt TRSOC ein Standard-SOC-Problem mit augmentierten Kosten, was eine lineare Erwartung und eine standardmäßige HJB-Charakterisierung beibehält.

C. Struktur der optimalen Regelung (kontroll-affiner Fall)

Für Systeme mit kontroll-affiner Drift $f(x, u) = f_0(x) + B(x)u$ und quadratischen Kontrollkosten leiten die Autoren ein explizites optimales Feedback-Gesetz her.

Der KL-Term wirkt als zusätzlicher Kontroll-Penalty, der die effektive Kontroll-Gewichtsmatrix modifiziert:
$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$
Die optimale Kontrolle ist gegeben durch:
$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$
Diese Formulierung impliziert, dass Kontrollen, die große Drift-Änderungen in Richtungen mit geringem Rauschen induzieren, stärker bestraft werden.

D. Lineare-Quadratische (LQ) Spezialisierung

Im linearen-quadratischen Fall reduziert sich das Problem auf einen diskontierten Linear-Quadratic Regulator (LQR) mit einer modifizierten Kontroll-Gewichtsmatrix $\bar{R}$ . Die Lösung beinhaltet das Lösen einer modifizierten algebraischen Riccati-Gleichung (ARE), wobei der Regularisierungsparameter $\lambda$ direkt den Feedback-Gain beeinflusst, was zu einer konservativeren Regelung führt, wenn $\lambda$ steigt.

3. Zentrale Beiträge

TRSOC-Formulierung: Einführung eines verhaltens-regularisierten SOC-Frameworks, das Prior-Verhalten (nominale Regler oder datengestützte Baselines) über die Trajektorien-KL-Divergenz integriert.
Reduktion lokaler Kosten: Nachweis, dass unter Drift-Steuerung mit nicht-degenerierter Diffusion die Trajektorien-KL-Divergenz zu einem quadratischen Drift-Mismatch-Penalty reduziert wird. Dies bewahrt die DP-Struktur und ermöglicht eine standardmäßige HJB-Charakterisierung.
Charakterisierung der optimalen Policy: Ableitung expliziter optimaler Feedback-Gesetze für kontroll-affine Systeme und Analyse des LQ-Falls, wobei gezeigt wird, wie die Regularisierung die Kontrollkosten und Stabilitätseigenschaften modifiziert.
Stabilitätsanalyse: Beweis, dass die Trajektorien-Regularisierung die Dissipativität des geschlossenen Drift verbessern kann, was Lyapunov-Ungleichungen erleichtert und die mittlere quadratische Beschränktheit des Zustands sicherstellt.

4. Ergebnisse und Experimente

Die Arbeit validiert die theoretischen Erkenntnisse durch numerische Experimente an einem stochastischen Doppel-Integrator-System, das eine Achter-Trajektorie verfolgt.

Performance–Abweichungs-Trade-off: Experimente zeigen, dass der Regularisierungsparameter $\lambda$ $λ$ einen kontinuierlichen Trade-off induziert.
- Wenn $\lambda \to 0$ , verhält sich der Regler wie eine standardmäßige, leistungsgetriebene SOC, die eine niedrige Aufgabenkosten erreicht, aber potenziell signifikant vom Referenzverhalten abweicht.
- Wenn $\lambda \to \infty$ , zwingt der Regler den induzierten Drift zur Ausrichtung an der Referenzdynamik, wodurch die Abweichung minimiert wird, was jedoch auf Kosten der Aufgabenleistung geht.
Datengestütztes Referenzverhalten: Das Framework wird erfolgreich auf ein Szenario angewendet, in dem die Referenzdynamik aus Offline-Daten gelernt wurde (unter Verwendung eines neuronalen Netzes zur Approximation der Referenzbeschleunigung). Die Ergebnisse zeigen, dass TRSOC effektiv zwischen Aufgabenoptimierung und der Einhaltung des gelernten Referenzverhaltens abwägt.
Trajektorien-Geometrie: Visualisierungen der Trajektorien verdeutlichen, dass die Regularisierung auf die Geometrie der induzierten Dynamik wirkt. Regularisierte Regler erzeugen Trajektorien, die zwischen den aggressiven Korrekturen des unregularisierten optimalen Reglers und dem nominalen Referenzverhalten liegen, insbesondere in Bereichen mit hoher Krümmung.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass TRSOC eine fundierte Methode bietet, um Vorwissen oder Offline-Daten in die stochastische Regelung zu integrieren, ohne das standardmäßige DP/HJB-Framework aufzugeben.

Strukturelle Erhaltung: Im Gegensatz zu anderen Methoden der Trajektorien-Regularisierung, die möglicherweise eine Optimierung über Maße erfordern oder zu nicht-standardmäßigen risikosensitiven Zielen führen, bewahrt TRSOC die standardmäßige SOC-Struktur, was die Anwendbarkeit auf allgemeine nichtlineare Dynamiken ermöglicht.
Interpolation: Das Framework bietet eine Skalarisierung eines Multi-Objective-Optimierungsproblems (Aufgabenleistung vs. Referenzeinhaltung), was es Praktikern ermöglicht, das Verhalten des Reglers über einen einzelnen Parameter $\lambda$ zu steuern.
Robustheit: Die Methode zeigt sich robust gegenüber Approximationsfehlern, wenn die Referenzdynamik aus Daten gelernt wurde, was auf einen potenziellen Nutzen im Kontext von Offline-to-Online Reinforcement Learning und Imitation Learning hindeutet.

Die Arbeit schließt mit der Feststellung, dass Trajektorien-Regularisierung als eine „rauschbewusste“ Modifikation der Kontrollenergie fungiert, die Drift-Änderungen in Richtungen, in denen das System weniger stochastisch ist, stärker bestraft, und somit einen geometrisch intuitiven Mechanismus zum Ausgleich von Leistung und Sicherheit/Konsistenz bietet.