🔢 mathematics

Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences

Dieses Paper führt wohldefinierte KL-regularisierte Kontrollmethoden unter Verwendung von Wasserstein- und Kalman-Wasserstein-Divergenzen ein, um die der klassischen KL-Divergenz innewohnenden Singularitäts- und Support-Mismatch-Probleme zu lösen und dadurch eine stabile sowie leistungsstarke Feedback-Regelung in Rauschbereichen mit geringer Intensität zu ermöglichen.

Ursprüngliche Autoren: Viktor Stein, Adwait Datar, Nihat Ay

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Viktor Stein, Adwait Datar, Nihat Ay

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter das Gehen beizubringen. Um dies zu tun, vergleichen Sie zwei Szenarien: wie sich der Roboter tatsächlich bewegt, wenn Sie ihm einen Befehl geben, und wie er sich bewegen würde, wenn Sie ihn einfach von selbst driften ließen. Der Unterschied zwischen diesen beiden Bewegungen ist eine „Strafe“ (Penalty), die Sie Ihrem Training hinzufügen, um den Roboter davon abzuhalten, durchzudrehen.

Seit Jahrzehnten verwenden Wissenschaftler ein mathematisches Werkzeug namens KL-Divergenz, um diesen Unterschied zu messen. Betrachten Sie die KL-Divergenz als ein sehr strenges, altmodisches Lineal. Es funktioniert hervorragend, wenn der Roboter sich in einer verrauschten, chaotischen Umgebung bewegt (wie etwa beim Gehen an einem windigen, unebenen Tag). Aber, wie das Paper erklärt, hat dieses KL-Lineal einen fatalen Fehler: Es bricht völlig zusammen, wenn die Umgebung zu ruhig wird.

Wenn das „Rauschen“ (der Wind, die Unebenheiten) verschwindet und der Roboter sich in einer perfekt glatten, vorhersehbaren Welt befindet, versucht das KL-Lineal, eine Distanz zu messen, die unendlich groß wird. Es ist, als würde man versuchen, die Entfernung zwischen zwei Punkten auf einer Landkarte zu messen, die plötzlich zu einem einzigen Punkt geschrumpft ist; die Mathematik explodiert, und der Roboter hört vollständig auf zu lernen.

Die neue Lösung: Ein flexibles, „zustandsbewusstes“ Lineal

Die Autoren dieses Papers, Viktor Stein, Adwait Datar und Nihat Ay, schlagen einen neuen Weg vor, diesen Unterschied zu messen. Anstatt das alte, starre KL-Lineal zu verwenden, haben sie drei neue Arten von „Linealen“ basierend auf unterschiedlichen mathematischen Geometrien erfunden:

Wasserstein-Lineal: Dieses Lineal versteht den physischen Raum. Es weiß, dass die Bewegung des Roboters einen Zoll nach links eine kleine Änderung ist, selbst wenn die Mathematik besagt, dass die „Wahrscheinlichkeit“ dieser Bewegung anders ist. Es behandelt die Bewegung des Roboters wie das Eingießen von Wasser aus einem Becher in einen anderen und misst den tatsächlichen Aufwand, der erforderlich ist, um die „Masse“ zu bewegen.
Kalman-Wasserstein-Lineal: Dies ist ein Hybrid. Es ist wie das Wasserstein-Lineal, aber mit einem eingebauten Sicherheitsnetz. Es fügt ein wenig „imaginäres Rauschen“ hinzu, um die Mathematik stabil zu halten, selbst wenn die reale Welt vollkommen ruhig ist.
Linearisiertes Lineal: Eine vereinfachte Version, die gut für spezifische, symmetrische Formen funktioniert.

Die magische Analogie:
Stellen Sie sich vor, Sie schieben einen schweren Kasten über den Boden.

Der alte Weg (KL): Wenn der Boden perfekt glatt ist (keine Reibung/kein Rauschen), sagt das alte Lineal: „Du kannst diesen Kasten nicht schieben! Der Aufwand wäre unendlich!“ und Sie hören auf, es zu versuchen.
Der neue Weg (Wasserstein/Kalman): Diese neuen Lineale sagen: „Okay, der Boden ist glatt, aber du musst trotzdem ein wenig Kraft aufwenden, um ihn in Bewegung zu setzen.“ Sie halten das Problem lösbar, egal wie glatt der Boden auch wird.

Was sie tatsächlich getan haben

Das Paper beschreibt nicht nur Theorie; sie haben bewiesen, dass diese neuen Lineale in drei spezifischen Arten funktionieren:

Die Mathematik korrigiert: Sie haben gezeigt, dass sie für gängige Datenformen (wie die Glockenkurven, die in der Robotik verwendet werden) exakte Formeln für diese neuen Lineale aufstellen können. Entscheidend ist, dass diese Formeln niemals explodieren, wenn das Rauschniveau gegen Null geht.
Ein Kontrollproblem gelöst: Sie haben diese neuen Lineale an einem klassischen Kontrollproblem getestet, dem Linear Quadratic Regulator (LQR). Dies ist ein Standardtest für die Steuerung von Systemen wie einem Doppelpendel oder einem Wagen mit einem Stab obenauf.
- Wenn sie das alte KL-Lineal bei sehr geringem Rauschen verwendeten, gab der Controller (das „Gehirn“ des Robotors) auf und hörte auf zu reagieren. Der Roboter wurde instabil und wackelte wild umher.
- Als sie das neue Kalman-Wasserstein-Lineal verwendeten, arbeitete der Controller weiter. Er behielt einen stetigen, stabilen Griff auf den Roboter, selbst im „perfekt ruhigen“ Grenzfall.
Echtwelt-Beispiele: Sie testeten dies an einem „Double Integrator“ (einem einfachen Modell eines sich bewegenden Objekts) und einem „Cart-Pole“ (einem klassischen Balancierakt). In jedem Fall, in dem das Rauschen gering war, erzeugte die neue Methode glattere, stabilere Bewegungen als die alte Methode.

Das Fazit

Das Paper behauptet, dass wir durch den Austausch des alten, fragilen mathematischen Werkzeugs (KL-Divergenz) gegen diese neuen, „zustandsraum-bewussten“ Werkzeuge Kontrollsysteme bauen können, die nicht abstürzen, wenn die Welt zu vorhersehbar wird.

Sie behaupten nicht, bereits einen neuen Roboter oder einen neuen KI-Algorithmus für selbstfahrende Autos gebaut zu haben. Stattdessen haben sie eine bessere mathematische Grundlage (einen neuen Weg, „Differenz“ und „Aufwand“ zu messen) geliefert, die verhindert, dass Kontrollsysteme in Situationen mit geringem Rauschen zusammenbrechen. Sie haben demonstriert, dass diese neue Grundlage zu einer besseren, stabileren Leistung in Standard-Kontrolltests führt.

Technisches Resümee: Wohldefinierte KL-regularisierte Steuerung über Wasserstein- und Kalman–Wasserstein-Divergenzen

1. Problemstellung

Die Kullback–Leibler-Divergenz (KL-Divergenz) ist ein Standard-Regularisierer in der Reinforcement Learning (RL) und der optimalen Steuerung, der in linear lösbaren Markov-Entscheidungsprozessen, Path-Integral-Steuerungen und Trust-Region-Methoden auftritt. Die klassische KL-Divergenz weist jedoch in Regimen mit geringem Rauschen eine kritische Pathologie auf. Beim Vergleich kontrollierter Dynamiken mit passiven Dynamiken bei kleinem Gaußschem Prozessrauschen reduziert sich der KL-Penalty auf einen quadratischen Steuerungskosten-Term, dessen Koeffizient invers mit der Rauschkovarianz skaliert. Wenn die Rauschkovarianz gegen Null geht (der deterministische Grenzwert), divergiert dieser Penalty gegen Unendlich, was das regularisierte Steuerungsproblem singulär macht. Diese „Low-Variance-Instabilität“ führt dazu, dass die optimalen Feedback-Gains verschwinden, was eine schlechte Closed-Loop-Performance und Instabilität in deterministischen oder nahezu deterministischen Settings zur Folge hat.

Darüber hinaus ist die klassische KL-Divergenz über die Fisher–Rao-Geometrie definiert, welche zwar intrinsisch für die statistische Mannigfaltigkeit ist, aber die Geometrie des zugrunde liegenden Zustandsraums ignoriert. Folglich reagiert die KL-Divergenz diskontinuierlich auf Support-Mismatches (z. B. $KL(\delta_x | \delta_y) = \infty$ für jedes $x \neq y$ ) und versäumt es, den Abstand zwischen Zuständen zu kodieren.

2. Methodik

Die Autoren schlagen einen vereinheitlichten informationstheoretischen Rahmen vor, um „zustandsraum-bewusste“ KL-Analoga zu konstruieren. Die Kernmethodik besteht darin, die Fisher–Rao-Geometrie in der dynamischen Formulierung der KL-Divergenz durch transportbasierte Geometrien zu ersetzen.

2.1 Geometrischer Rahmen

Das Paper definiert eine allgemeine Klasse von Divergenzen, $D_G$ , basierend auf einer Riemannschen Geometrie $G$ auf der Mannigfaltigkeit der Wahrscheinlichkeitsdichten.

Dynamische Formulierung: Die Divergenz wird als zeitgewichtetes Aktionsintegral entlang von $G$ -dualen Geodäten definiert:
$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$
wobei $\gamma$ eine $G$ -duale Geodäte ist.
Geometrische Auswahlmöglichkeiten: Die Autoren untersuchen den Ersatz der Fisher–Rao-Metrik ($G=FR$) durch:
- Wasserstein-2 ( $G=O$ ): Otto-Metrik, die die Geometrie des Zustandsraums kodiert.
- Linearisierte Wasserstein ( $G=\dot{H}^{-1}$ ): Eine flache Struktur.
- Kalman–Wasserstein ($G=KW$): Eine Metrik, die einen Regularisierungsparameter $\lambda$ und Kovarianzinformationen einbezieht.
- Stein-Geometrie: Verwendung eines bilinearen Kernels.

2.2 Theoretische Herleitung

Duale Geodäten: Die Autoren charakterisieren $G$ -duale Geodäten als metrische Gradientenflüsse eines Potenzialenergie-Funktionals.
Geschlossene Formen: Sie leiten explizite Formeln für diese Divergenzen zwischen elliptischen Verteilungen (eine Klasse, die Gauß- und Student- $t$ $t$ -Verteilungen umfasst) her.
- Im Fall der Wasserstein-Divergenz ($WKL$) bleibt die Divergenz auch dann endlich, wenn die Kovarianzen degenerieren.
- Im Fall der Kalman–Wasserstein-Divergenz ($KWKL$) beinhaltet die Divergenz über einen Regularisierungsparameter $\lambda$ einen „Rauschboden“, was effektiv zwischen der klassischen KL- und der Wasserstein-KL-Divergenz interpoliert.

2.3 Anwendung auf die Steuerung

Die vorgeschlagenen Divergenzen werden als Regularisierer in LQR-Problemen (Linear Quadratic Regulator) mit Gaußschem Prozessrauschen angewendet.

Regularisierungsterm: Die Divergenz zwischen der kontrollierten Übergangsverteilung $p_t$ und der unkontrollierten Verteilung $p_0$ ergibt einen additiven quadratischen Steuerungskosten-Term $u_t^\top R_\circ u_t$ .
Steuerungskosten (Control Penalties):
- Klassische KL ($FR $):$ R_{FR} = B^\top \Sigma_w^{-1} B$ (singulär, wenn $\Sigma_w \to 0$ ).
- Wasserstein ( $O$ ): $R_O = B^\top B$ (unabhängig vom Rauschen).
- Kalman–Wasserstein ($KW $):$ R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B$ (endlich, wenn $\Sigma_w \to 0$ ).

3. Zentrale Beiträge

Allgemeine Konstruktion: Einführung von $G$ -dualen Geodäten und der damit verbundenen Divergenz $D_G$ für beliebige Geometrien, wodurch die klassische KL für Fisher–Rao sowie zustandsraum-bewusste Varianten für Transportgeometrien wiederhergestellt wird.
Charakterisierung des Gradientenflusses: Beweis, dass $G$ -duale Geodäten den metrischen Gradientenflüssen einer Potenzialenergie entsprechen, was die Verbindung zwischen Divergenzen, geometrischer Optimierung und Mean-Field-Neuronalen-Netzwerk-Dynamiken herstellt.
Explizite Formeln: Ableitung geschlossener Formeln für $D_G$ zwischen elliptischen Verteilungen in Wasserstein-, linearisierten Wasserstein- und Kalman–Wasserstein-Geometrien. Diese Formeln zeigen explizit auf, wie transportbasierte Geometrien die im klassischen KL fehlenden Zustandsraum-Informationen integrieren.
Wohldefinierte Steuerung: Demonstration, dass in LQR-Settings Wasserstein- und Kalman–Wasserstein-Regularisierer endlich bleiben, wenn das Prozessrauschen verschwindet, wodurch wohldefinierte optimale Steuerungsprobleme entstehen, bei denen die klassische KL versagt.
Empirische Validierung: Analyse von Doppelintegrator- und Cart-Pole-Systemen, die zeigen, dass die vorgeschlagenen Methoden nicht-triviales Feedback bewahren und im Niedrigrausch-Regime eine bessere Closed-Loop-Performance im Vergleich zur KL-regularisierten Steuerung erzielen.

4. Ergebnisse

Theoretische Grenzwerte: Im Grenzwert verschwindenden Rauschens ( $\Sigma_w \to 0$ ) konvergiert der optimale Feedback-Gain für die klassische KL-Regularisierung ( $F_{FR}$ ) gegen Null, was die Steuerung effektiv entfernt. Im Gegensatz dazu konvergiert der Kalman–Wasserstein-Gain ( $F_{KW}$ ) gegen einen endlichen Grenzwert (speziell $F_O$ ) und bewahrt somit ein stabilisierendes Feedback.
Interpolation: Die Kalman–Wasserstein-Divergenz ( $D_{KW}$ ) fungt als glatte Interpolation zwischen der klassischen KL (hohes Rauschen) und der Wasserstein-KL (geringes Rauschen), gesteuert durch den Parameter $\lambda$ .
Stabilität: Experimente an einem Doppelintegrator zeigen, dass die Steuerung bei abnehmendem Rauschen der Stabilitätsgrenze (Spektralradius $\to 1$ ) näher kommt, was zu großen Oszillationen führt. WKL- und KWKL-Steuerungen halten den Spektralradius deutlich unter 1 und gewährleisten so die Stabilität.
Anisotropes Rauschen: In Szenarien mit anisotropem Rauschen passt sich KWKL richtungsabhängig an, indem es Dimensionen mit geringem Rauschen wie WKL (unter Ignorieren der Rauschskala) und Dimensionen mit hohem Rauschen wie KL (unter Skalierung mit dem Rauschen) behandelt, während KL die Steuerung in Dimensionen mit geringem Rauschen vollständig unterdrückt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die vorgeschlagenen zustandsraum-bewussten Divergenzen eine fundierte Lösung für die Degeneration der KL-Regularisierung bei geringem Rauschen bieten, ohne eine vollständige Überarbeitung von RL-Algorithmen zu erfordern. Durch den Ersatz der Fisher–Rao-Geometrie durch transportbasierte Geometrien erreichen die Autoren:

Robustheit: Steuerungsprobleme bleiben im deterministischen Grenzwert wohldefiniert.
Geometrische Konsistenz: Die Regularisierer respektieren die zugrunde liegende Geometrie des Zustandsraums und vermeiden das diskontinuierliche Verhalten der KL bezüglich Support-Mismatches.
Praktischer Nutzen: Die abgeleiteten geschlossenen Formeln ermöglichen eine unmittelbare Integration in Standard-LQR- und Gaußsche Policy-Frameworks, die in der kontinuierlichen Steuerung verwendet werden.

Die Autoren positionieren diese Arbeit als einen geometrischen Rahmen zur Konstruktion von KL-Typ-Divergenzen und nicht als einen vollständigen Deep-RL-Algorithmus. Sie deuten an, dass die nächste logische Phase nach der Validierung im handhabbaren LQR-Setting die empirische Evaluierung in Model-Free und Model-Based Reinforcement Learning ist. Die Arbeit wird durch den Europäischen Forschungsrat (ERC) im Rahmen des NEITALG-Projekts gefördert.