Technische Samenvatting: Goed gedefinieerde KL-geregulariseerde Controle via Wasserstein en Kalman–Wasserstein KL-divergenties

1. Probleemstelling

De Kullback-Leibler (KL) divergentie is een standaard regularisator in reinforcement learning (RL) en optimale controle, voorkomend in lineair oplosbare Markov-beslissingsprocessen, path-integral controle en trust-region methoden. Echter, de klassieke KL-divergentie vertoont een kritiek pathologisch gedrag in regimes met lage ruis. Wanneer gecontroleerde dynamica wordt vergeleken met passieve dynamica met kleine Gaussische procesruis, reduceert de KL-straf tot een kwadratische controlekosten waarvan de coëfficiënt omgekeerd evenredig is aan de covariantie van de ruis. Naarmate de ruiscovariantie verdwijnt (het deterministische limiet), divergeert deze straf naar oneindig, wat het geregulariseerde controleprobleem singular maakt. Deze "lage-variantie instabiliteit" zorgt ervoor dat optimale feedback-gains verdwijnen, wat leidt tot slechte closed-loop prestaties en instabiliteit in deterministische of bijna-deterministische settings.

Bovendien is de klassieke KL-divergentie gedefinieerd via Fisher–Rao-geometrie, wat intrinsiek is aan de statistische manifold maar de geometrie van de onderliggende toestandsruimte negeert. Bijgevolg reageert KL discontinu op mismatches in de ondersteuning (bijv. $KL(\delta_x | \delta_y) = \infty$ voor elke $x \neq y$), waardoor de afstand tussen toestanden niet wordt gecodeerd.

2. Methodologie

De auteurs stellen een verenigd informatie-geometrisch kader voor om "toestandsruimte-bewuste" KL-analogen te construeren. De kernmethodologie behelst het vervangen van de Fisher–Rao-geometrie in de dynamische formulering van de KL-divergentie door transport-gebaseerde geometrieën.

2.1 Geometrisch Kader

Het artikel definieert een algemene klasse van divergenties, $D_G$, gebaseerd op een Riemanniaanse geometrie $G$ op de manifold van waarschijnlijkheidsdensiteiten.

• Dynamische Formulering: De divergentie wordt gedefinieerd als een tijd-gewogen actie-integraal langs $G$-duale geodesen:
  $$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$$
  waarbij $\gamma$ een $G$-duale geodees is.
• Geometrische Keuzes: De auteurs onderzoeken het vervangen van de Fisher–Rao-metriek ($G=FR$) door:
  • Wasserstein-2 ($G=O$): Otto's metriek, die de geometrie van de toestandsruimte codeert.
  • Lineaire Wasserstein ($G=\dot{H}^{-1}$): Een vlakke structuur.
  • Kalman–Wasserstein ($G=KW$): Een metriek die een regularisatieparameter $\lambda$ en covariantie-informatie incorporeert.
  • Stein Geometrie: Gebruikmakend van een bilineair kernel.

2.2 Theoretische Afleiding

• Duale Geodesen: De auteurs karakteriseren $G$-duale geodesen als metriek-gradiëntstromen van een potentiaalenergie-functionaal.
• Gesloten Vormen: Zij leiden expliciete formules af voor deze divergenties tussen elliptische distributies (een klasse die Gaussische en Student's $t$-verdelingen omvat).
  • Voor het Wasserstein-geval ($WKL$) blijft de divergentie eindig, zelfs wanneer covarianties degenereren.
  • Voor het Kalman–Wasserstein geval ($KWKL$) incorporeert de divergentie een "ruisvloer" via een regularisatieparameter $\lambda$, wat effectief interporeert tussen de klassieke KL en de Wasserstein KL.

2.3 Toepassing op Controle

De voorgestelde divergenties worden toegepast als regularisatoren in Linear Quadratic Regulator (LQR) problemen met Gaussische procesruis.

• Regularisatie Term: De divergentie tussen de gecontroleerde transitie-distributie $p_t$ en de ongecontroleerde distributie $p_0$ levert een additieve kwadratische controle-straf $u_t^\top R_\circ u_t$ op.
• Controle Strafkosten:
  • Klassieke KL ($FR$):$R_{FR} = B^\top \Sigma_w^{-1} B$ (singulier als $\Sigma_w \to 0$).
  • Wasserstein ($O$): $R_O = B^\top B$ (onafhankelijk van ruis).
  • Kalman–Wasserstein ($KW$):$R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B$ (eindig als $\Sigma_w \to 0$).

3. Belangrijkste Bijdragen

1. Algemene Constructie: Introductie van $G$-duale geodesen en de bijbehorende divergentie $D_G$ voor willekeurige geometrieën, waarbij de klassieke KL wordt teruggevonden voor Fisher–Rao en varianten met toestandsruimte-bewustzijn voor transport-geometrieën.
2. Gradiëntstroom Karakterisering: Bewijs dat $G$-duale geodesen overeenkomen met metriek-gradiëntstromen van potentiaalenergie, wat de divergenties verbindt met geometrische optimalisatie en mean-field neurale netwerkdynamica.
3. Expliciete Formules: Afleiding van gesloten vorm-expressies voor $D_G$ tussen elliptische distributies in Wasserstein, lineaire Wasserstein en Kalman–Wasserstein geometrieën. Deze formules demonstreren expliciet hoe transport-gebaseerde geometrieën toestandsruimte-informatie incorporeren die afwezig is in klassieke KL.
4. Goed Gedefinieerde Controle: Demonstratie dat in LQR-settings Wasserstein en Kalman–Wasserstein regularisatoren eindig blijven wanneer procesruis verdwijnt, wat leidt tot goed gedefinieerde optimale controleproblemen waar klassieke KL faalt.
5. Empirische Validatie: Analyse van dubbele integrator en cart-pole systemen die aantonen dat de voorgestelde methoden niet-triviale feedback behouden en betere closed-loop prestaties bereiken in scenario's met lage ruis vergeleken met KL-geregulariseerde controles.

4. Resultaten

• Theoretische Limieten: In het limiet van verdwijnende ruis ($\Sigma_w \to 0$), convergeert de optimale feedback-gain voor klassieke KL-regularisatie ($F_{FR}$) naar nul, wat effectief de controle verwijdert. In contrast hiermee convergeert de Kalman–Wasserstein gain ($F_{KW}$) naar een niet-nul limiet (specifiek $F_O$), waardoor stabiliserende feedback behouden blijft.
• Interpolatie: De Kalman–Wasserstein divergentie ($D_{KW}$) fungeert als een vloeiende interpolatie tussen klassieke KL (hoge ruis) en Wasserstein KL (lage ruis), gestuurd door de parameter $\lambda$.
• Stabiliteit: Experimenten op een dubbele integrator tonen aan dat naarmate de ruis afneemt, KL-geregulariseerde controllers de stabiliteitsgrens naderen (spectrale radius $\to 1$), wat leidt tot grote oscillaties. WKL en KWKL controllers houden spectrale radii ruim onder 1, wat stabiliteit garandeert.
• Anisotrope Ruis: In scenario's met anisotrope ruis past KWKL zich directioneel aan, waarbij het dimensies met lage ruis behandelt zoals WKL (ruisschaal negerend) en dimensies met hoge ruis zoals KL (ruis schaalend), terwijl KL de controle volledig onderdrukt in dimensies met lage ruis.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde toestandsruimte-bewuste divergenties een principiële oplossing bieden voor de lage-ruis degeneratie van KL-regularisatie zonder dat een volledige herziening van RL-algoritmen nodig is. Door de Fisher–Rao-geometrie te vervangen door transport-gebaseerde geometrieën, bereiken de auteurs:

• Robuustheid: Controleproblemen blijven goed gedefinieerd in het deterministische limiet.
• Geometrische Consistentie: De regularisatoren respecteren de onderliggende geometrie van de toestandsruimte, waardoor het discontinue gedrag van KL met betrekking tot support mismatches wordt vermeden.
• Praktisch Nut: De afgeleide gesloten vorm-expressies maken directe integratie mogelijk in standaard LQR en Gaussische policy frameworks die gebruikt worden in continue controle.

De auteurs positioneren dit werk als een geometrisch kader voor het construeren van KL-type divergenties in plaats van een volledig deep RL algoritme. Zij suggereren dat hoewel het geval gevalideerd is in de tractabele LQR-setting, de volgende logische stap een empirische evaluatie is in model-vrije en model-gebaseerde reinforcement learning. Dit werk wordt gefinancierd door de Europese Onderzoeksraad (ERC) onder het NEITALG-project.