Technische Samenvatting: Traject-geregulariseerde Stochastische Optimale Controle via KL-divergentie

1. Probleemformulering

Het artikel behandelt een beperking in standaard Stochastische Optimale Controle (SOC), die zich uitsluitend richt op het minimaliseren van de verwachte cumulatieve kosten onder onzekerheid, zonder de mate te beperken waarin de resulterende systeemdynamica afwijkt van een gewenst referentiegedrag. In veel toepassingen bevatten referentiegewoonten (bijv. passieve dynamica, baseline-controllers of distributies afgeleid van offline data) waardevolle structurele priors. Grote afwijkingen van deze referenties kunnen leiden tot fragiele policies.

De auteurs stellen Traject-geregulariseerde Stochastische Optimale Controle (TRSOC) voor. Het doel is om een kostenfunctie te minimaliseren die een balans vindt tussen taakprestaties en de nabijheid van de gecontroleerde trajectdistributie tot een referentietrajectdistributie. Deze nabijheid wordt gemeten met behulp van de Kullback–Leibler (KL) divergentie tussen de waarschijnlijkheidswetten van het gecontroleerde proces ($P_u$) en het referentieproces ($P_0$).

Het systeem wordt gemodelleerd als een gecontroleerd diffusieproces:
$$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$$
waarbij de controle $u_t$ binnen de drift valt. De referentiedynamica deelt dezelfde diffusiematrix $\sigma$, maar heeft een andere drift $f_0$.

2. Methodologie

A. Reductie van Traject-KL naar Lokale Kosten

Een centrale theoretische bijdrage is de reductie van de traject-niveau KL-divergentie naar een lokale, hanteerbare lopende kostenfunctie.

• Girsanov's Theorema: Onder de aanname dat de diffusiematrix $\sigma(x)$ inversibel is en de drift-mismatch voldoet aan de Novikov-conditie, bestaat de Radon–Nikodym-afgeleide tussen de gecontroleerde en de referentie-maten.
• Lemma 1: De KL-divergentie $KL(P_u \| P_0)$ over een eindig horizon $[0, T]$ wordt getoond gelijk te zijn aan de verwachting van de integraal van een kwadratische drift-mismatch straf:
  $$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$$
  waarbij $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$.
• Geaugmenteerde Lopende Kosten: Dit resultaat maakt het mogelijk om de traject-regularisatie direct in het standaard SOC-raamwerk te integreren als een additieve term bij de lopende kosten:
  $$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$$
  Hierbij is $\lambda \geq 0$ de regularisatieparameter.

B. Dynamische Programmering en HJB-structuur

Omdat de KL-straf reduceert tot een integraal van een lopende kostenfunctie, behoudt de TRSOC-probleemstelling de Markov-eigenschap en het Dynamische Programmerings (DP) principe.

• De waarde-functie $V(t, x)$ voldoet aan de standaard Hamilton–Jacobi–Bellman (HJB) vergelijking:
  $$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$$
  waarbij $\mathcal{L}_u$ de infinitesimale generator van de diffusie is.
• In tegenstelling tot "KL-controle" benaderingen die direct over traject-maten optimaliseren (wat vaak leidt tot risico-gevoelige doelstellingen en exponentiële tilting), blijft TRSOC een standaard SOC-probleem met een geaugmenteerde kostenfunctie, waarbij een lineaire verwachting en een standaard HJB-karakterisering behouden blijven.

C. Optimale Controle-structuur (Control-Affine Geval)

Voor systemen met een control-affine drift $f(x, u) = f_0(x) + B(x)u$ en kwadratische controlekosten, leiden de auteurs een expliciete optimale feedbackwet af.

• De KL-term fungeert als een extra controle-straf, wat de effectieve controle-gewichtmatrix wijzigt:
  $$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$$
• De optimale controle wordt gegeven door:
  $$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$$
• Deze formulering impliceert dat controles die grote drift-veranderingen induceren in richtingen met lage ruis, zwaarder worden bestraft.

D. Lineair-Kwadratische (LQ) Specialisatie

In de Lineair-Kwadratische setting reduceert het probleem tot een gedisconteerde Lineaire Kwadratische Regulator (LQR) met een gewijzigde controle-gewicht $\bar{R}$. De oplossing omvat het oplossen van een gemodificeerde algebraïsche Riccati-vergelijking (ARE), waarbij de regularisatieparameter $\lambda$ direct de feedback-gain beïnvloedt, wat leidt tot meer conservatieve controle naarmate $\lambda$ toeneemt.

3. Belangrijkste Bijdragen

1. TRSOC-formulering: Introductie van een gedrag-geregulariseerd SOC-raamwerk dat prior-gedragingen (nominale controllers of data-gedreven baselines) integreert via traject-niveau KL-divergentie.
2. Lokale Kostenreductie: Demonstratie dat onder drift-alleen controle met niet-gedegenereerde diffusie, de traject-KL-divergentie reduceert tot een kwadratische drift-mismatch straf. Dit behoudt de DP-structuur en maakt een standaard HJB-karakterisering mogelijk.
3. Optimale Policy Karakterisering: Afleiding van expliciete optimale feedbackwetten voor control-affine systemen en analyse van het LQ-geval, waarbij wordt aangetoond hoe regularisatie de controlekosten en stabiliteitseigenschappen wijzigt.
4. Stabiliteitsanalyse: Bewijs dat traject-regularisatie de dissipativiteit van de gesloten-lus drift kan verbeteren, wat Lyapunov-ongelijkheden faciliteert en de gemiddelde kwadratische begrensdheid van de toestand waarborgt.

4. Resultaten en Experimenten

Het artikel valideert de theoretische bevindingen via numerieke experimenten op een stochastisch dubbel-integrator systeem dat een figuur-acht traject volgt.

• Prestatie–Afwijking Trade-off: Experimenten demonstreren dat de regularisatieparameter $\lambda$ een continue trade-off induceert.
  • Wanneer $\lambda \to 0$, gedraagt de controller zich als een standaard prestatie-gedreven SOC, waarbij een lage taak-kost wordt bereikt maar potentieel significant afwijkt van de referentie.
  • Wanneer $\lambda \to \infty$, dwingt de controller de geïnduceerde drift om uit te lijnen met de referentiedynamica, waarbij de afwijking wordt geminimaliseerd ten koste van de taakprestatie.
• Data-gedreven Referentie: Het raamwerk wordt succesvol toegepast op een setting waarbij de referentiedynamica is geleerd van offline data (met behulp van een neuraal netwerk om de referentie-acceleratie te benaderen). De resultaten tonen aan dat TRSOC effectief een balans vindt tussen taakoptimalisatie en het vasthouden aan het geleerde referentiegedrag.
• Traject Geometrie: Visualisaties van trajecten onthullen dat de regularisatie werkt op de geometrie van de geïnduceerde dynamica. Geregulariseerde controllers produceren trajecten die tussen de agressieve correcties van de ongeregulariseerde optimale controller en het nominale referentiegedrag in liggen, met name in regio's met hoge kromming.

5. Betekenis en Claims

De auteurs beweren dat TRSOC een principiële methode biedt om voorkennis of offline data te integreren in stochastische controle zonder het standaard DP/HJB-raamwerk te verlaten.

• Structurele Preservatie: In tegenstelling tot andere traject-regularisatiemethoden die mogelijk optimalisatie over maten vereisen of leiden tot niet-standaard risico-gevoelige doelstellingen, behoudt TRSOC de standaard SOC-structuur, waardoor het toepasbaar is op algemene niet-lineaire dynamica.
• Interpolatie: Het raamwerk biedt een scalarisatie van een multi-objective optimalisatieprobleem (taakprestatie versus referentie-adherentie), waardoor gebruikers de werking van de controller kunnen afstemmen via een enkele parameter $\lambda$.
• Robuustheid: De methode blijkt robuust tegen benaderingsfouten wanneer de referentiedynamica uit data is geleerd, wat wijst op potentieel nut in offline-to-online reinforcement learning en imitation learning contexten.

Het artikel concludeert dat traject-regularisatie fungeert als een "ruis-bewuste" modificatie van controle-energie, waarbij drift-veranderingen zwaarder worden bestraft in richtingen waar het systeem minder stochastisch is, waardoor een geometrisch intuïtief mechanisme wordt geboden voor het balanceren van prestaties en veiligheid/consistentie.