Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

Technische Samenvatting: Unificatie van Entropie-regularisatie in Optimale Besturing

Probleemstelling
Optimale besturingsproblemen, variërend van robotica tot financiën, omvatten doorgaans het minimaliseren van een kostenfunctie over een eindige horizon met behulp van dynamische programmering. Echter, exacte oplossingen zijn vaak onhandelbaar vanwege de niet-lineariteit van de Bellman-operatoren. Hoewel probabilistische benaderingen zoals "Control as Inference" (CaI) en Kullback-Leibler (KL)-regularisatie hanteerbare surrogaten hebben geboden, ontbrak een unificerend wiskundig raamwerk dat klassieke Stochastische Optimale Besturing (SOC), Risicogevoelige Stochastische Optimale Besturing (RSOC) en hun KL-geregulariseerde "soft-policy" tegenhangers met elkaar verbindt. Bovendien bleef de relatie tussen de surrogaatdoelstellingen die bij elke iteratie van deze algoritmen worden opgelost en de oorspronkelijke klassieke doelstellingen deels onduidelijk, evenals de connectie tussen deze formuleringen en Distributioneel Robuuste Besturing (DRC).

Methodologie
De auteurs stellen een centraal, unificerend probleem voor, genaamd Centrale KL-Geregulariseerde Optimale Besturing (C-KLR-OC). Deze formulering generaliseert bestaande benaderingen door de KL-boetes die worden toegepast op het beleid en de systeemtransities te ontkoppelen.

1. Unificerende Formulering: Het kernprobleem (Eq. 7) optimaliseert gezamenlijk een beleidssequentie $\pi$ en een kunstmatige transitiakernelsequentie $\tau$, waarbij hun afwijkingen van basisverdelingen ($\rho$ voor beleid, $\iota$ voor transities) worden bestraft met onafhankelijke gewichten $\lambda_P$ en $\lambda_S$.

   • $\lambda_P$ controleert de afwijking van het beleid van een referentiegedrag.
   • $\lambda_S$ controleert de afwijking van transities van de ware systeemdynamica, waarbij het teken de risicohouding bepaalt (positief voor risicovragend/optimistisch, negatief voor risicomijdend/pessimistisch).

2. Theoretische Hulpmiddelen:

   • Risicomaatstaven: Het artikel maakt gebruik van de duale representatie van de Entropische Risicomaatstaf om risicogevoeligheid te koppelen aan KL-regularisatie.
   • Majorisatie-Minimalisatie (MM): De auteurs maken gebruik van het MM-raamwerk om aan te tonen dat soft-policy-formuleringen fungeren als hanteerbare surrogaatfuncties die de oorspronkelijke klassieke doelstellingen bovengrenzen (majoriseren).

3. Afleiding van Speciale Gevallen: Door de beperkingen op $\rho$ (of het gelijk is aan het optimaliserende beleid $\pi$) en $\tau$ (of het vaststaat op de ware dynamica $\iota$ of vrij is) te schakelen, tonen de auteurs aan dat C-KLR-OC de volgende gevallen herstelt:

   • SOC: $\rho = \pi$, $\tau = \iota$.
   • RSOC: $\rho = \pi$, $\tau$ vrij.
   • Soft-Policy SOC (SP-SOC): $\rho \neq \pi$, $\tau = \iota$ (komt overeen met I-projectie).
   • Soft-Policy RSOC (SP-RSOC): $\rho \neq \pi$, $\tau$ vrij (komt overeen met M-projectie).

Belangrijkste Bijdragen en Resultaten

• Unificatie van Doelstellingen: Het artikel stelt vast dat klassieke SOC, RSOC en hun soft-policy-varianten geen verschillende paradigma's zijn, maar speciale gevallen van een enkele wiskundige structuur waarbij beleids- en transitie-regularisatie gescheiden zijn.
• Iteratief Herstel van Klassieke Doelstellingen: De auteurs bewijzen dat de soft-policy-formuleringen (SP-SOC en SP-RSOC) hun klassieke tegenhangers (SOC en RSOC) majoriseren. Bijgevolg garandeert het itereren van de oplossing van de soft-policy-problemen (met behulp van het huidige beleid als basis $\rho$ voor de volgende stap) een daling van de oorspronkelijke, niet-geregulariseerde doelstelling. Dit biedt een principiële basis voor iteratieve algoritmen die hanteerbare KL-geregulariseerde subproblemen oplossen om te convergeren naar klassieke oplossingen.
• Gesynchroniseerd Geval (S-SP-RSOC): Een kritieke bevinding is de identificatie van een "gesynchroniseerd" geval waarbij de beleids- en transitiegewichten samenvallen ($\lambda_P = \lambda_S = \lambda > 0$). In deze specifieke configuratie vertoont het probleem een constellatie van gunstige eigenschappen die eerder in specifieke settings (zoals Path Integral Control) waren waargenomen, maar die nu blijken uit te breiden tot deze bredere klasse:
  1. Lineaire Bellman-operator: De niet-lineaire Bellman-recursie transformeert via een exponentiële verandering van variabelen (wenselijkheid) in een lineaire vergelijking.
  2. Path Integral-oplossing: De waardenfunctie kan worden berekend als een path-integraal (verwachting over trajecten) van de basisdynamica, waarbij achterwaartse dynamische programmering wordt omzeild en modelvrije, parallelle Monte-Carlo-schatting mogelijk wordt.
  3. Componibiliteit: Oplossingen voor complexe terminale kosten kunnen worden geconstrueerd als gewogen mengsels van oplossingen voor eenvoudigere subproblemen.
• Connectie met Inference: Het gesynchroniseerde geval blijkt equivalent te zijn aan Maximum Likelihood Schatting (MLE) op een Probabilistisch Grafisch Model (PGM) waarbij optimaliteit als voorwaarde wordt gesteld. Het optimale beleid komt exact overeen met de posterior-verdeling van acties gegeven optimaliteit, berekenbaar via Bayesiaanse smoothing.

Betekenis en Claims
Het artikel claimt een "unificerend perspectief" te bieden dat fundamentele vragen over de interpreteerbaarheid van op CaI gebaseerde methoden oplost. Specifiek:

• Het verduidelijkt dat de "soft"-beleid die bij elke iteratie van dichtheidsmatching-algoritmen worden opgelost, niet willekeurig zijn; het zijn KL-geregulariseerde surrogaten die systematisch de klassieke SOC- of RSOC-doelstellingen benaderen.
• Het toont aan dat de structurele harmonie tussen beleids- en transitie-regularisatie (d.w.z. het instellen van $\lambda_P = \lambda_S$) niet toevallig is maar wiskundig noodzakelijk om gelijktijdig de lineaire Bellman-operator, path-integraal-oplosbaarheid en componibiliteit te bereiken.
• Het overbrugt de kloof tussen Risicogevoelige Besturing en Distributioneel Robuuste Besturing, en laat zien dat risicogevoeligheid kan worden geïnterpreteerd als een soft DRC-probleem met een vooraf gedefinieerde Lagrangiaanse multiplier.

De auteurs concluderen dat hoewel het gesynchroniseerde geval krachtige computationele eigenschappen oplevert, het algemene unificerende raamwerk toelaat beleids- en transitie-regularisatie onafhankelijk af te stemmen, wat een bredere ontwerpruimte biedt voor besturingsproblemen buiten de specifieke beperkingen die voor lineariteit vereist zijn.