A McKean-Pontrygin maximum principle for entropic-regularized optimal transport

1. Probleemstelling

Het artikel richt zich op het overbruggen van twee gegeven kansverdelingen, $\pi_0$ en $\pi_T$, in een variabele $x \in \mathbb{R}^{d_x}$ via een gecontroleerde stochastische differentiaalvergelijking (SDE):
$$d\tilde{X}_t = U_t dt + \sqrt{2}\Sigma^{1/2} d\tilde{B}_t$$
Het doel is het minimaliseren van de kostenfunctie:
$$J(U) = \frac{1}{2} \int_0^T \mathbb{E}[\|U_t\|_R^2] dt$$
onder de randvoorwaarden $\tilde{X}_0 \sim \pi_0$ en $\tilde{X}_T \sim \pi_T$. Hierbij is $\|u\|_R$ een gewogen norm gedefinieerd door een symmetrische positief-definiete matrix $R$.

Dit probleem generaliseert twee bekende gevallen:

• Klassieke Optimal Transport: Voor $\Sigma = 0$ en $R = I$.
• Schrödinger Bridge Problem: Voor $\Sigma = R = I$ (entropisch geregulariseerd transport).

Het hoofddoel van de nota is het formuleren van een mean-field benadering van het Schrödinger-brugprobleem, gebaseerd op een uitbreiding van het klassieke Pontryagin-maximumprincipe, specifiek het McKean–Pontryagin maximumprincipe.

2. Methodologie: McKean–Pontryagin Variatiebenadering

De auteur introduceert een variatieformulering die gebruikmaakt van labels $a \in \mathbb{R}^{d_x}$ die constant blijven en dienen als onafhankelijke variabelen. De toestanden $X_t(a)$ en co-toestanden $P_t(a)$ worden geïntroduceerd, waarbij de verdeling van $X_t(a)$ overeenkomt met $\rho_t$.

Kerncomponenten van de methode:

• Zwakke Randvoorwaarden: In plaats van vaste eindpunten, worden randvoorwaarden opgelegd in een zwakke vorm via testfuncties, wat rekening houdt met relabelingsymmetrie (het herlabelen van deeltjes verandert de marginaalverdelingen niet).
• Actiefunctionaal: Een actiefunctionaal $S$ wordt gedefinieerd die afhankelijk is van toestanden $X$, co-toestanden $P$, controle $U$, en potentiaalvelden $\psi$ en $\beta$.
• Hamiltoniaan: Uit de actie wordt een Hamiltoniaan $H$ afgeleid die een term bevat die werkt als een toestand-afhankelijke lopende kosten ($\Sigma : D^2_x \psi$), vergelijkbaar met stochastische optimal control, maar impliciet gedefinieerd via de relatie $P_t = \nabla_x \psi_t(X_t)$.
• Variatieprincipes: Door variaties toe te passen op $S$ met betrekking tot $P, X, \beta, \psi$ en $U$, worden de bewegingsvergelijkingen en constraints afgeleid.

Afgeleide Vergelijkingen:
De afleiding leidt tot een stelsel van vergelijkingen dat de evolutie van $X_t$ en $P_t$ beschrijft, gekoppeld aan de Hamilton-Jacobi-Bellman (HJB) vergelijking voor $\psi_t$ en de Fokker-Planck vergelijking voor $\rho_t$.
Een cruciale bevinding is dat de term $\beta_t$ (die voortkomt uit de relabelingsymmetrie) niet uniek is bepaald, maar dat de optimale controlewet $u_t(x) = R \nabla_x \psi_t(x)$ onafhankelijk is van de specifieke keuze van $\beta_t$. Een natuurlijke keuze is $\beta_t = -\Sigma \nabla_x \log \rho_t(X_t)$.

3. Belangrijkste Bijdragen

1. Vermijding van Stochastische Pad-Sampling: De methode vermijdt het noodzakelijke samplen over stochastische paden (zoals vaak nodig is bij Monte-Carlo methoden voor FB-SDE's). In plaats daarvan wordt een volledig variatie-benadering gebruikt die leidt tot deterministische vergelijkingen van beweging in de mean-field limiet.
2. Unificatie: De formulering biedt een verenigde behandeling van zowel deterministische als stochastische optimal transport problemen.
3. Verbinding met Bestaande Theorie:
   • Voor $\Sigma \to 0$ en $R=I$ wordt de Benamou-Brenier formulering van optimal transport hersteld.
   • Voor $\Sigma = R = I$ wordt een deterministische mean-field formulering van het dynamische Schrödinger-brugprobleem gevonden.
   • Er wordt een link gelegd met forward-backward stochastische differentiaalvergelijkingen (FB-SDE's), waarbij wordt aangetoond dat de evolutie van $\psi_t$ deterministisch blijft, ondanks de stochastische aard van de onderliggende processen in andere formuleringen.
4. Extensies: De theorie wordt uitgebreid naar onderdempde Langevin-dynamica en potentieel naar problemen met multiplikatieve ruis en covariance-afhankelijke diffusie (zoals Kalman-Wasserstein gradient flows).

4. Resultaten en Analyse

• Optimaliteit: De afgeleide controlewet $u_t(x) = R \nabla_x \psi_t(x)$ voldoet aan de voorwaarden voor optimaliteit en is consistent met de Schrödinger-potentialen ($\phi_t, \hat{\phi}_t$) via de relatie $\hat{\phi}_t = e^{\psi_t}$.
• Iteratief Procedure: Het artikel beschrijft een iteratief procedé (geïnspireerd op Iterative Proportional Fitting) om de optimale controle te vinden door de randvoorwaarden voor $\psi_T$ te corrigeren op basis van de afwijking tussen de huidige eindverdeling en de doelverdeling.
• Niet-variational Benadering: Er wordt een vergelijking gemaakt met een niet-variational Lagrangiaanse aanpak (vergelijking 29), die weliswaar dezelfde resultaten oplevert maar geen Hamiltoniaans variatieprincipe volgt.
• Stochastische Interpretatie: Door $\beta_t$ te interpreteren als een Brownse beweging, kan een link worden gelegd met FB-SDE's. Echter, de auteur benadrukt dat de deterministische mean-field benadering (vergelijking 12-13) waarschijnlijk leidt tot minder ruisachtige numerieke benaderingen dan de stochastische tegenhangers.

5. Significatie en Toekomstperspectief

De paper introduceert een krachtig nieuw raamwerk voor entropisch geregulariseerd optimal transport dat de complexiteit van het direct oplossen van FB-SDE's omzeilt door over te schakelen op een deterministische mean-field formulering gebaseerd op het McKean–Pontryagin principe.

Belangrijke implicaties:

• Numerieke Efficiency: Omdat de methode geen sampling over stochastische paden vereist, wordt verwacht dat deze leidt tot efficiëntere en minder ruisgevoelige numerieke algoritmen.
• Generalisatie: Het raamwerk is flexibel genoeg om uit te breiden naar SDE's met stochastische drift en diffusie die afhankelijk zijn van de verdeling zelf (mean-field interacties).
• Nieuwe Controlevariabelen: De auteur suggereert dat de diffusiematrix $\Sigma$ zelf als een controlevaariabele kan worden behandeld, wat leidt tot een gladheidsstrafterm op de potentiaal $\psi_t$.

Concluderend biedt deze nota een theoretisch onderbouwd alternatief voor bestaande methoden in dynamisch optimal transport, met name voor het Schrödinger-brugprobleem, en opent het de deur voor verdere numerieke vergelijkingen en toepassingen in barotrope vloeistofdynamica en machine learning.