Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

Technische Samenvatting: Schaalbare Bi-causale Optimaal Transport via KL-Relaxatie en Policy Gradients

Probleemstelling
Bi-causale optimaal transport (OT) biedt een raamwerk voor het vergelijken en koppelen van stochastische processen onder niet-anticiperende informatiebeperkingen. In tegenstelling tot klassiek OT beperkt bi-causale OT de toelaatbare koppelingen zodanig dat de conditionele wet van de volgende toestand van elk proces alleen afhangt van de gezamenlijke geschiedenis tot het huidige tijdstip, waardoor wordt gegarandeerd dat geen enkel proces de toekomst van het ander anticiperen. Deze structuur is cruciaal voor toepassingen in robuuste financiën (bijvoorbeeld hedging onder modelonzekerheid) en sequentiële onzekerheidskwantificatie (bijvoorbeeld downscaling van tijdreeksen).

De praktische toepassing van bi-causale OT wordt echter gehinderd door computationele onberekenbaarheid. Bestaande methoden, zoals entropische regularisatie met Sinkhorn-iteraties of aangepaste waarde-iteratie, worstelen met continue verdelingen, hoge toestandsdimensies en lange tijds horizonnen. De primaire moeilijkheid ligt in het afdwingen van harde marginale beperkingen over de padruimte, wat directe optimalisatie combinatorisch moeilijk en computationeel duur maakt.

Methodologie
De auteurs stellen een schaalbaar stochastisch-optimalisatiekader voor dat harde marginale beperkingen vervangt door een differentieerbare Kullback-Leibler (KL)-straf, waardoor het gebruik van policy-gradient-methoden mogelijk wordt.

1. KL-Gestraalde Relaxatie:
   De auteurs relaxeren het oorspronkelijke bi-causale OT-probleem door de toelaatbare verzameling van koppelingen uit te breiden tot het omvatten van willekeurige gezamenlijke overgangskernen. Ze introduceren een KL-divergentie-straf om afwijkingen van de voorgeschreven marginale overgangen ($T_n, T'_n$) en initiële marginaalverdelingen ($\mu_0, \mu'_0$) te reguleren. De gerelaxeerde doelfunctie $W_{rel}$ minimaliseert de verwachte cumulatieve kosten plus een strafterm gewogen door een parameter $\beta$:
   $$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{KL-straffen} \right]$$
   Deze formulering behoudt de recursieve structuur van het probleem, wat dynamische programmering mogelijk maakt.

2. Theoretische Fundamenten:

   • Dynamische Programmering: Het artikel stelt principes van dynamische programmering vast voor zowel het oorspronkelijke beperkte probleem als de gerelaxeerde formulering. Dit reduceert de globale optimalisatie over de padruimte tot een reeks één-staps optimalisaties over initiële koppelingen en overgangskernen.
   • $\Gamma$-Convergentie: De auteurs bewijzen dat naarmate de strafparameter $\beta \to \infty$, de gerelaxeerde doelfunctie en haar optimale koppelingen convergeren naar het oorspronkelijke bi-causale OT-probleem en zijn optimale oplossingen. Dit waarborgt dat de relaxatie een principiële surrogaat is en niet slechts een heuristiek.

3. Policy Gradient Algorithm:

   • Parametrisatie: De koppeling wordt geparametriseerd met expressieve conditionele modellen, specifiek normaliserende flows (neurale spline-lagen), die exacte evaluatie van de log-dichtheid mogelijk maken.
   • Gradient Representatie: De auteurs leiden een expliciete policy-gradientrepresentatie af voor de gerelaxeerde doelfunctie. De gradient decomposeert in twee componenten:
     • Een waarde-component ($\nabla J_{val}$): Een verwachting onder de huidige geparametriseerde koppeling, gewogen door de resterende cumulatieve kosten.
     • Een KL-component ($\nabla J_{KL}$): Een verwachting onder de voorgeschreven marginale dynamiek (referentiemaat), die de strafterm vastlegt.
   • Schatting: Het algoritme maakt gebruik van onbevooroordeelde mini-batch gradient-schattingen. Om de variantie te verminderen, worden toestandsafhankelijke controlevariabelen gebruikt die zijn aangepast aan auxiliaire trajecten.
   • Convergentie: Het artikel biedt niet-asymptotische convergentiegaranties, waarbij wordt aangetoond dat de gemiddelde regret van orde $O(1/K)$ is onder Polyak–Łojasiewicz-voorwaarden, waarbij $K$ het aantal iteraties is.

Belangrijkste Bijdragen

• Relaxatietheorie: De vaststelling van principes van dynamische programmering voor het KL-gerelaxeerde probleem en het bewijs van $\Gamma$-convergentie naar het oorspronkelijke beperkte probleem.
• Schaalbaar Algoritme: De ontwikkeling van een policy-gradientalgoritme met onbevooroordeelde schatters en variantiereductie, dat in staat is om algemene marginaalverdelingen (inclusief continue en hoog-dimensionale gevallen) te verwerken zonder discretisatie van toestands- of actie ruimten.
• Convergentiegaranties: Afleiding van niet-asymptotische regretgrenzen ($O(1/K)$) voor de voorgestelde stochastische optimalisatiemethode.
• Empirische Validatie: Demonstratie van het vermogen van de methode om zowel marginale wetten als temporele afhankelijkheid vast te leggen in synthetische settings en real-world toepassingen.

Resultaten
Het artikel valideert het kader via synthetische experimenten en twee specifieke toepassingen:

1. Synthetische Experimenten:

   • De methode herstelt nauwkeurig marginale verdelingen (zowel Gaussisch als niet-Gaussisch/Beta) en temporele afhankelijkheden (correlaties tussen opeenvolgende stappen) in zowel unimodale als bimodale settings.
   • Prestatiemetingen (Wasserstein-afstand, KS-afstand, Gesneden Wasserstein-afstand) tonen een lage discrepantie tussen gegenereerde en grond-waarheid verdelingen.
   • De methode schaalt effectief naar hogere dimensies ($d=3$) en langere horizonnen ($N=10$).

2. Robuuste Hedging (Financiële Toepassing):

   • Het kader wordt toegepast om robuuste subhedgingprijzen voor financiële derivaten te berekenen onder niet-anticiperende beperkingen.
   • De geleerde koppeling herstelt bijna-optimale prijsbepalingsgrenzen met relatieve fouten onder de 1% in vergelijking met gesloten-formule oplossingen.
   • De methode behoudt martingaal-dynamiek en presteert beter dan bestaande benaderingen in computationele snelheid (bijvoorbeeld sneller dan methoden voor aangepaste waarde-iteratie).

3. Statistische Downscaling van Tijdreeksen:

   • De methode wordt gebruikt om hoog-trouwheid tijdreeksen te genereren uit laag-trouwheid observaties door eerst de laag-resolutie data te debiasen via bi-causale OT.
   • Het "OT-gecorrigeerde" conditionele diffusiemodel presteert aanzienlijk beter dan onvoorwaardelijke generatie en directe conditionering op ruwe data, met lagere distributie-discrepanties en nauwkeurigere temporele correlaties.

Betekenis en Claims
Het artikel claimt een schaalbare computationele aanpak te bieden voor bi-causale OT, waardoor de kloof tussen theoretische kaders en praktische implementatie wordt overbrugd in settings waar niet-anticiperende informatiebeperkingen essentieel zijn.

• Computationele Haalbaarheid: Door het beperkte padruimte-probleem om te zetten in een differentieerbaar stochastisch optimalisatieprobleem, maakt de methode bi-causale OT hanteerbaar voor continue verdelingen en lange horizonnen, waardoor de "vloek van de dimensie" en de geheugenkosten die met eerdere methoden gepaard gaan, worden overwonnen.
• Generaliteit: Het kader is toepasbaar op algemene marginaalverdelingen, niet beperkt tot discrete of empirische steekproeven.
• Praktische Nut: De resultaten suggereren dat bi-causale OT kan dienen als een praktische computationele primitief voor grotere optimalisatie- en onzekerheidskwantificatiepijplijnen in operationeel onderzoek en kwantitatieve financiën, specifiek voor taken zoals robuuste hedging en statistische downscaling waar het respecteren van informatieflow cruciaal is voor de kwaliteit van beslissingen.

De auteurs handhaven een bescheiden toon met betrekking tot toekomstig werk, waarbij zij opmerken dat hoewel de huidige analyse zich richt op de Markov-setting, het kader kan worden uitgebreid naar niet-Markoviaanse settings en pad-afhankelijke kosten, hoewel dit verdere theoretische ontwikkeling vereist.