Causal Optimal Coupling for Gaussian Input-Output Distributional Data

Titel: Causale Optimale Koppeling voor Gaussische Input-Output Distributiegegevens

Auteurs: Daran Xu en Amirhossein Taghvaei (Universiteit van Washington)

1. Probleemstelling

Het paper adresseert het probleem van het identificeren van een optimale relatie tussen input- en output-distributies die gegenereerd worden door een causaal dynamisch systeem. De uitdaging ligt in het feit dat men alleen de marginale distributies van de input-proces $U = \{U_t\}_{t=1}^T$ en het output-proces $Y = \{Y_t\}_{t=1}^T$ observeert, maar de onderliggende koppeling (pairing) tussen specifieke input- en output-realisesaties onbekend is.

Het doel is om een gezamenlijke wet (coupling) $\pi$ te vinden die:

1. De gegeven marginale distributies $\mu$ (voor $U$) en $\nu$ (voor $Y$) respecteert.
2. Voldoet aan een causaliteitsbeperking: Toekomstige inputs mogen niet afhankelijk zijn van het verleden van de outputs, gegeven het verleden van de inputs. Formeel: $(Y_1, \dots, Y_t) \perp\!\!\!\perp (U_{t+1}, \dots, U_T) \mid (U_1, \dots, U_t)$.
3. Dicht bij een referentiemodel $\gamma$ ligt, gemeten via Kullback-Leibler (KL) divergentie.

Dit wordt geformuleerd als een Entropisch Causaal Optimaal Transport (ECOT) probleem:
$$\min_{\pi \in \Pi_c(\mu, \nu)} D(\pi, \gamma)$$
waarbij $\Pi_c(\mu, \nu)$ de verzameling is van alle causale koppelingen en $D(\pi, \gamma)$ de KL-divergentie is.

2. Methodologie

Referentiemodel en Kostenfunctie:
De auteurs nemen aan dat het referentiemodel $\gamma$ wordt gegenereerd door een lineair Gaussisch model:
$$Y_t = h_t^\top U_{1:t} + f_t^\top Y_{1:t-1} + b_t + w_t$$
waarbij $w_t$ Gaussisch ruis is. Dit leidt tot een kwadratische kostenfunctie van de vorm:
$$c(u_{1:T}, y_{1:T}) = \sum_{t=1}^T \frac{1}{2\epsilon_t^2} (y_t - h_t^\top u_{1:t} - f_t^\top y_{1:t-1} - b_t)^2$$
Dit is algemener dan de standaard $L_2$-afstand en vangt tijdsafhankelijke interacties.

Oplossingsstrategie: Sinkhorn Iteraties:
Het paper bouwt voort op abstracte Sinkhorn-iteraties (Eckstein & Pammer, 2023) maar maakt deze expliciet en uitvoerbaar voor het Gaussische geval. Het algoritme wisselt af tussen twee projectiestappen:

1. Oude iteratie (Odd): Projectie op de verzameling van causale koppelingen met vaste input-marginaal $\mu$.
   $$\pi^{2k+1} := \arg \min_{\pi \in \Pi_c(\mu, *)} D(\pi, \pi^{2k})$$
2. Even iteratie (Even): Projectie op de verzameling van koppelingen met vaste output-marginaal $\nu$ (zonder causale beperking op deze stap, maar behoud van de structuur van de vorige stap).
   $$\pi^{2k+2} := \arg \min_{\pi \in \Pi(*, \nu)} D(\pi, \pi^{2k+1})$$

Gaussische Invariantie:
Een cruciale theoretische bevinding is dat de familie van Gaussische distributies invariant blijft onder deze projectiestappen. Als de marginaal en het referentiemodel Gaussisch zijn, blijft elke iteratie $\pi^{(k)}$ Gaussisch. Dit stelt de auteurs in staat om de iteraties te beschrijven via een primal formulering met expliciete updates voor de parameters (middens, covarianties en regressiecoëfficiënten) in plaats van numerieke optimalisatie op het volledige ruimte.

• Theorema 1 (Oude stap): Geeft de update-regels voor de conditionele verdeling $\pi(y_t | u_{1:t}, y_{1:t-1})$ terwijl de input-dynamiek ($\pi(u_t | u_{1:t-1})$) behouden blijft als die van $\mu$.
• Theorema 2 (Even stap): Geeft de update-regels voor de conditionele verdeling $\pi(u_{1:T} | y_{1:T})$ om de output-marginaal $\nu$ te bereiken.

Na convergentie wordt de optimale koppeling $\pi^*$ gebruikt om de parameters van het lineaire Gaussische input-output model (vergelijking 5) te herleiden via conditionele verwachtingen en covarianties.

3. Belangrijkste Bijdragen

1. Expliciete Karakterisering: Voor het eerst wordt een volledig tractabele, gesloten-vorm karakterisering van de Sinkhorn-iteraties afgeleid voor het geval van Gaussische marginaalverdelingen en algemene tijd-afhankelijke kwadratische kosten.
2. Causale Beperking: In tegenstelling tot eerdere werken die vaak bicausale beperkingen gebruiken of beperkt zijn tot Markov-processen, behandelt dit werk een eenzijdige causale beperking (input beïnvloedt output, maar niet andersom) met een algemene kwadratische kostenfunctie.
3. Algoritmische Implementatie: Het paper levert een concreet algoritme dat de projecties uitvoert door simpelweg de parameters van de Gaussische verdelingen te updaten, wat computatie-efficiënt is.
4. Systeemidentificatie: Het biedt een principieel raamwerk voor het identificeren van dynamische systemen direct op het niveau van waarschijnlijkheidsdistributies, zonder dat individuele trajecten gekoppeld hoeven te zijn.

4. Resultaten en Numeriek Voorbeeld

In het numerieke voorbeeld worden stationaire Gaussische processen gebruikt voor input en output over $T=128$ tijdstappen.

• Vergelijking: De auteurs vergelijken de oplossing met causale beperking (ECOT) met een oplossing zonder causale beperking (standaard Entropisch OT).
• Observatie:
  • Bij de causale koppeling is de conditionele covariantie tussen toekomstige inputs en verleden outputs nul (zoals vereist door de causaliteit).
  • Bij de niet-causale koppeling verschijnen er niet-nul waarden en antisymmetrische patronen in de covariantiematrix, wat aangeeft dat het model "anticiperende" correlaties gebruikt (toekomstige informatie beïnvloedt het verleden in de berekening), wat fysisch onmogelijk is voor een causaal systeem.
• De resultaten tonen aan dat de Sinkhorn-iteraties convergeren naar een oplossing die strikt voldoet aan de causale structuur.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het een brug slaat tussen Optimaal Transport, Schrödinger-bruggen en Systeemidentificatie. Het lost het probleem op van het leren van dynamische modellen uit "aggregatie-data" (waar de koppeling tussen input en output ontbreekt), wat relevant is voor toepassingen waar data privacy-gevoelig is of waar alleen verdelingseigenschappen bekend zijn.

Toekomstige richtingen zoals genoemd in het paper omvatten:

• Uitbreiding naar niet-lineaire referentiemodellen.
• Toepassing op niet-Gaussische marginaalverdelingen.
• Gebruik voor generatieve modellering van tijdreeksdata.

Samenvattend biedt dit paper een wiskundig robuuste en computationally tractable methode om causale dynamische relaties te leren puur op basis van statistische distributies van input en output.