DoFlow: Flow-based Generative Models for Interventional and Counterfactual Forecasting on Time Series

Dit artikel introduceert DoFlow, een generatief model op basis van stromingen dat causale redenering en generatieve modellering verenigt om nauwkeurige observationele, interventionele en contrafactuele voorspellingen voor tijdreeksen te leveren, terwijl het ook anormaliteiten kan detecteren.

De kern

Stel je voor dat je een weerman bent, maar dan niet voor de lucht, maar voor een heel complex systeem: een waterkrachtcentrale, een ziekenhuisafdeling of een fabriek.

Normale voorspellingen werken als volgt: "Vandaag regent het, dus morgen zal het waarschijnlijk ook regenen." Dit is observatie. Je kijkt naar wat er gebeurt en trekt daar conclusies uit.

Maar wat als je wilt weten: "Wat gebeurt er als ik morgen de damsluizen dicht doe?" Of: "Hoe zou het verloop van deze patiënt eruit hebben gezien als we gisteren een andere dosis medicijn hadden gegeven?"

Dit zijn vragen over "Wat als?" (in het Engels: What if). De meeste moderne computermodellen zijn hier slecht in. Ze zijn slim in het zien van patronen, maar ze begrijpen niet hoe de oorzaak en het gevolg in elkaar zitten. Ze kunnen niet simuleren wat er gebeurt als je de regels van het spel verandert.

Hier komt DoFlow om de hoek kijken. Het is een nieuwe, slimme manier om de toekomst te voorspellen, niet alleen wat er zal gebeuren, maar ook wat er zou kunnen gebeuren als we ingrijpen.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Spookauto" en de "Tijdmachine"

Stel je voor dat je een auto rijdt door een stad.

• Normale modellen kijken uit het raam en zeggen: "De auto voor ons remt, dus wij moeten ook remmen." Ze volgen de stroom.
• DoFlow heeft een tijdmachine en een spookauto.
  • Interventie (De Spookauto): Je kunt tegen de computer zeggen: "Stel dat ik morgen de remmen van de auto voor ons niet gebruik." DoFlow berekent dan direct: "Oh, dan botst hij tegen de muur, en dat veroorzaakt een file." Het simuleert het nieuwe pad dat de auto zou nemen als jij die beslissing neemt.
  • Counterfactual (De Tijdmachine): Stel dat je gisteren een ongeluk had. DoFlow kan terug in de tijd gaan en zeggen: "Als je gisteren niet zo snel had gereden, was je dan nog wel in het ziekenhuis?" Het reconstructeert een alternatieve realiteit op basis van wat er écht gebeurd is.

2. De "Dominostenen" (Het Causale Netwerk)

Waarom werkt DoFlow zo goed? Omdat het begrijpt hoe dingen met elkaar verbonden zijn.

Stel je een rij dominostenen voor.

• Als je de eerste steen duwt (de oorzaak), vallen de rest ook om (het gevolg).
• Veel oude modellen kijken alleen naar de rij stenen en zeggen: "De stenen vallen altijd in deze volgorde."
• DoFlow heeft een kaart van de dominostenen. Het weet precies welke steen welke andere steen duwt.
  • Als je zegt: "Ik duw steen 3 niet om," dan ziet DoFlow op zijn kaart dat steen 4 en 5 niet omvallen, maar steen 1 en 2 wel. Het begrijpt de oorzaak-en-gevolg-relatie.

In de paper noemen ze dit een DAG (een gerichte acyclische graaf). Klinkt ingewikkeld, maar het is gewoon een kaart van wie de baas is over wie in een systeem.

3. Hoe werkt het precies? (De "Tijd-Flow")

DoFlow gebruikt een techniek die lijkt op het vervormen van klei.

• Stel je voor dat je een stuk klei hebt (de huidige situatie) en je wilt het vervormen tot een ander stuk klei (de toekomst).
• Normale modellen gooien de klei maar wat rond en hopen dat het goed landt.
• DoFlow gebruikt een stroom (een Flow). Het trekt de klei heel langzaam en soepel van de huidige vorm naar de toekomstige vorm, stap voor stap.
• Omdat het zo'n gladde "stroom" gebruikt, kan het de klei ook weer terugtrekken.
  • Dit is cruciaal voor de "Wat als"-vragen. Het kan de toekomstige situatie "terugrekenen" naar de huidige staat, veranderen wat er gebeurd is (de medicijndosis, de turbine-instelling), en dan weer vooruitrekenen om te zien wat het nieuwe resultaat is.

4. Waar is dit goed voor? (De Praktijk)

De auteurs hebben DoFlow getest op twee echte situaties:

1. Waterkrachtcentrales:

   • Stel, een turbine begint te trillen. Normaal voorspellen ze: "De stroomuitval komt eraan."
   • Met DoFlow kunnen ze vragen: "Wat als we de turbine nu stilleggen?" Het model ziet dan direct hoe de trillingen stoppen en hoe de rest van het systeem reageert.
   • Bonus: DoFlow kan ook alarm slaan. Als de "stroom" van de data te raar wordt (te veel weerstand in de klei), weet het: "Hé, dit gedrag past niet bij normaal. Er gaat iets mis!" Voordat het systeem echt crasht.

2. Kankerbehandeling:

   • Een patiënt krijgt medicijnen. De tumor krimpt.
   • De arts vraagt: "Zou deze patiënt er beter aan toe zijn geweest als we gisteren een hogere dosis hadden gegeven?"
   • DoFlow simuleert die alternatieve realiteit. Het kijkt naar de huidige toestand, "verandert" de dosis in het verleden in de simulatie, en berekent dan de nieuwe toekomst voor die specifieke patiënt.

Samenvatting

DoFlow is als een super-slimme simulator voor de toekomst.

• Het kijkt niet alleen naar wat er gebeurt (observatie).
• Het begrijpt wie de baas is over wie (causaliteit).
• Het kan de tijd terugdraaien om te kijken wat er had kunnen gebeuren (counterfactuals).
• Het kan de toekomst simuleren als we nu ingrijpen (interventies).

In plaats van alleen te zeggen "Het gaat regenen," zegt DoFlow: "Als je de paraplu nu opent, blijf je droog. Als je dat niet doet, word je nat. En als je gisteren een paraplu had gekocht, was je nu al droog geweest."

Het helpt ons om betere beslissingen te nemen in complexe werelden, van energiecentrales tot ziekenhuizen, door niet alleen te voorspellen, maar ook te begrijpen.

Technische samenvatting

1. Probleemstelling

Tijdreeksvoorspelling in multivariate systemen vereist tegenwoordig meer dan alleen nauwkeurige observatievoorspellingen. In veel real-world toepassingen (zoals energievoorziening, gezondheidszorg en industriële controle) moeten besluitvormers vragen beantwoorden over "wat als"-scenario's. Dit omvat twee soorten causale vragen die door bestaande modellen moeilijk of niet kunnen worden beantwoord:

• Interventievragen: Hoe zal het systeem evolueren als we bepaalde controlevaariabelen in de toekomst actief veranderen (bijv. het instellen van een ander turbine-beheersplan)?
• Contradictieve vragen (Counterfactuals): Hoe zou een reeds waargenomen traject eruit hebben gezien als we in het verleden anders hadden ingegrepen? Dit vereist het infereren van onwaarneembare factoren (zoals de onderliggende gezondheidstoestand van een patiënt) uit de feitelijke data en het hersimuleren van het traject onder een alternatieve interventie.

Bestaande moderne forecasters (zoals Transformers, RNNs en Diffusion-modellen) zijn puur observationeel: ze leren correlaties uit historische data maar missen de causale structuur om consistente interventies of contradictieve trajecten te genereren. Er ontbreekt een algemeen raamwerk voor contradictieve tijdreeksvoorspelling.

2. Methodologie: DoFlow

De auteurs stellen DoFlow voor, een generatief model gebaseerd op Continue Normalizing Flows (CNFs) dat expliciet is geïntegreerd in een causale Directed Acyclic Graph (DAG).

Kerncomponenten:

• Causale Structuur: Het systeem wordt gemodelleerd als een SCM (Structural Causal Model) op een DAG. De waarde van een knoop $X_{i,t}$ op tijdstip $t$ hangt af van zijn eigen verleden, het verleden van zijn ouders in de DAG, en exogene ruis $U_{i,t}$.
• RNN-Encoder: Voor elke knoop in de DAG wordt een RNN (LSTM of GRU) gebruikt om de historische trajecten van de knoop en zijn ouders te comprimeren tot een verborgen toestand $H_{i,t-1}$.
• Continue Normalizing Flow (CNF): Voor elke knoop wordt een tijd-geconditioneerde CNF getraind. Deze flow leert een continue transformatie (via een Neural ODE) tussen een basisverdeling (meestal $N(0,1)$) en de data-verdeling, geconditioneerd op de verborgen toestand $H_{i,t-1}$.
  • Training: Gebruikmakend van Conditional Flow Matching (CFM), wordt de snelheidsvector van de flow getraind om een analytisch gedefinieerde referentiepad te benaderen. Dit zorgt voor efficiënt training en een omkeerbare mapping.

Voorspellingsmechanismen:

1. Observationele & Interventievraag:
   • Voor observatie wordt er een steekproef genomen uit de basisverdeling en via de reverse flow gedecodeerd.
   • Voor interventies worden specifieke knopen op bepaalde tijdstippen gefixt op de gewenste waarde ($do(X_{i,t} = \gamma)$). De flow decodes de overige knopen conditioneel op deze gefixte waarden en de bijgewerkte verborgen toestanden, waardoor de interventie zich door het systeem verspreidt.
2. Contradictieve Voorspelling:
   • Dit volgt het Abductie-Actie-Actie protocol:
     • Abductie: De feitelijke waarneming $x^F$ wordt gecodeerd naar een latente representatie $z^F$ via de forward flow, geconditioneerd op de feitelijke geschiedenis.
     • Actie: De gewenste interventie wordt toegepast.
     • Voorspelling: De latente representatie $z^F$ (die de onwaarneembare factoren bevat) wordt gedecodeerd via de reverse flow, maar nu geconditioneerd op de contradictieve geschiedenis (de nieuwe interventie). Dit genereert het contradictieve traject.

Anomalie Detectie:
Omdat CNFs expliciete waarschijnlijkheidsdichtheden (likelihoods) opleveren, kan DoFlow worden gebruikt voor anomalie-detectie. Afwijkingen van het normale gedrag resulteren in een lage log-dichtheid voor de voorspelde toekomstige trajecten.

3. Theoretische Bijdragen

De auteurs leveren een theoretisch bewijs voor contradictieve herstelbaarheid (counterfactual recovery) onder specifieke aannames:

• Aannamen: De exogene ruis is onafhankelijk, de structurele vergelijkingen zijn strikt monotoon en continu in de ruis, en de geëncodeerde latente variabele is statistisch onafhankelijk van de geschiedenis (in de limiet van oneindige data).
• Resultaat (Corollary 4.5): Onder deze voorwaarden garandeert het encode-decode proces van DoFlow dat het model het ware contradictieve traject bijna zeker (almost surely) kan herstellen. Dit is een zeldzame theoretische garantie voor contradictieve tijdreeksvoorspelling.

4. Resultaten

DoFlow werd geëvalueerd op synthetische datasets met diverse DAG-structuren (Boom, Diamant, Fully Connected Layer, Keten) en twee real-world toepassingen.

• Synthetische Data:

  • DoFlow presteerde superieur in Observationele en Interventievraag voorspelling vergeleken met state-of-the-art baselines (GRU, TFT, TiDE, DeepVAR, MQF2), gemeten aan de hand van RMSE, MMD en CRPS.
  • DoFlow is de enige methode die Contradictieve voorspelling kan uitvoeren; baselines konden dit niet (aangegeven als NA in de tabellen).
  • Het model was robuust voor zowel additieve als niet-lineaire, niet-additieve (NLNA) causale mechanismen.

• Real-World Toepassingen:

  • Hydropower System (Argonne National Lab): DoFlow voorspelde nauwkeurig de reactie van het systeem op turbine-storingen (interventie) en detecteerde stroomuitval vooraf door een daling in de log-dichtheid te signaleren, soms wel 20 minuten voor de daadwerkelijke uitval.
  • Kankerbehandeling (Bica et al. dataset): Bij het schatten van causale behandelingseffecten (tumorvolume onder verschillende doseringsschema's) overtrof DoFlow bestaande methoden zoals CRN en RMSN aanzienlijk in nauwkeurigheid (lage Normalized RMSE).

5. Belang en Impact

Deze paper is significant omdat het een brug slaat tussen causale redenering en diepe generatieve modellering voor complexe dynamische systemen.

• Unificatie: Het biedt een unificerend raamwerk voor observationele, interventieve en contradictieve voorspelling in één model.
• Betrouwbaarheid: Door expliciete likelihoods te bieden, maakt het model betrouwbaardere besluitvorming en anomalie-detectie mogelijk.
• Toepassingsbereik: De methodiek is direct toepasbaar in domeinen waar "what-if" scenario's cruciaal zijn, zoals energienetwerken, gezondheidszorg en industriële procescontrole.
• Theoretische Fundament: Het biedt een van de eerste theoretische garanties voor contradictieve herstelbaarheid in tijdreeksen, wat een belangrijke stap is naar een algemene theorie van inferentie en controle in dynamische omgevingen.

Kortom, DoFlow stelt onderzoekers en praktici in staat om niet alleen te voorspellen wat er zal gebeuren, maar ook om systematisch te evalueren wat er zou gebeuren onder andere omstandigheden, met een wiskundig onderbouwde garantie voor de consistentie van deze voorspellingen.