🤖 machine learning

DoTime: A Synthetic Benchmark Generator for Interventional and Counterfactual Time Series

Het artikel introduceert DoTime, een schaalbare en theoretisch gefundeerde synthetische benchmarkgenerator voor multivariate temporele structurele causale modellen die het gebrek aan interventionele en contrafactische tijdreeksen aanpakt door open tools, evaluatiesets met exacte grondwaarheid en empirisch bewijs te bieden dat interventionele training de nauwkeurigheid van de causale richting verbetert ten opzichte van observationele modellen.

Oorspronkelijke auteurs: Dennis Thumm, Billy Tim Anthony, Ying Chen

Gepubliceerd 2026-07-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dennis Thumm, Billy Tim Anthony, Ying Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de enige aanwijzingen die je hebt een stapel oude, stoffige foto's zijn. Je kunt zien wat er in het verleden is gebeurd, maar je kunt nooit zien wat er zou zijn gebeurd als iemand een andere keuze had gemaakt. Dit is de dagelijkse strijd voor wetenschappers die "causaliteit" bestuderen—de kunst van het uitzoekenen wat wat veroorzaakt. In de echte wereld kijken we vaak alleen naar wat er gebeurt (observationele data), zoals het kijken naar een plant die in de zon groeit. Maar om echt het begrip oorzaak en gevolg te vatten, moeten we "Wat als?"-vragen stellen (contrafactuelen). Wat als we de plant water gaven in plaats daarvan? Wat als we het licht uitzetten? Om deze "Wat als?"-vragen te beantwoorden, moeten we meestal experimenten uitvoeren, maar in velden zoals de geneeskunde of klimaatwetenschap kan het uitvoeren van experimenten gevaarlijk, duur of zelfs onmogelijk zijn.

Daarom zijn wetenschappers begonnen met het bouwen van "simulatoren"—digitale werelden waarin ze experimenten veilig kunnen uitvoeren. Ze creëren nepdata die de regels van oorzaak en gevolg volgt, trainen hun computerbreinen (AI-modellen) op deze nepdata, en hopen dan dat die breinen slim genoeg zijn om echte wereldmysteries op te lossen. De grote vraag is: hoe weten we of deze digitale testwerelden goed genoeg zijn? Als de simulator te simpel is, leert de AI de verkeerde lessen. Als hij te chaotisch is, kunnen we niet zien of de AI daadwerkelijk slim is of gewoon geluk heeft. We hebben een perfecte, eerlijke en uitdagende speeltuin nodig om deze AI-detectives te testen voordat ze de echte wereld in gaan.

Maak kennis met DoTime, een nieuwe tool ontwikkeld door onderzoekers Dennis Thumm, Billy Tim Anthony en Ying Chen. Zie DoTime als de ultieme "vluchtsimulator" voor tijdreizende detectives. Het is een computerprogramma dat miljoenen complexe, nepverhalen genereert over hoe dingen in de loop van de tijd veranderen, compleet met een geheime "antwoordsleutel" die je precies vertelt wat er zou gebeuren als je het plot zou veranderen.

Het paper introduceert DoTime als een manier om een grote kloof in hoe we AI testen te dichten. De meeste bestaande testwerelden laten de AI alleen zien wat er gebeurd is, niet wat er had kunnen gebeuren. DoTime is anders omdat het de AI in staat stelt om "interventioneel" te denken. Het creëert scenario's waarin je kunt zeggen: "Oké, in dit verhaal, laten we doen alsof we de patiënt een andere medicatie gaven," en de simulator herschrijft onmiddellijk de toekomst om het resultaat te tonen, terwijl de rest precies hetzelfde blijft. Het heeft zelfs een speciale "shared noise"-modus, wat is als het hebben van twee identieke tweelingen: de één leeft zijn normale leven, en de ander krijgt een specifieke behandeling. Omdat zij tweelingen zijn, is elk verschil in hun levens gegarandeerd veroorzaakt door die behandeling, en niet door willekeurig geluk.

De onderzoekers gebruikten DoTime om een specifiek idee te testen: Wordt een AI beter in het oplossen van echte problemen door te trainen op deze "Wat als?"-verhalen dan door alleen normale verhalen te bekijken? Ze zetten een eerlijke race op tussen twee AI-modellen van exact dezelfde grootte. Het ene model werd alleen getraind op normale, observationele verhalen (kijken naar wat er gebeurt). Het andere werd getraind op de "Wat als?"-interventieverhalen. De resultaten waren duidelijk en meetbaar: het model dat getraind was op de "Wat als?"-interventieverhalen kreeg vaker de richting van de oorzaak-gevolgrelatie juist dan de een die alleen toekeek. In hun simulaties gaf deze "interventionele training" de AI een meetbaar voordeel, waarbij de nauwkeurigheid met ongeveer 8 tot 9 procentpunten verbeterde ten opzichte van de observationele tweeling.

De auteurs zijn echter voorzichtig om niet te beweren dat ze de problemen van de wereld hebben opgelost. Ze sluiten expliciet de mogelijkheid uit dat de AI gewoon geluk had of dat het simpelweg de antwoorden heeft uit het hoofd geleerd. Ze testten de AI op verschillende soorten verhalen, verschillende tijdsduur en zelfs op echte wereldgegevens (zoals windtunnelexperimenten en reacties op medicijnen) om te zien of de vaardigheden konden worden overgedragen. Hoewel de AI liet zien dat het algemene data kon verwerken, waren de resultaten gemengd; het was goed in het voorspellen van het algemene "niveau" van een uitkomst, maar had soms moeite met het volgen van de kleine, snelle trillingen in de data. Dit suggereert dat hoewel DoTime een krachtige nieuwe trainingsgrond is, de AI nog steeds aan het leren is en nog niet perfect is.

Kortom, DoTime is een enorme, open-source speeltuin waarmee wetenschappers betere "tijdreis"-detectives kunnen bouwen. Het bewijst dat het leren aan een AI om verschillende toekomsten te visualiseren het slimmer maakt in het begrijpen van oorzaak en gevolg, maar het laat ons ook precies zien waar deze digitale breinen nog struikelen. Het is een instrument voor het bouwen van betere modellen, geen toverstaf die alles van de ene op de andere dag oplost.

Technische Samenvatting: DoTime

Probleemstelling

Huidige benchmarks voor causale inferentie in tijdreeksen zijn overwegend observationeel, kleinschalig of beperkt tot specifieke domeinen. Dit laat een kritieke kloof achter in het evalueren van interventionele en contrafactische schattingen, die essentieel zijn voor toepassingen met een hoog risico, zoals de gezondheidszorg, beleidsevaluatie en klimaatwetenschap. Bestaande tools lijden onder drie belangrijke beperkingen:

Observationele Bias: Generatoren zoals Dream3 en NetSim richten zich op structurele ontdekking in plaats van effectschatting ($p(Y|do(A))$), waarbij modellen worden getraind op data die hen nooit blootstelt aan interventies.
Schaalbaarheidsproblemen: Real-world interventionele datasets (bijv. Causal Chambers) zijn te klein om foundation models te trainen.
Statische Beperkingen: Statische benchmarks (ACIC, IHDP) negeren temporele dynamiek, terwijl recente dynamische benchmarks (CausalDynamics) zich richten op grafiekherstel uit observationele data in plaats van op de schatting van interventionele effecten.

Gevolglik worden modellen die getraind zijn om $do(\cdot)$ -queries te beantwoorden, vaak gefit en gescoord op puur observationele data ( $p(Y|A)$ ), wat een scheefgroei creëert die het vermogen tot echte causale redenering niet valideert.

Methodologie: Het DoTime-framework

DoTime is een open, schaalbare en theoretisch gefundeerde generator van multivariate Temporele Structurele Causale Modellen (TSCM's). Het opereert via een pipeline die structurele priors sampleert, trajecten simuleert onder zowel observationele als interventionele condities, en exacte grondwaarheidstargets levert.

Kerncomponenten

Temporele Structurele Causale Modellen (TSCM's):
- Gedefinieerd door een verzameling grafieken $\mathcal{G} = (G_0, G_{1:K})$ , waarbij $G_0$ een instantane DAG is en $G_{1:K}$ vertraagde adjacenties zijn.
- De dynamiek volgt $X^i_t = f_i(Pa^0_i(X_t), Pa^{1:K}_i(X_{t-1:t-K})) + \varepsilon^i_t$ .
- Interventies overschrijven het mechanisme $f_i$ voor doelgerichte knopen over specifieke tijdsvensters.
Grondwaarheidsniveaus (Pearl's Hiërarchie):
- Niveau 2 (Interventioneel): De geïntervenieerde arm trekt verse exogene ruis uit de prior $P(\varepsilon)$ .
- Niveau 3 (Contrafactisch): De geïntervenieerde arm hergebruikt dezelfde ruisstroom $\varepsilon$ die de observationele traject genereerde. DoTime's continuous-time suite genereert bij constructie Niveau 3 contrafactische scenario's; discrete-time suites leveren Niveau 2 interventionele tweelingen.
Belangrijke Uitbreidingen ten opzichte van Voorgaande Generatoren:
- Interventietypes: Ondersteunt harde ( $do(A_t=v)$ ), zachte (additieve verschuivingen) en tijdvariërende interventies.
- Continuous-Time Vensters: Generaliseert single-step interventies naar vensters $do(A[t_0, t_1]=v)$ met behulp van Euler–Maruyama integratie van onderliggende SDE's. Dit maakt irreguliere observatiegrids (gejitterd of Poisson) mogelijk.
- Contrafactische Modus: Bevat een "positivity guard" die interventiewaarden afkapt binnen de geobserveerde support ( $\hat{\mu} \pm 3\hat{\sigma}$ ), waardoor onderscheid wordt gemaakt tussen extrapolatieve en in-support contrafactische scenario's.
- Regime-Switching: Implementeert sticky-Markov regime-ketens over SCM-parameters, wat Interrupted Time Series (ITS) designs generaliseert naar stochastische switches en meerdere regimes.
Grafiek- en Mechanisme-priors:
- Grafieken: $G_0$ is Erdős–Rényi met acycliciteit gegarandeerd door constructie (boven-triangulaire masker). Vertraagde randen volgen geometrische afname.
- Mechanismen: Uniform gesampled uit een diverse set inclusief lineair, tanh, sin, cos, ReLU, en composities.
- Ruis: Schalen gesampled uit verschoven exponentialen.

Belangrijkste Bijdragen

Het artikel brengt het DoTime-ecosysteem uit, bestaande uit:

Het dotime PyPI-pakket: Bevat de generator, suite loaders en evaluatieharnas.
Vier Bevroren Evaluatie-suites:
- dot-Identifiability-v1: 10.800 trajecten over 8 benoemde identificatiestructuren (bijv. Back-Door, Front-Door, Instrumental Variable, Unobserved Confounder).
- dot-RegimeSwitch-v1: 10.000 trajecten met regime-densiteiten van 2, 3 of 5.
- dot-Continuous-v1: 10.000 trajecten met continuous-time interventievensters en variërende query-offsets.
- dot-Generic-100k: 100.000 trajecten uit de volledige diverse prior, groot genoeg voor het pre-trainen van foundation models.
Referentie Baselines: Implementaties van heuristieken (TrajMean, AR1), klassieke methoden (VAR, BackDoorOLS, IV2SLS), en een Do-Over-Time-PFN (Prior-Fitted Network) getraind op zowel interventionele als observationele contexten.

Resultaten

Het artikel evalueert de Do-Over-Time-PFN tegenover baselines en een observationele tweeling van identieke capaciteit.

Metriekbeperkingen: Op deze niet-lineaire TSCM's zijn standaard RMSE-metrieken bijna verzadigd (modellen clusteren rond gemiddelden). Het artikel beargumenteert dat richtingsnauwkeurigheid (het voorspellen van het teken van het effect) het discriminerende signaal is voor causale kwaliteit.
Interventionele vs. Observationele Training:
- Een model getraind op interventionele data ( $PFN_{int}$ ) presteert consistent beter dan een identiek model getraind op enkel observationele data ( $PFN_{obs}$ ) in termen van richtingsnauwkeurigheid.
- Grootte van het Gat: Op de Identifiability-suite bereikt $PFN_{int}$ een nauwkeurigheid van 0,66 versus 0,57 voor $PFN_{obs}$ (+0,08 gat). Op Generic is het gat +0,04.
- Robuustheid: Dit voordeel blijft standhouden over drie trainings-seeds, vier trajectlengtes ( $T \in \{200, 500, 1000, 2000\}$ ), en drie identificatiestructuren (Back-Door, Front-Door, IV). Het geaggregeerde gat is +0,09 met een seed-naar-seed standaarddeviatie van slechts 0,005.
Test-Time Context: Het voordeel wordt toegeschreven aan interventionele pre-training, en niet louter aan het zien van de interventiewaarde op testtijd. Observationele modellen (TabPFN, Chronos-2) die de interventiewaarde op testtijd kregen, vertoonden geen nauwkeurigheidsgat.
Zero-Shot Transfer: De synthetisch getrainde PFN wordt overgedragen naar real-world domeinen (Causal Chambers windtunnel en Warfarin farmacokinetica). Hoewel het geen hoogfrequente micro-oscillaties volgt, slaagt het er succesvol in om de grove regime-verplaatsing (post-interventie operationeel niveau) te herstellen waar naïeve baselines falen.

Betekenis en Claims

Het artikel positioneert DoTime als de eerste open, schaalbare benchmark specifiek voor interventionele en contrafactische tijdreeksen. De primaire claim is een falsifieerbare hypothese: Interventionele training levert een meetbaar voordeel in richtingsnauwkeurigheid op ten opzichte van een observationeel model van identieke capaciteit.

De auteurs demonstreren dat:

Causaal Begrip: De benchmark isoleert succesvol causaal begrip bij een vaste capaciteit, waar traditionele regressiemetrieken falen.
Noodzaak van Synthetische Data: Real-world interventionele data zijn schaars; DoTime biedt een principieel, theoretisch gefundeerd alternatief voor het trainen van foundation models.
Beperkingen: De auteurs zijn bescheiden over de scope. De huidige suites gebruiken $N \le 10$ variabelen en $K \le 3$ lags (hoewel de generator meer ondersteunt). De synthetische data dekken nog geen trending/seizoensgebonden confounders of partiële observeerbaarheid buiten verborgen confounders. De transferresultaten naar real-world data worden gepresenteerd als bewijs van concept voor "regime relocation" in plaats van een competitieve dominantie over domeinspecifieke tools.

Samenvattend biedt DoTime de infrastructuur om de causale inferentie in tijdreeksen te verplaatsen van structurele ontdekking op observationele data naar rigoureuze effectschatting onder interventie, waarbij wordt gevalideerd dat het trainen op synthetische interventionele data modellen oplevert met superieur causaal redeneervermogen.