🤖 machine learning

DoTime: A Synthetic Benchmark Generator for Interventional and Counterfactual Time Series

Il documento introduce DoTime, un generatore di benchmark sintetici scalabile e teoricamente fondato per modelli causali strutturali temporali multivariati che affronta la mancanza di dati di serie temporali intervensionali e controfattuali fornendo strumenti open, suite di valutazione con verità fondamentale esatta ed evidenza empirica del fatto che l'addestramento intervensionale migliori l'accuratezza della direzione causale rispetto ai modelli osservazionali.

Autori originali: Dennis Thumm, Billy Tim Anthony, Ying Chen

Pubblicato 2026-07-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Dennis Thumm, Billy Tim Anthony, Ying Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero, ma gli unici indizi che hai sono una pila di vecchie foto polverose. Puoi vedere cosa è successo nel passato, ma non potrai mai vedere cosa sarebbe successo se qualcuno avesse fatto una scelta diversa. Questo è lo sforere quotidiano per gli scienziati che studiano la "causalità" — l'arte di capire cosa causa cosa. Nel mondo reale, spesso ci limitiamo a osservare le cose che accadono (dati osservazionali), come osservare una pianta che cresce al sole. Ma per comprendere davvero il rapporto di causa ed effetto, dobbiamo porre domande del tipo "E se?" (controfattuali). E se avessimo annaffiato la pianta invece? E se avessimo spento le luci? Per rispondere a queste domande "E se?", di solito dobbiamo eseguire esperimenti, ma in campi come la medicina o la scienza del clima, eseguire esperimenti può essere pericoloso, costoso o impossibile.

Così, gli scienziati hanno iniziato a costruire dei "simulatori" — mondi digitali dove possono eseguire esperimenti in sicurezza. Creano dati finti che seguono le regole di causa ed effetto, addestrano i loro cervelli informatici (modelli di IA) su questi dati finti e poi sperano che questi cervelli siano abbastanza intelligenti da risolvere misteri del mondo reale. La grande domanda è: come facciamo a sapere se questi mondi di test digitali sono abbastanza validi? Se il simulatore è troppo semplice, l'IA imparerà le lezioni sbagliate. Se è troppo caotico, non potremo dire se l'IA sia effettivamente intelligente o solo fortunata. Abbiamo bisogno di un campo da gioco perfetto, equo e stimolante per testare questi detective dell'IA prima che escano nel mondo reale.

Entra in scena DoTime, uno strumento nuovo creato dai ricercatori Dennis Thumm, Billy Tim Anthony e Ying Chen. Pensa a DoTime come all'ultimo "simulatore di volo" per detective che viaggiano nel tempo. È un programma per computer che genera milioni di storie finte e complesse su come le cose cambiano nel tempo, complete di una "chiave di risposta" segreta che ti dice esattamente cosa accadrebbe se cambiassi la trama.

Il documento presenta DoTime come un modo per colmare una lacuna fondamentale nel modo in cui testiamo l'IA. La maggior parte dei mondi di test esistenti mostra all'IA solo ciò che è accaduto, non ciò che avrebbe potuto accadere. DoTime è diverso perché permette all'IA di esercitare il pensiero "interventistico". Crea scenari in cui puoi dire: "Ok, in questa storia, facciamo finta di aver somministrato un farmaco diverso al paziente", e il simulatore riscrive istantaneamente il futuro per mostrarne il risultato, mantenendo tutto il resto esattamente uguale. Possiede persino una speciale modalità a "rumore condiviso", che è come avere due gemelli identici: uno vive la sua vita normale, e l'altro riceve un trattamento specifico. Poiché sono gemelli, qualsiasi differenza nelle loro vite è garantita dal fatto che sia causata da quel trattamento, e non dalla fortuna casuale.

I ricercatori hanno usato DoTime per testare un'idea specifica: addestrare un'IA su queste storie "E se?" la rende più brava a risolvere problemi reali rispetto al semplice osservare storie normali? Hanno organizzato una gara equa tra due modelli di identiche dimensioni. Un modello è stato addestrato solo su storie osservazionali normali (osservare ciò che accade). L'altro è stato addestrato sulle storie di intervento "E se?". I risultati sono stati chiari e misurabili: il modello addestrato sulle storie "E se?" ha costantemente centrato la direzione della causa e dell'effetto con maggiore frequenza rispetto a quello che si è limitato a osservare. Nelle loro simulazioni, questo "addestramento interventistico" ha dato all'IA un vantaggio misurabile, migliorando la sua precisione di circa 8 o 9 punti percentuali rispetto al suo gemello osservazionale.

Tuttavia, gli autori sono cauti nel non affermare di aver risolto i problemi del mondo. Escludono esplicitamente l'idea che l'IA sia stata solo fortunata o che abbia semplicemente memorizzato le risposte. Hanno testato l'IA su diversi tipi di storie, diverse durate temporali e persino su dati del mondo reale (come esperimenti in galleria del vento e reazioni ai farmaci) per vedere se le competenze fossero trasferibili. Sebbene l'IA abbia dimostrato di poter gestire dati reali, i risultati sono stati contrastanti; era brava a prevedere il "livello" generale di un esito, ma a volte faticava a tracciare i piccoli e veloci sussulti nei dati. Ciò suggerisce che, sebbene DoTime sia un nuovo campo di addestramento potente, l'IA sta ancora imparando e non è ancora perfetta.

In breve, DoTime è un enorme campo da gioco open-source che permette agli scienziati di costruire migliori detective del "viaggio nel tempo". Dimostra che insegnare a un'IA a immaginare futuri diversi la rende più intelligente nel comprendere il rapporto di causa ed effetto, ma ci mostra anche esattamente dove questi cervelli digitali ancora inciampano. È uno strumento per costruire modelli migliori, non una bacchetta magica che risolve tutto la notte.

Riepilogo Tecnico: DoTime

Problematica

I benchmark attuali per l'inferenza causale nelle serie temporali sono prevalentemente osservativi, su piccola scala o limitati a domini specifici. Ciò lascia un vuoto critico nella valutazione della stima interventistica e controfattuale, essenziale per applicazioni ad alto rischio come la sanità, la valutazione delle politiche pubbliche e la scienza climatica. Gli strumenti esistenti soffrono di tre limitazioni principali:

Bias Osservativo: Generatori come Dream3 e NetSim si concentrano sulla scoperta strutturale piuttosto che sulla stima dell'effetto ($p(Y|do(A)$), addestrando i modelli su dati che non espongono mai l'intervento.
Problemi di Scalabilità: I dataset interventistici reali (es. Causal Chambers) sono troppo piccoli per addestrare modelli di fondazione.
Limitazioni Statiche: I benchmark statici (ACIC, IHDP) ignorano la dinamica temporale, mentre i recenti benchmark dinamici (CausalDynamics) si concentrano sul recupero del grafo da dati osservativi piuttosto che sulla stima dell'effetto interventistico.

Di conseguenza, i modelli addestrati per rispondere a query $do(\cdot)$ sono spesso adattati e valutati su dati puramente osservativi ( $p(Y|A)$ ), creando una distorsione che non riesce a validare le reali capacità di ragionamento causale.

Metodologia: Il Framework DoTime

DoTime è un generatore aperto, scalabile e teoricamente fondato di Modelli Strutturali Causali Temporali (TSCM) multivariati. Opera tramite una pipeline che campiona prior strutturali, simula traiettorie sotto condizioni sia osservative che interventistiche e fornisce target esatti di verità fondamentale (ground-truth).

Componenti Core

Modelli Strutturali Causali Temporali (TSCM):
- Definiti da una collezione di grafi $\mathcal{G} = (G_0, G_{1:K})$ , dove $G_0$ è un DAG istantaneo e $G_{1:K}$ sono adiacenze ritardate (lagged).
- La dinamica segue $X^i_t = f_i(Pa^0_i(X_t), Pa^{1:K}_i(X_{t-1:t-K})) + \varepsilon^i_t$ .
- Gli interventi sovrascrivono il meccanismo $f_i$ per nodi mirati su finestre temporali specifiche.
Livelli di Verità Fondamentale (Gerarchia di Pearl):
- Livello 2 (Interventistico): Il braccio intervenuto estrae un nuovo rumore esogeno dal prior $P(\varepsilon)$ .
- Livello 3 (Controfattuale): Il braccio intervenuto riutilizza lo stesso flusso di rumore $\varepsilon$ che ha generato la traiettoria osservativa. La suite a tempo continuo di DoTime genera controfattuali di Livello 3 per costruzione; le suite a tempo discreto forniscono gemelli interventistici di Livello 2.
Estensioni Chiave rispetto ai Generatori Precedenti:
- Tipi di Intervento: Supporta interventi hard ( $do(A_t=v)$ ), soft (spostamenti additivi) e interventi variabili nel tempo.
- Finestre Temporali Continue: Generalizza gli interventi a singolo step a finestre $do(A[t_0, t_1]=v)$ utilizzando l'integrazione Euler–Maruyama di SDE sottostanti. Ciò consente griglie di osservazione irregolari (jittered o di Poisson).
- Modalità Controfattuali: Include una "guardia di positività" che taglia i valori di intervento al supporto osservato ( $\hat{\mu} \pm 3\hat{\sigma}$ ), distinguendo tra controfattuali estrapolativi ed entro il supporto (in-support).
- Cambio di Regime (Regime-Switching): Implementa catene di regime di tipo Markov a memoria (sticky-Markov) sui parametri degli SCM, generalizzando i design di Serie Temporali Interrotte (ITS) a switch stocastici e molteplici regimi.
Prior di Grafi e Meccanismi:
- Grafi: $G_0$ è un Erdős–Rényi con aciclicità garantita per costruzione (maschera upper-triangular). Gli archi ritardati seguono un decadimento geometrico.
- Meccanismi: Campionati uniformemente da un set diversificato che include funzioni lineari, tanh, sin, cos, ReLU e composizioni.
- Rumore: Scale campionate da esponenziali traslati.

Contributi Chiave

Il paper rilascia l'ecosistema DoTime, che comprende:

Il pacchetto PyPI dotime: Contiene il generatore, le suite di caricamento e l'armatura di valutazione.
Quattro Suite di Valutazione Congelate:
- dot-Identifiability-v1: 10.800 traiettorie attraverso 8 strutture di identificazione nominate (es. Back-Door, Front-Door, Variabile Strumentale, Confounder Non Osservato).
- dot-RegimeSwitch-v1: 10.000 traiettorie con densità di regime di 2, 3 o 5.
- dot-Continuous-v1: 10.000 traiettorie con finestre di intervento a tempo continuo e diversi offset di query.
- dot-Generic-100k: 100.000 traiettorie dal full prior diversificato, dimensionate per il pre-training di modelli di fondazione.
Baseline di Riferimento: Implementazioni di euristiche (TrajMean, AR1), metodi classici (VAR, BackDoorOLS, IV2SLS) e un Do-Over-Time-PFN (Prior-Fitted Network) addestrato sia in contesti interventistici che osservativi.

Risultati

Il paper valuta il Do-Over-Time-PFN rispetto alle baseline e a un gemello osservativo di identica capacità.

Limitazioni delle Metriche: Su questi TSCM non lineari, le metriche standard RMSE sono quasi sature (i modelli si raggruppano attorno alle medie). Il paper sostiene che l'accuratezza della direzione (predire il segno dell'effetto) sia il segnale discriminante per la qualità causale.
Addestramento Interventistico vs Osservativo:
- Un modello addestrato su dati interventistici ( $PFN_{int}$ ) supera costantemente un modello identico addestrato solo su dati osservativi ( $PFN_{obs}$ ) in termini di accuratezza della direzione.
- Entità del Gap: Sulla suite Identifiability, $PFN_{int}$ raggiunge un'accuratezza di 0,66 contro lo 0,57 di $PFN_{obs}$ (gap di +0,08). Su Generic, il gap è +0,04.
- Robustezza: Questo vantaggio persiste attraverso tre seed di addestramento, quattro lunghezze di traiettoria ( $T \in \{200, 500, 1000, 2000\}$ ) e tre strutture di identificazione (Back-Door, Front-Door, IV). Il gap aggregato è di +0,09 con una deviazione standard seed-to-seed di soli 0,005.
Contesto al Tempo di Test: Il vantaggio è attribuito all'addestramento interventistico, non semplicemente al vedere il valore dell'intervento al momento del test. I modelli osservativi (TabPFN, Chronos-2) a cui viene fornito il valore dell'intervento al test non hanno mostrato alcun gap di accuratezza.
Trasferimento Zero-Shot: Il PFN addestrato sul sintetico si trasferisce a domini del mondo reale (Causal Chambers wind tunnel e farmacocinetica del Warfarin). Sebbene non tracci le micro-oscillazioni ad alta frequenza, recupera con successo il riposizionamento del regime (livello operativo post-intervento) dove i baseline ingenui falliscono.

Significato e Rivendicazioni

Il paper posiziona DoTime come il primo benchmark aperto e scalabile specificamente per serie temporali interventistiche e controfattuali. La sua principale rivendicazione è un'ipotesi falsificabile: L'addestramento interventistico garantisce un vantaggio misurabile nell'accuratezza della direzione rispetto a un modello osservativo di identica capacità.

Gli autori dimostrano che:

Comprensione Causale: Il benchmark isola con successo la comprensione causale a capacità fissa, dove le tradizionali metriche di regressione falliscono.
Necessità di Dati Sintetici: I dati interventistici reali sono scarsi; DoTime fornisce un'alternativa fondata e teoricamente rigorosa per l'addestramento di modelli di fondazione.
Limitazioni: Gli autori sono modesti riguardo all'ambito. Le attuali suite utilizzano $N \le 10$ variabili e $K \le 3$ lag (sebbene il generatore supporti di più). I dati sintetici non coprono ancora confounder di trend/stagionalità o l'osservabilità parziale oltre i confounder nascosti. I risultati di trasferimento ai dati reali sono presentati come prova di concetto del "riposizionamento del regime" piuttosto che come dominanza competitiva su strumenti specifici di dominio.

In sintesi, DoTime fornisce l'infrastruttura per spostare l'inferenza causale nelle serie temporali dalla scoperta strutturale su dati osservativi alla rigorosa stima dell'effetto sotto intervento, validando che l'addestramento su dati interventistici sintetici produce modelli con capacità di ragionamento causale superiori.