Interventional Time Series Priors for Causal Foundation Models

Each language version is independently generated for its own context, not a direct translation.

Immagina di voler insegnare a un'intelligenza artificiale a capire come funziona il mondo, non solo a prevedere cosa succederà.

Fino a poco tempo fa, le intelligenze artificiali erano come studenti che imparano a memoria le risposte di un libro di testo: vedono un problema, cercano la soluzione simile che hanno già visto e la ripetono. Ma se il mondo cambia un po', si perdono.

I ricercatori di questo paper (dall'Università Nazionale di Singapore) hanno creato un nuovo modo per addestrare queste "super-intelligenze" a capire la causalità (cioè: "se faccio X, succede Y?") nei dati che cambiano nel tempo, come le azioni in borsa, il meteo o i battiti cardiaci.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: Manca il "Laboratorio di Scienza"

Immagina di voler insegnare a un medico a curare una malattia.

Il metodo vecchio: Gli dai solo foto di pazienti malati e sani (dati osservativi) e gli chiedi di indovinare chi è malato. Lui impara a riconoscere i sintomi, ma non sa cosa causa la malattia.
Il problema reale: Per insegnare a un medico a curare, devi fargli fare esperimenti: "Cosa succede se diamo questo farmaco?". Ma non puoi fare esperimenti su pazienti reali senza rischiare la loro vita.
La situazione attuale: Esistono molti simulatori di dati temporali (come il meteo o l'economia), ma sono tutti "osservativi". Nessuno ha mai creato un simulatore che ti permetta di fare esperimenti virtuali sicuri (es. "Cosa succede se interrompo il flusso di energia a mezzogiorno?"). Senza questi esperimenti, l'AI non impara davvero la causalità.

2. La Soluzione: "CausalTimePrior" (Il Simulatore Universale)

Gli autori hanno creato CausalTimePrior, che è come un videogioco di fisica infinitamente generabile.

Invece di usare dati reali (che sono limitati), questo software inventa milioni di mondi virtuali diversi ogni secondo:

Crea una città immaginaria con 10 persone.
Decide le regole: "Se Marco ride, Anna ride dopo 2 secondi".
Poi, il simulatore fa un esperimento: "E se Marco non ride mai? Cosa succede ad Anna?".
Registra sia la versione normale (osservazione) sia la versione modificata (intervento).

L'analogia del cuoco:
Immagina un cuoco che vuole imparare a cucinare.

Prima: Mangiava solo piatti già pronti (dati osservativi). Sapeva che "se c'è sale, è salato", ma non sapeva perché.
Ora (con CausalTimePrior): Il cuoco ha un laboratorio magico. Può creare milioni di ricette diverse, aggiungere o togliere ingredienti a caso, e vedere esattamente come cambia il sapore. Dopo aver provato milioni di varianti, il cuoco impara le regole della cucina (la causalità) e può prevedere il sapore di un piatto che non ha mai cucinato prima, solo guardando gli ingredienti.

3. Cosa rende questo speciale? (I "Superpoteri")

Questo simulatore è molto più avanzato dei precedenti perché gestisce situazioni complesse della vita reale:

Cambi di regime: A volte le regole cambiano. Immagina di guidare: di giorno le regole sono "segni rossi = stop". Di notte, con la nebbia, le regole cambiano ("segni rossi = rallenta"). Il simulatore sa gestire questi cambiamenti improvvisi.
Interventi flessibili: Non si limita a dire "blocca tutto". Può simulare:
- Hard: "Spegni la luce" (taglio netto).
- Soft: "Abbassa il volume" (cambiamento graduale).
- Temporale: "Accendi la luce solo per 5 minuti".

4. Il Risultato: L'AI che "Pensa"

Hanno addestrato una rete neurale (chiamata PFN) usando questo simulatore.

Il test: Hanno dato all'AI dati reali mai visti prima e le hanno chiesto: "Se avessimo fatto questo intervento, cosa sarebbe successo?".
Il successo: L'AI è riuscita a distinguere tra correlazione (due cose che accadono insieme per caso) e causalità (una cosa che causa l'altra).
- Esempio: Se vedi che quando piove i tetti sono bagnati, l'AI capisce che la pioggia causa l'umidità. Se vedi che quando suona la campanella della scuola i bambini escono, capisce che la campanella causa l'uscita, non il contrario.
- Inoltre, l'AI ha fatto meglio di metodi statistici classici quando c'erano "falsi segnali" (correlazioni ingannevoli).

In sintesi

Questo paper ci dice che per creare un'intelligenza artificiale che capisca davvero il mondo e possa aiutarci a prendere decisioni migliori (in medicina, economia, clima), non basta guardarla mentre osserva il mondo. Dobbiamo darle un laboratorio virtuale dove può fare milioni di esperimenti sicuri, imparando le leggi della causa ed effetto prima di incontrarle nella realtà.

È come passare dall'insegnare a un bambino a riconoscere le ombre, all'insegnargli a capire come la luce crea quelle ombre.

Each language version is independently generated for its own context, not a direct translation.

Ecco una sintesi tecnica dettagliata del paper "Interventional Time Series Priors for Causal Foundation Models", presentato al workshop TSALM di ICLR 2026.

1. Il Problema

L'articolo affronta una lacuna fondamentale nell'applicazione dei Foundation Models (modelli fondazione) all'inferenza causale sulle serie temporali.

Contesto: I Prior-Data Fitted Networks (PFN) hanno dimostrato grande successo nell'inferenza causale su dati tabellari (es. Do-PFN, CausalFM), apprendendo distribuzioni condizionali interventionali tramite pre-addestramento su dati sintetici.
Ostacolo: Estendere questo approccio alle serie temporali è bloccato dalla mancanza di generatori di dati sintetici adeguati. Le attuali benchmark (come CausalTime, TimeGraph, CauseMe) forniscono serie temporali con grafici causali "ground-truth", ma generano solo dati osservazionali.
Conseguenza: Senza dati interventionali (risultati sotto intervento), non è possibile addestrare modelli capaci di stimare gli effetti causali (es. "cosa succederebbe se intervenissimo su X?"), che è il compito centrale dell'inferenza causale.

2. Metodologia: CausalTimePrior

Gli autori propongono CausalTimePrior, un framework principiato per generare serie temporali strutturali causali (TSCM) sintetiche, fornendo coppie di dati osservazionali e interventionali.

A. Modello Temporale (TSCM)

Il framework si basa sui Dynamic Structural Causal Models (DSCM) in tempo discreto:

Grafico: Un DAG (Directed Acyclic Graph) con ritardi temporali, composto da archi istantanei ( $G_0$ ) e archi ritardati ( $G_k$ ).
Equazioni Strutturali: $X_t^{(i)} = f_i(Pa(X_t^{(i)})) + \epsilon_t^{(i)}$ , dove le funzioni $f_i$ possono essere non lineari.
Rumore: Campionato da distribuzioni diverse (Gaussiana, Uniforme, Laplace).

B. Priori di Campionamento

Il sistema campiona i parametri del modello da distribuzioni a priori:

Grafico: Numero di variabili ( $N$ ), lag massimi ( $K$ ) e probabilità degli archi (modello Erdős-Rényi con ordinamento topologico per garantire l'acicità).
Meccanismi: Una famiglia diversificata di funzioni non lineari (identità, seno, coseno, tanh, esponenziale, ecc.) per coprire dinamiche temporali complesse.
Regimi (Regime-Switching): Una novità chiave. Il framework supporta TSCM con cambi di regime guidati da catene di Markov, dove la struttura causale e i meccanismi cambiano nel tempo (es. $X_t = f^{(d_t)}(Pa(X_t))$ ).

C. Tipologie di Interventi

Il framework genera dati interventionali modificando le equazioni strutturali secondo tre tipi di intervento:

Hard Interventions ( $do(X=c)$ ): Sostituzione del valore della variabile target, tagliando gli archi in ingresso.
Soft Interventions: Perturbazione del meccanismo (aggiunta di uno shift $\delta$ ).
Time-Varying Interventions: Interventi che variano nel tempo (es. step, rampa, sinusoidale).

D. Pipeline di Generazione

Per ogni esempio di addestramento:

Campionamento di un TSCM ( $S$ ) dal prior.
Campionamento delle specifiche di intervento (target, tempi, tipo, valori).
Simulazione forward per generare la serie osservazionale ( $X_{obs}$ ).
Simulazione forward sotto intervento ( $do(X=c)$ ) per generare la serie interventional ( $X_{int}$ ).
Creazione della tupla di addestramento: $(X_{obs}, \text{specifica intervento}, Y_{int})$ .

3. Contributi Chiave

Primo Prior per TSCM con Interventi: CausalTimePrior è il primo generatore che produce dati temporali strutturati causalmente con coppie osservazionali/interventionali, abilitando l'addestramento di PFN causali.
Supporto per Dinamiche a Regime: Introduce per la prima volta la generazione di dati interventionali in contesti con cambi di struttura causale nel tempo (regime-switching), un aspetto critico per i dati reali ma spesso ignorato.
Versatilità degli Interventi: Supporta interventi hard, soft e variabili nel tempo, superando le limitazioni dei generatori precedenti (che spesso supportavano solo interventi hard statici o solo su nodi noti).
Dimostrazione di Concetto: Validazione empirica che un PFN addestrato su questo prior può stimare effetti causali "in-context" (senza ri-addestramento specifico per dataset).

4. Risultati Sperimentali

Gli autori hanno generato un dataset di 100.000 TSCM e addestrato un PFN semplice (basato su GRU a 2 strati) per valutare l'efficacia.

Validazione del Prior:
- Diversità strutturale: Copertura di grafici con $N \in [3, 10]$ , lag fino a 3, e 15% di modelli a regime-switching.
- Stabilità: 0% di divergenze numeriche (NaN/Inf).
- Qualità dei dati: Le serie interventionali mantengono statistiche simili a quelle osservazionali, evitando artefatti fuori distribuzione.
Performance del Modello (PFN):
- Distinzione Causale: Il modello distingue efficacemente tra query causali e non causali. Il rapporto Predizione/Verità (Pred/GT) è 0.95 per le query sull'obiettivo dell'intervento, 0.85 per le variabili a valle (downstream), e scende a 0.46 per variabili non causali (indicando che il modello predice correttamente un effetto nullo).
- Confronto con Baseline: Il PFN raggiunge un RMSE comparabile a un modello VAR (Vector Autoregression) addestrato specificamente per dataset, ma senza richiedere adattamento per dataset (zero-shot/in-context).
- Robustezza alle Correlazioni Spurie: In casi di forte correlazione osservazionale ma assenza di causalità, il PFN predice correttamente un effetto nullo, mentre i modelli basati su correlazione (come VAR) falliscono con errori elevati.
Ablazione: L'addestramento su una miscela di tipi di intervento (hard, soft, time-varying) migliora l'accuratezza nella direzione dell'effetto rispetto all'addestramento su soli interventi hard.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

Abilita i Foundation Models Causali per le Serie Temporali: Risolve il collo di bottiglia dei dati, fornendo la "benzina" (dati sintetici interventionali) necessaria per pre-addestrare modelli di grandi dimensioni.
Generalizzazione: Dimostra che è possibile apprendere principi causali generali da dati sintetici e applicarli a nuovi scenari (in-context learning), riducendo la necessità di costosi esperimenti reali o addestramenti specifici per ogni dominio.
Futuro della Ricerca: Apre la strada a simulatori di mercato, sistemi di raccomandazione e modelli di salute pubblica capaci di rispondere a domande controfattuali ("Cosa succederebbe se cambiassimo la politica X?") in modo scalabile e adattivo.

In sintesi, CausalTimePrior colma il divario tra la teoria dei modelli causali temporali e la pratica dei foundation models, fornendo un framework robusto per generare dati di addestramento che includono sia la struttura causale che le dinamiche di intervento necessarie per l'inferenza causale moderna.