Interventional Time Series Priors for Causal Foundation Models

Each language version is independently generated for its own context, not a direct translation.

🌧️ Le Prédicteur de la Pluie et le "Simulateur de Monde"

Imaginez que vous voulez apprendre à un enfant à prédire la météo. Vous lui montrez des photos de nuages (données d'observation) et vous lui dites : "Si ces nuages sont là, il va pleuvoir". L'enfant apprend bien, mais il a un problème : il ne sait pas ce qui se passerait si vous décidiez d'arrêter la pluie artificiellement avec un grand parapluie géant.

C'est exactement le problème que rencontrent les intelligences artificielles (IA) aujourd'hui lorsqu'elles essaient de comprendre les causes dans des données qui évoluent dans le temps (comme la météo, les actions boursières ou la santé d'un patient).

Les chercheurs Dennis Thumm et Ying Chen de l'Université Nationale de Singapour ont créé une solution qu'ils appellent CausalTimePrior. Voici comment cela fonctionne, en utilisant des analogies simples.

1. Le Problème : L'IA qui ne voit que le monde "tel qu'il est"

Actuellement, les IA sont très bonnes pour observer le monde. Elles voient que "quand il y a du vent, les arbres bougent". Mais elles ne savent pas répondre à la question : "Que se passerait-il si je coupais le vent ?".

Pour apprendre à une IA à répondre à cette question (ce qu'on appelle l'inférence causale), il faut lui montrer des exemples où l'on a modifié la réalité.

Le hic : Dans le monde réel, on ne peut pas faire des expériences sur tout (on ne peut pas arrêter le vent ou changer le cœur d'un patient juste pour voir ce qui se passe).
Le résultat : Les IA actuelles n'ont pas assez d'exemples de "mondes alternatifs" pour apprendre à prédire les conséquences d'une action.

2. La Solution : Un "Simulateur de Univers" (CausalTimePrior)

Les auteurs ont créé un générateur de mondes virtuels. Imaginez un jeu vidéo ultra-réaliste où vous pouvez :

Créer un monde avec ses propres règles (par exemple : "Ici, le café cause de l'insomnie").
Observer ce monde tel qu'il se déroule naturellement.
Intervenir : Vous cliquez sur un bouton pour dire "Stop, je force le café à disparaître" ou "Je double la dose de café".
Le simulateur génère instantanément deux versions de l'histoire : celle où le café existe, et celle où vous l'avez supprimé.

C'est ce que fait CausalTimePrior. C'est une usine à fabriquer des données synthétiques (fausses mais réalistes) qui incluent à la fois :

L'observation normale.
L'intervention (ce qui se passe si on change les règles).

3. Les Trois Super-Pouvoirs du Simulateur

Ce simulateur est spécial car il gère trois choses que les autres ne faisaient pas bien ensemble :

Le Temps qui change (Dynamique temporelle) : Contrairement à une photo fixe, ici tout bouge. Le café pris à 8h influence l'humeur à 10h, qui influence l'humeur à 12h. Le simulateur comprend ces chaînes de causalité dans le temps.
Les Changements de Règles (Régimes) : Parfois, les règles du monde changent ! Imaginez que soudainement, le café ne cause plus d'insomnie parce que tout le monde a changé de marque de café. Le simulateur peut créer ces "changements de régime" pour apprendre à l'IA à s'adapter.
Tous les types d'interventions :
- Dur : "Je supprime totalement le café."
- Doux : "Je réduis légèrement la dose."
- Variable : "Je change la dose chaque jour."

4. L'Enseignant Universel (Le Modèle "Foundation")

Une fois que le simulateur a généré des millions de ces scénarios (observés + intervenus), ils entraînent une IA (un "Prior-Data Fitted Network" ou PFN).

Pensez à cette IA comme à un super-étudiant qui a lu des millions de livres de science-fiction sur des mondes parallèles.

Quand vous lui donnez une nouvelle situation réelle (par exemple : "Voici les données d'un patient qui a pris un médicament"), elle ne se contente pas de chercher des corrélations.
Elle se souvient de ses millions de simulations : "Ah, dans 50 000 mondes similaires, quand on a retiré ce médicament, la santé s'est améliorée. Donc ici aussi, c'est probablement la cause."

5. Le Résultat : Une IA qui comprend le "Pourquoi"

Dans leurs expériences, cette IA entraînée sur leur simulateur a réussi à :

Distinguer ce qui est une vraie cause de ce qui est juste une coïncidence (corrélation).
Prédire ce qui se passerait si on intervenait, même sans avoir vu ce cas précis auparavant.

En résumé :
Les chercheurs ont construit un terrain de jeu virtuel infini où l'on peut tester des millions de "Et si ?". En entraînant une IA sur ce terrain de jeu, ils lui donnent la capacité de devenir un médecin, un économiste ou un météorologue qui ne se contente pas de regarder le passé, mais qui peut vraiment prédire l'impact de ses actions sur le futur.

C'est une étape cruciale pour créer des IA qui ne sont pas seulement de bons observateurs, mais de véritables compréhendeurs de la causalité.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article "Interventional Time Series Priors for Causal Foundation Models", présenté à l'atelier ICLR 2026 Time Series in the Age of Large Models (TSALM).

1. Problématique et Contexte

L'essor des modèles de fondation (Foundation Models), en particulier les réseaux ajustés sur des données antérieures (Prior-Data Fitted Networks ou PFN), a révolutionné l'inférence causale sur des données tabulaires (ex: Do-PFN, CausalFM). Ces modèles sont pré-entraînés sur des distributions synthétiques de processus génératifs de données, permettant une estimation des effets causaux "en contexte" (in-context learning) sans réentraînement spécifique par tâche.

Cependant, l'extension de ces PFN causaux aux séries temporelles se heurte à un obstacle fondamental : l'absence de générateurs de données synthétiques adaptés.

Les benchmarks existants (CausalTime, TimeGraph, CauseMe) fournissent des séries temporelles avec des graphes causaux véritables (ground-truth), mais se limitent aux données observationnelles.
Pour entraîner un modèle causal fondamental capable de prédire les résultats sous intervention, il est impératif d'avoir des paires de données : observations et interventions.
Les rares générateurs supportant des interventions (CAnDOIT, TECDI, CaTSG) souffrent de limitations majeures : mécanismes linéaires, interventions statiques uniquement, ou absence de dynamiques de changement de régime (regime-switching).

2. Méthodologie : CausalTimePrior

Les auteurs proposent CausalTimePrior, un cadre principiel pour générer des Modèles Structurels Causaux Temporels (TSCM) synthétiques accompagnés de séries temporelles appariées (observationnelles et interventionnelles).

A. Modélisation des TSCM

Le cadre repose sur la définition d'une distribution a priori $\Pi$ sur les TSCM discrets :

Structure du graphe ( $G$ ) : Un DAG temporel avec des arêtes instantanées ( $G_0$ ) et des retards ( $G_k$ ). La taille du graphe, le nombre de retards et la probabilité d'arêtes sont échantillonnés aléatoirement. Les arêtes sont générées via un modèle d'Erdős-Rényi avec ordre topologique pour garantir l'acyclicité.
Mécanismes structurels ( $F$ ) : Les équations structurelles sont non linéaires. Chaque variable $X^{(i)}_t$ est une fonction de ses parents (avec retards) plus un bruit. Les fonctions d'activation sont tirées d'un ensemble diversifié (identité, sinus, cosinus, tanh, valeur absolue, carré, exponentielle négative) pour couvrir une large gamme de dynamiques temporelles.
Bruit ( $\epsilon$ ) : Des distributions variées (Gaussienne, Uniforme, Laplace) sont utilisées.

B. Types d'Interventions

Le générateur supporte trois types d'interventions, essentiels pour l'entraînement robuste :

Interventions "Hard" (do-operator) : Remplacement de la variable par une constante $c$ , coupant les arêtes entrantes.
Interventions "Soft" : Perturbation du mécanisme structurel par un décalage $\delta$ ajouté au bruit.
Interventions Temporelles Variables : La valeur de l'intervention suit un profil dynamique (pas, rampe, sinusoïde, trajectoire échantillonnée) au cours du temps.

C. Dynamiques de Changement de Régime (Regime-Switching)

Une contribution majeure est l'intégration de modèles à changement de régime (Markov Switching Models).

Le système peut basculer entre $R$ régimes différents ( $dt \in \{1, \dots, R\}$ ) selon une chaîne de Markov "sticky" (forte persistance).
Chaque régime possède son propre graphe causal $G^{(r)}$ et ses propres mécanismes $F^{(r)}$ .
Cela permet de simuler des ruptures structurelles réalistes où les relations causales changent au cours du temps.

D. Pipeline de Génération

Pour chaque exemple d'entraînement :

Échantillonnage d'un TSCM $S$ (graphe, mécanismes, bruit).
Définition d'une spécification d'intervention (cibles, temps, type, valeurs).
Simulation avant (forward simulation) pour générer la série observationnelle $X^{obs}_{1:T}$ .
Simulation sous intervention $do(X^{(I)}_{t_I} = c)$ pour générer la série interventionnelle $X^{int}_{1:T}$ .
Construction du tuple d'entraînement : $(X^{obs}, \text{spécification}, Y^{int})$ .

3. Contributions Clés

Premier générateur unifié : CausalTimePrior est le premier générateur à combiner des mécanismes non linéaires, des interventions variées (hard/soft/temporelles) et des dynamiques de changement de régime.
Support des PFN causaux temporels : Il comble le vide en fournissant les données d'intervention nécessaires pour pré-entraîner des modèles de fondation sur des séries temporelles.
Validation de la diversité : Le prior génère des graphes avec des motifs canoniques (confuseurs, médiateurs, colliers) et couvre une large gamme de tailles de graphes et de magnitudes d'effets.
Preuve de concept : Démonstration qu'un PFN simple entraîné sur ce prior peut distinguer les effets causaux des corrélations spurious.

4. Résultats Expérimentaux

Les auteurs ont entraîné un PFN simple (2 couches GRU, 128 dimensions cachées) sur 100 000 TSCM générés par CausalTimePrior.

Performance sur la détection causale :
- Le modèle apprend à distinguer les requêtes causales des non-causales.
- Pour les variables intervenues (intervened), le ratio Prédiction/Vérité (Pred/GT) est de 0,95.
- Pour les variables non-causales (sans lien causal avec l'intervention), le ratio chute à 0,46, indiquant que le modèle prédit correctement un effet nul (ou très faible) malgré les corrélations observées.
Comparaison avec les bases :
- Le modèle atteint un RMSE comparable à un modèle VAR (Vector Autoregression) ajusté spécifiquement par dataset (176,45 vs 176,45), mais sans nécessiter de réentraînement par échantillon.
- Il surpasse les méthodes basées sur la corrélation (VAR) dans les cas de corrélations spurious : sur un cas test, l'erreur de prédiction du PFN était 177 fois plus faible que celle du VAR pour une requête non-causale.
Ablation sur les types d'interventions :
- L'entraînement sur un mélange d'interventions (hard, soft, temporelles) améliore la précision de la direction de l'effet (70,4% vs 63,9% pour un modèle entraîné uniquement sur des interventions "hard").
Généralisation Hors Distribution (OOD) :
- Le modèle perd en performance sur des graphes plus denses et des mécanismes plus complexes, mais conserve une capacité à distinguer les variables causales des non-causales.

5. Signification et Perspectives

Signification :
Cet article établit une voie vers des modèles de fondation pour l'inférence causale temporelle. En fournissant un prior synthétique riche et réaliste incluant des interventions, il permet d'entraîner des modèles capables de raisonner sur les effets de politiques ou d'interventions dans des environnements dynamiques, sans avoir besoin de données d'intervention réelles (souvent rares ou coûteuses).

Limitations et Futur :

Le cadre actuel suppose un bruit markovien et des dynamiques discrètes.
Les graphes sont échantillonnés via Erdős-Rényi sans stratification explicite sur les motifs causaux complexes.
Travaux futurs : Extension aux processus en temps continu (via des ODE/SDE neurales), intégration de données semi-synthétiques réelles, et passage à des architectures de transformeurs plus puissantes pour capturer des dépendances temporelles plus longues.

En résumé, CausalTimePrior est un outil fondamental pour passer de l'inférence causale "statique" ou purement observationnelle vers une inférence causale dynamique et interventionnelle à l'échelle des grands modèles.