🤖 machine learning

DoTime: A Synthetic Benchmark Generator for Interventional and Counterfactual Time Series

L'article présente DoTime, un générateur de bancs d'essai synthétiques évolutif et théoriquement fondé pour les modèles causaux structurels temporels multivariés qui répond au manque de données de séries temporelles interventionnelles et contrefactuelles en fournissant des outils ouverts, des suites d'évaluation avec une vérité terrain exacte, et des preuves empiriques que l'entraînement interventionnel améliore la précision de la direction causale par rapport aux modèles observationnels.

Auteurs originaux : Dennis Thumm, Billy Tim Anthony, Ying Chen

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dennis Thumm, Billy Tim Anthony, Ying Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que les seuls indices dont vous disposez soient une pile de vieilles photos poussiéreuses. Vous pouvez voir ce qui s'est passé dans le passé, mais vous ne pourrez jamais voir ce qui serait arrivé si quelqu'un avait fait un choix différent. C'est la lutte quotidienne des scientifiques qui étudient la « causalité » — l'art de comprendre ce qui cause quoi. Dans le monde réel, nous nous contentons souvent d'observer les choses se produire (données observationnelles), comme regarder une plante pousser au soleil. Mais pour vraiment comprendre la cause et l'effet, nous devons poser des questions de type « Et si ? » (contrefactuels). Et si nous arrosions la plante à la place ? Et si nous éteignions les lumières ? Pour répondre à ces questions « Et si ? », nous devons généralement mener des expériences, mais dans certains domaines comme la médecine ou la science du climat, mener des expériences peut être dangereux, coûteux ou même impossible.

Ainsi, les scientifiques ont commencé à construire des « simulateurs » — des mondes numériques où ils peuvent mener des expériences en toute sécurité. Ils créent des données fictives qui suivent les règles de la cause et de l'effet, entraînent leurs cerveaux informatiques (modèles d'IA) sur ces données fictives, puis espèrent que ces cerveaux seront assez intelligents pour résoudre des mystères du monde réel. La grande question est : comment savoir si ces mondes de test numériques sont assez bons ? Si le simulateur est trop simple, l'IA apprendra les mauvaises leçons. S'il est trop désordonné, nous ne pourrons pas dire si l'IA est réellement intelligente ou simplement chanceuse. Nous avons besoin d'un terrain de jeu parfait, équitable et stimulant pour tester ces détectives IA avant qu'ils ne partent dans le monde réel.

Entrez dans DoTime, un nouvel outil créé par les chercheurs Dennis Thumm, Billy Tim Anthony et Ying Chen. Considérez DoTime comme le « simulateur de vol » ultime pour les détectives voyageant dans le temps. C'est un programme informatique qui génère des millions d'histoires fictives et complexes sur la façon dont les choses changent au fil du temps, complètes avec un « corrigé » secret qui vous indique exactement ce qui se passerait si vous changiez l'intrigue.

L'article présente DoTime comme un moyen de combler une lacune majeure dans la manière de tester l'IA. La plupart des mondes de test existants ne montrent à l'IA que ce qui s'est passé, et non ce qui aurait pu se passer. DoTime est différent car il permet à l'IA de pratiquer la pensée « interventionnelle ». Il crée des scénarios où l'on peut dire : « D'accord, dans cette histoire, prétendons que nous avons donné un médicament différent au patient », et le simulateur réécrit instantanément le futur pour montrer le résultat, tout en gardant tout le reste exactement pareil. Il possède même un mode spécial de « bruit partagé », qui est comme avoir des jumeaux identiques : l'un vit sa vie normale et l'autre reçoit un traitement spécifique. Parce qu'ils sont jumeaux, toute différence dans leurs vies est garantie d'être causée par ce traitement, et non par la chance ou le hasard.

Les chercheurs ont utilisé DoTime pour tester une idée spécifique : l'entraînement d'une IA sur ces histoires de « Et si ? » la rend-il meilleure pour résoudre des problèmes réels que la simple observation d'histoires normales ? Ils ont organisé une course équitable entre deux modèles d'IA de même taille. Un modèle a été entraîné uniquement sur des histoires observationnelles normales (observer ce qui arrive). L'autre a été entraîné sur les histoires d'intervention « Et si ? ». Les résultats ont été clairs et mesurables : le modèle entraîné sur les histoires d'intervention « Et si ? » a systématiquement obtenu le bon sens de la relation de cause à effet plus souvent que celui qui se contentait d'observer. Dans leurs simulations, cet « entraînement interventionnel » a donné à l'IA un avantage mesurable, améliorant sa précision d'environ 8 à 9 points de pourcentage par rapport à son jumeau observationnel.

Cependant, les auteurs prennent garde à ne pas prétendre avoir résolu les problèmes du monde. Ils excluent explicitement l'idée que l'IA ait simplement eu de la chance ou qu'elle ait simplement mémorisé les réponses. Ils ont testé l'IA sur différents types d'histoires, sur différentes durées de temps, et même sur des données réelles (comme des expériences en soufflerie et des réactions médicamenteuses) pour voir si les compétences étaient transférables. Bien que l'IA ait montré qu'elle pouvait gérer des données réelles, les résultats ont été mitigés ; elle était douée pour prédire le « niveau » général d'un résultat, mais peinait parfois à suivre les minuscules oscillations rapides des données. Cela suggère que, bien que DoTime soit un nouveau terrain d'entraînement puissant, l'IA est encore en apprentissage et n'est pas encore parfaite.

En bref, DoTime est un terrain de jeu massif et en libre accès (open-source) qui permet aux scientifiques de construire de meilleurs détectives du « voyage dans le temps ». Il prouve qu'enseigner à une IA à imaginer différents futurs la rend plus intelligente pour comprendre la causalité, mais il nous montre aussi précisément là où ces cerveaux numériques trébuchent encore. C'est un outil pour construire de meilleurs modèles, et non une baguette magique qui règle tout du jour au lendemain.

Résumé Technique : DoTime

Énoncé du Problème

Les bancs d'essai actuels pour l'inférence causale dans les séries temporelles sont principalement observationnels, de petite échelle ou restreints à des domaines spécifiques. Cela laisse une lacune critique dans l'évaluation de l'estimation interventionnelle et contrefactuelle, qui sont essentielles pour les applications à enjeux élevés comme la santé, l'évaluation des politiques ou les sciences climatiques. Les outils existants souffrent de trois limitations principales :

Biais Observationnel : Des générateurs comme Dream3 et NetSim se concentrent sur la découverte structurelle plutôt que sur l'estimation d'effets ($p(Y|do(A))$), entraînant des modèles sur des données qui ne les exposent jamais aux interventions.
Problèmes d'Échelle : Les jeux de données interventionnels réels (ex. : Causal Chambers) sont trop petits pour entraîner des modèles de fondation (foundation models).
Limitations Statiques : Les benchmarks statiques (ACIC, IHDP) ignorent la dynamique temporelle, tandis que les récents benchmarks dynamiques (CausalDynamics) se concentrent sur la récupération de graphes à partir de données observationnelles plutôt que sur l'estimation d'effets interventionnels.

Par conséquent, les modèles entraînés pour répondre à des requêtes $do(\cdot)$ sont souvent ajustés et évalués sur des données purement observationnelles ( $p(Y|A)$ ), ce qui crée un biais qui échoue à valider les véritables capacités de raisonnement causal.

Méthodologie : Le Cadre DoTime

DoTime est un générateur ouvert, scalable et théoriquement fondé de Modèles Structurels Causaux Temporels (TSCMs) multivariés. Il opère via un pipeline qui échantillonne des priors structurels, simule des trajectoires sous des conditions tant observationnelles qu'interventionnelles, et fournit des cibles de vérité terrain exactes.

Composants Clés

Modèles Structurels Causaux Temporels (TSCMs) :
- Définis par une collection de graphes $\mathcal{G} = (G_0, G_{1:K})$ , où $G_0$ est un DAG instantané et $G_{1:K}$ sont des adjacences décalées (lagged).
- La dynamique suit $X^i_t = f_i(Pa^0_i(X_t), Pa^{1:K}_i(X_{t-1:t-K})) + \varepsilon^i_t$ .
- Les interventions remplacent le mécanisme $f_i$ pour des nœuds ciblés sur des fenêtres temporelles spécifiques.
Niveaux de Vérité Terrain (Hiérarchie de Pearl) :
- Niveau 2 (Interventionnel) : Le bras sous intervention tire un nouveau bruit exogène à partir du prior $P(\varepsilon)$ .
- Niveau 3 (Contrefactuel) : Le bras sous intervention réutilise le même flux de bruit $\varepsilon$ qui a généré la trajectoire observationnelle. La suite en temps continu de DoTime génère des contrefactuels de Niveau 3 par construction ; les suites en temps discret fournissent des jumeaux interventionnels de Niveau 2.
Extensions Clés au-delà des Générateurs Préexistants :
- Types d'Intervention : Supporte les interventions fortes ( $do(A_t=v)$ ), douces (décalages additifs) et variables dans le temps.
- Fenêtres en Temps Continu : Généralise les interventions d'un pas unique à des fenêtres $do(A[t_0, t_1]=v)$ en utilisant l'intégration d'Euler–Maruyama des SDE (équations différentielles stochastiques) sous-jacentes. Cela permet des grilles d'observation irrégulières (jittered ou Poisson).
- Modes Contrefactuels : Inclut une « garde de positivité » qui limite les valeurs d'intervention au support observé ( $\hat{\mu} \pm 3\hat{\sigma}$ ), distinguant les contrefactuels d'extrapolation de ceux d'in-support.
- Changement de Régime (Regime-Switching) : Implémente des chaînes de Markov à mémoire (sticky-Markov) sur les paramètres des SCM, généralisant les designs de séries temporelles interrompues (ITS) à des commutations stochastiques et des régimes multiples.
Priors de Graphe et de Mécanisme :
- Graphes : $G_0$ est un Erdős–Rényi avec une acyclicité garantie par construction (masque upper-triangular). Les arêtes décalées suivent une décroissance géométrique.
- Mécanismes : Échantillonnés uniformément parmi un ensemble diversifié incluant linéaire, tanh, sin, cos, ReLU, et des compositions.
- Bruit : Les échelles sont échantillonnées à partir d'exponentielles décalées.

Contributions Clés

L'article publie l'écosystème DoTime, comprenant :

Le package PyPI dotime : Contient le générateur, les chargeurs de suites et la structure d'évaluation.
Quatre Suites d'Évaluation Gelées :
- dot-Identifiability-v1 : 10 800 trajectoires à travers 8 structures d'identification nommées (ex. : Back-Door, Front-Door, Variable Instrumentale, Confondeur Non Observé).
- dot-RegimeSwitch-v1 : 10 000 trajectoires avec des densités de régime de 2, 3 ou 5.
- dot-Continuous-v1 : 10 000 trajectoires avec des fenêtres d'intervention en temps continu et des décalages de requête variables.
- dot-Generic-100k : 100 000 trajectoires issues du plein éventail de priors diversifiés, dimensionnées pour le pré-entraînement de modèles de fondation.
Lignes de Base de Référence : Implémentations d'heuristiques (TrajMean, AR1), de méthodes classiques (VAR, BackDoorOLS, IV2SLS), et d'un Do-Over-Time-PFN (Prior-Fitted Network) entraîné sur des contextes tant interventionnels qu'observationnels.

Résultats

L'article évalue le Do-Over-Time-PFN par rapport aux baselines et à un jumeau observationnel de capacité identique.

Limites des Métriques : Sur ces TSCMs non linéaires, les métriques RMSE standards sont presque saturées (les modèles se regroupent autour des moyennes). L'article soutient que la précision de la direction (prédire le signe de l'effet) est le signal discriminant pour la qualité causale.
Entraînement Interventionnel vs Observationnel :
- Un modèle entraîné sur des données interventionnelles ( $PFN_{int}$ ) surpasse systématiquement un modèle identique entraîné uniquement sur des données observationnelles ( $PFN_{obs}$ ) en termes de précision de direction.
- Ampleur de l'écart : Sur la suite Identifiability, $PFN_{int}$ atteint une précision de 0,66 contre 0,57 pour $PFN_{obs}$ (écart de +0,08). Sur Generic, l'écart est de +0,04.
- Robustesse : Cet avantage persiste à travers trois graines (seeds), quatre longueurs de trajectoire ( $T \in \{200, 500, 1000, 2000\}$ ) et trois structures d'identification (Back-Door, Front-Door, IV). L'écart moyen est de +0,09 avec une déviation standard inter-seed de seulement 0,005.
Contexte au Moment du Test : L'avantage est attribué à l'entraînement interventionnel, et non simplement au fait de voir la valeur d'intervention au moment du test. Les modèles observationnels (TabPFN, Chronos-2) recevant la valeur d'intervention au test ne montrent aucun écart de précision.
Transfert Zero-Shot : Le PFN entraîné sur les données synthétiques est transférable à des domaines réels (soufflerie Causal Chambers et pharmacocinétique de la Warfarine). Bien qu'il ne suive pas les micro-oscillations à haute fréquence, il parvient à récupérer avec succès la relocalisation de régime grossière (le niveau de fonctionnement post-intervention) là où les baselines naïves échouent.

Signification et Revendications

L'article positionne DoTime comme le premier benchmark ouvert et scalable spécifiquement conçu pour les séries temporelles interventionnelles et contrefactuelles. Sa principale revendication est une hypothèse falsifiable : L'entraînement interventionnel procure un avantage mesurable de précision de direction par rapport à un modèle observationnel de capacité identique.

Les auteurs démontrent que :

Compréhension Causale : Le benchmark isole avec succès la compréhension causale à capacité fixe, là où les métriques de régression traditionnelles échouent.
Nécessité des Données Synthétiques : Les données interventionnelles réelles sont rares ; DoTime fournit une alternative fondée sur des principes et la théorie pour l'entraînement de modèles de fondation.
Limitations : Les auteurs font preuve de modestie quant à la portée. Les suites actuelles utilisent $N \le 10$ variables et $K \le 3$ décalages (bien que le générateur supporte plus). Les données synthétiques ne couvrent pas encore les facteurs de confusion de tendance/saisonnalité ou la partialité d'observation au-delà des confondeurs cachés. Les résultats de transfert aux données réelles sont présentés comme une preuve de concept de "relocalisation de régime" plutôt que comme une dominance compétitive sur les outils spécifiques au domaine.

En résumé, DoTime fournit l'infrastructure nécessaire pour faire passer l'inférence causale des séries temporelles de la simple découverte structurelle sur données observationnelles à l'estimation rigoureuse d'effets sous intervention, validant le fait que l'entraînement sur des données interventionnelles synthétiques produit des modèles dotés de capacités de raisonnement causal supérieures.