🤖 machine learning

TabCausal: Pretraining Across Causal Environments for Tabular Causal Discovery

TabCausal est un modèle de fondation pour la découverte causale piloté par les données qui exploite une stratégie de construction de tâches dynamique pour la pré-formation à travers divers environnements causaux, atteignant une performance supérieure et transférable dans la récupération de structures causales à partir de benchmarks synthétiques et sémantiques par rapport aux méthodes existantes.

Auteurs originaux : Zi-Rong Li, Si-Yang Liu, Tian-Zuo Wang, Han-Jia Ye

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zi-Rong Li, Si-Yang Liu, Tian-Zuo Wang, Han-Jia Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de comprendre comment fonctionne une machine complexe. Vous avez devant vous une pile de fiches de données (des tableaux) montrant comment différentes parties de la machine se comportent. Votre objectif est de dessiner une carte montrant quelle partie fait bouger une autre partie. C'est ce qu'on appelle la découverte causale.

Pendant longtemps, les détectives (les scientifiques) ont dû résoudre ce casse-tête à partir de zéro pour chaque nouvelle machine rencontrée. Ils devaient mener des tests complexes, essayer différentes théories et ajuster leurs outils pour chaque cas spécifique. C'était lent, coûteux, et ils restaient parfois bloqués si les données étaient désordonnées ou si la machine était très compliquée.

Ce document présente TabCausal, un nouveau type de « super-détective » qui apprend à résoudre ces énigmes instantanément, peu importe la machine qu'il examine.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le piège du « Taille unique inadaptée »

Les tentatives précédentes pour construire un « super-détective » (appelé Modèles de Fondation de Découverte Causale) revenaient à former un étudiant à résoudre des problèmes mathématiques en utilisant uniquement un type spécifique de manuel scolaire. Si l'étudiant voyait un problème provenant d'un livre différent, il était confus. Il était trop spécialisé. Il ne pouvait pas gérer la variété désordonnée du monde réel.

Les auteurs ont réalisé que le goulot d'étrage n'était pas le cerveau du détective (le modèle d'IA) ; c'était le programme d'entraînement. On entraînait l'IA sur un ensemble d'exemples trop restreint.

2. La Solution : La « Salle de sport causale »

Pour corriger cela, les auteurs ont construit une immense Salle de sport causale (un moteur de pré-entraînement). Au lieu de montrer à l'IA un seul type de machine, ils l'ont jetée dans un terrain d'entraînement chaotique comprenant :

Des Graphes Différents : Certaines machines ont des chaînes d'événements simples ; d'autres ont des hubs, des boucles et des réseaux complexes.
Des Bruits Différents : Parfois, les données sont propres ; d'autres fois, elles sont pleines de parasites, d'anomalies bizarres ou d'erreurs à queue lourde (comme une radio avec une mauvaise réception).
Des Interventions Différentes : Parfois, on se contente de regarder la machine fonctionner ; d'autres fois, on modifie physiquement une pièce (une « intervention ») pour voir comment le reste de la machine réagit.

L'IA, TabCausal, a été entraînée sur des millions de ces scénarios synthétiques diversifiés. Elle a appris les règles universelles de la cause et de l'effet, et non pas seulement les règles spécifiques d'un seul jeu de données.

3. Comment ça marche : L'« Instantané Traducteur »

Une fois entraîné, TabCausal fonctionne comme un traducteur universel.

L'ancienne méthode : Vous donnez un nouveau dossier à un détective. Il passe des heures à lire, à émettre des hypothèses et à tester avant de dessiner une carte.
La méthode TabCausal : Vous remettez le dossier au détective. En un seul coup d'œil rapide (une « passe avant » ou forward pass), il dessine instantanément la carte de cause à effet. Il n'a pas besoin de se réentraîner ou de réapprendre pour chaque nouveau cas.

Si vous avez des données où vous n'avez pas seulement observé, mais aussi modifié des variables (interventions), TabCausal utilise cet indice supplémentaire pour être encore plus précis, surpassant souvent les anciennes méthodes lentes.

4. Le Test « Sémantique » : Au-delà des fausses données

Pour s'assurer qu'il ne se contentait pas de résoudre des problèmes mathématiques fictifs et inventés, les auteurs ont créé un Benchmark Sémantique.

Imaginez qu'ils n'aient pas seulement utilisé des nombres aléatoires. Au lieu de cela, ils ont utilisé une IA pour écrire des histoires réalistes sur des sujets tels que le « flux des patients à l'hôpital », les « embouteillages » ou les « marchés financiers ».
Ils ont transformé ces histoires en tableaux de données avec une « vérité » connue (ils connaissaient la véritable carte).
TabCausal a été testé sur ces jeux de données basés sur des histoires. Il n'a pas seulement mémorisé des motifs ; il a compris la logique de l'histoire suffisamment bien pour reconstruire la carte cachée, même lorsque les données étaient bruitées ou incomplètes.

5. Les Résultats : Le Nouveau Champion

Lorsque les auteurs ont opposé TabCausal aux meilleurs détectives existants (méthodes statistiques traditionnelles et nouveaux modèles d'IA) :

Vitesse : TabCausal est incroyablement rapide car il ne procède pas à une recherche pour chaque nouveau problème.
Précision : Il a systématiquement trouvé la bonne « carte » mieux que les autres, surtout lorsque des données d'intervention étaient disponibles.
Robustesse : Il ne s'est pas effondré quand les données sont devenues désordonnées, quand les graphes sont devenus plus grands ou quand le bruit est devenu bizarre.

L'essentiel

L'article soutient que pour construire une IA réellement intelligente pour trouver des causes, on ne peut pas simplement rendre l'IA plus grande ; il faut rendre son monde d'entraînement plus vaste et plus diversifié. En entraînant TabCusal sur un « univers » vaste et chaotique de scénarios causaux, les auteurs ont créé un modèle capable de regarder un nouveau jeu de données et de comprendre instantanément la structure cachée derrière lui, agissant comme un outil puissant et réutilisable pour la découverte scientifique.

Note : L'article précise explicitement que ces résultats sont basés sur des données synthétiques et des environnements de simulation contrôlés. Il ne prétend pas que le modèle est prêt pour un déploiement clinique dans le monde réel ou qu'il a été testé sur des données de terrain réelles.

Résumé Technique : TabCausal

Énoncé du Problème

La découverte causale vise à récupérer des relations causales dirigées à partir de données observationnelles et interventionnelles, une tâche centrale pour la compréhension mécaniste et la prise de décision fiable dans des domaines tels que la biologie, les sciences de la Terre et la finance. Bien que les méthodes classiques (basées sur les contraintes, sur le score et sur les fonctions) soient efficaces sous des hypothèses spécifiques et avec des données suffisantes, elles peinent souvent dans les régimes complexes, non linéaires, de haute dimension ou limités en données, en raison de conditions de modélisation restrictives et de la nécessité d'une optimisation spécifique au jeu de données.

Les efforts récents pour construire des Modèles de Fondation de Découverte Causale (CDFM) cherchent à amortir ce processus d'inférence, en mappant directement un jeu de données vers un graphe causal en une seule passe directe (forward pass). Cependant, les CDFM existants n'ont pas réussi à égaler systématiquement les solides bases de référence classiques. Les auteurs identifient un goulot d'étranglement clé : la construction des tâches de préentraînement causal. Les générateurs synthétiques étroits limitent les modèles à des priors de graphes, des mécanismes structurels ou des distributions de bruit spécifiques, empêchant l'acquisition de biais inductifs structurels transférables.

Méthodologie : TabCausal

Les auteurs proposent TabCausal, un CDFM piloté par les données, conçu pour surmonter les limites d'un préentraînement étroit grâce à un cadre de « préentraînement causal large ».

1. Moteur de Préentraînement Causal Large

Au lieu de s'appuyer sur une recette de simulateur unique, TabCausal utilise un moteur de construction de tâches dynamique qui échantillonne à partir d'une vaste distribution d'environnements causaux. Chaque épisode de préentraînement tire une configuration $z$ comprenant :

Priors de Graphes : Erdős-Rényi, Scale-Free, Clustered, Hub-Spoke, Layered, et diverses familles structurées (ex: graphes de flux de travail, bifurcations de racines de risque).
Mécanismes Structurels : Une bibliothèque diversifiée incluant l'additivité linéaire, la linéarité hétéroscédastique, les fonctions de Fourier aléatoires (RFF) additives, les MLP (régimes simples et difficiles), le multiplicatif, le polynomial, le post-non linéaire, et divers mécanismes monotones ou à queues lourdes.
Modèles de Bruit : Gaussien, Laplace, Cauchy, Uniforme, Exponentiel, Gumbel, Student-t, et des distributions asymétriques ou mixtes.
Régimes : Contextes uniquement observationnels et contextes mixtes observationnels-interventionnels.
Dimensions et Tailles d'Échantillons : Tailles de graphes ( $d$ ) et nombres d'échantillons ( $N$ ) variables pour assurer la robustesse à travers les échelles.

Ce moteur génère des Modèles Causaux Structurels (SCM) avec des Graphes Acycliques Dirigés (DAG) connus et émet des jeux de données tabulaires avec des masques d'intervention optionnels, créant ainsi une tâche d'apprentissage supervisé où le modèle prédit les probabilités d'arêtes étant donné les données et les indicateurs d'intervention.

2. Architecture du Modèle

TabCausal emploie une architecture encodeur-décodeur basée sur un Transformer optimisée pour les données tabulaires :

Entrée : Un tenseur $X \in \mathbb{R}^{N \times d \times 2}$ empilant les valeurs observées et les indicateurs binaires d'intervention.
Encodeur : Une application linéaire partagée intègre les paires valeur-indicateur. Le cœur consiste en $L$ blocs alternant une attention axiale sur l'axe des caractéristiques et sur l'axe des échantillons. Cette conception capture les dépendances entre variables au sein des lignes et les régularités entre échantillons au sein des colonnes.
Pooling & Tête : Les sorties de l'encodeur sont soumises à un max-pooling sur les échantillons pour obtenir des jetons de caractéristiques (feature tokens). Des projections apprenables pour les parents et les enfants ( $W_p, W_c$ ) sont appliquées, et les scores d'arêtes sont calculés via une similitude cosinus normalisée avec une température et un biais apprenables. La sortie est une matrice de probabilités d'arêtes dirigées $\hat{P} \in (0, 1)^{d \times d}$ .
Inférence : Le modèle réalise une inférence amortie en une seule passe directe sans réentraînement ou optimisation spécifique au jeu de données.

3. Benchmark d'Environnement Causal Sémantique

Pour combler le fossé entre les générateurs synthétiques abstraits et le raisonnement réaliste, les auteurs introduisent un benchmark d'environnement causal sémantique.

Construction : Des plans de domaines spécifiés par l'humain (ex: santé, finance, transport urbain) définissent des modèles de mécanismes et des contraintes. Un processus de génération assisté par LLM instancie des spécifications de scénarios avec des variables sémantiquement significatives, des justifications d'arêtes et des leviers d'intervention.
Validation : Les spécifications subissent des audits de cohérence et sont compilées en SCM avec des DAG connus par le simulateur.
Portée : 10 domaines thématiques, 100 scénarios et 200 tâches de régime de jeu de données (observationnel et interventionnel mixte), présentant des « motifs d'échec » spécifiques comme la pression de file d'attente, l'échec de détection et l'interprétation de proxy.

Résultats Clés

Benchmarks Synthétiques

Évalué sur sept familles synthétiques hétérogènes (incluant le non-linéaire basé sur GP, le linéaire et le bruit multiplicatif) pour des tailles de graphes $d \in \{5, 10, 20\}$ :

Performance Globale : TabCausal atteint le meilleur rang moyen macro tant dans les régimes observationnels qu'interventionnels mixtes.
Gain Interventionnel : Le modèle montre des gains de performance particulièrement forts lorsque des preuves interventionnelles sont disponibles, atteignant les meilleurs scores agrégés F1, SHD (Structural Hamming Distance) et SID (Structural Intervention Distance) parmi les méthodes applicables.
Comparaison : Il surpasse les bases de référence classiques (PC, GIES, LiNGAM, NOTEARS) et d'autres méthodes amorties (AVICI, SEA, SDCD).

Benchmark Sémantique

Sur le benchmark sémantique ancré dans le domaine :

Observationnel : TabCausal obtient le deuxième meilleur F1 et le plus bas SHD parmi les méthodes applicables, étant compétitif avec GIES.
Mixte-Interventionnel : TabCausal obtient les meilleurs scores F1, SHD et SID, démontrant une exploitation efficace des masques d'intervention dans des scénarios sémantiquement ancrés.
Robustesse : La performance reste élevée à travers divers motifs d'échec (ex: échec de mesure, pression de file d'attente), indiquant une généralisation au-delà des motifs sémantiques spécifiques.

Mise à l'échelle et Analyse

Taille d'Échantillon : TabCausal bénéficie significativement de l'augmentation de la taille des échantillons, devenant l'une des méthodes les plus fortes dans les régimes de taille moyenne à grande, particulièrement sur les tâches non linéaires.
Haute Dimension : Le modèle reste compétitif dans les contextes de haute dimension ( $d \in \{50, 100, 300\}$ ) où de nombreuses bases de référence basées sur l'optimisation expirent ou échouent.
Embeddings : La visualisation des plongements (embeddings) appris révèle que le modèle capture des structures de rôles fonctionnels (ex: moteurs amont vs conséquences aval) cohérentes avec la sémantique causale des données.
Efficacité : TabCausal réalise l'inférence en une seule passe directe (environ 0,9s pour $d=100$ ), ce qui est nettement plus rapide que les bases de référence itératives par optimisation qui dépassent souvent le délai d'expiration de 5 minutes.

Signification et Revendications

L'article soutient que l'échelle, la diversité et la stratégie de construction des environnements de préentraînement causal sont les goulots d'étranglement critiques pour les Modèles de Fondation de Découverte Causale. En déplaçant l'attention de la simple mise à l'échelle d'un prédicteur vers la conception des « mondes causaux » à partir desquels il apprend, TabCausal démontre qu'un préentraînement causal large est un ingrédient clé pour une découverte causale amortie transférable.

Les auteurs affirment que :

Un préentraînement large est essentiel : Les études d'ablation confirment qu'élargir la distribution de préentraînement (prior fort vs prior faible) produit des gains de performance substantiels, validant que des environnements causaux diversifiés favorisent la généralisation.
L'inférence amortie est viable : TabCusal réalise une récupération de structure robuste avec une inférence en une seule passe, offrant une alternative légère aux méthodes lourdes basées sur l'optimisation.
L'ancrage sémantique compte : L'introduction du benchmark sémantique fournit une évaluation OOD (hors distribution) plus stricte et plus interprétable, montrant que les gains du modèle s'étendent à des scénarios avec une sémantique de domaine explicite et des goulots d'étranglement réalistes.

L'article fait preuve de modestie concernant le déploiement dans le monde réel, notant que les preuves sont ancrées dans des environnements sémantiques synthétiques et contrôlés par simulateur. Il reconnaît les défis restants, notamment l'ambiguïté observationnelle, la mise à l'échelle en haute dimension, ainsi que l'absence de gestion des facteurs de confusion cachés, des boucles de rétroaction cycliques ou des structures temporelles.