📊 statistics

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

Cet article introduit le Modèle de Fondation pour la Découverte Causale (CDFM), un cadre unifié et polyvalent qui exploite une approche variationnelle fondée sur des principes et un pré-entraînement massif sur des modèles causaux synthétiques pour parvenir à l'inférence structurelle zero-shot, surmontant ainsi les limites de scalabilité des algorithmes traditionnels de découverte causale spécifiques à un jeu de données.

Auteurs originaux : Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de résoudre un mystère : qui a causé quoi ? Vous avez un tas d'indices (des données) montrant comment différentes choses se sont produites ensemble, mais vous n'avez pas de témoin pour vous raconter l'histoire. Pendant des décennies, les détectives ont dû choisir un « livre de règles » spécifique pour chaque cas. Un livre disait : « Supposons que tout soit une ligne droite ! » Un autre disait : « Supposons que le bruit soit bizarre et accidenté ! » Si vous choisissiez le mauvais livre de règles pour le mauvais cas, votre solution était médiocre.

Ce document présente un nouveau type de détective : CDFM (Causal Discovery Foundation Model). Au lieu de choisir un livre de règles, le CDFM est comme un apprenti super intelligent qui a lu chaque livre de règles possible de l'univers avant même de voir un vrai cas.

L'ancienne méthode vs La nouvelle méthode

L'ancienne méthode (la lutte par « tests dirigés ») :
Imaginez que vous ayez une chambre en désordre (vos données). L'ancienne méthode dit : « Le désordre est-il causé par une tornade ? Vérifions si le vent était non-gaussien ! Est-ce causé par un chat ? Vérifions si le bruit est additif ! » Vous devez lancer une douzaine de tests différents, deviner lequel convient et, si vous vous trompez, vous recommencez tout. C'est lent, fragmenté et cela échoue lorsque la pièce est trop en désordre ou trop étrange.

La nouvelle méthode (CDFM) :
Le CDFM saute l'étape du jeu de devettes. Il regarde la chambre en désordre et dit : « J'ai vu des millions de chambres comme celle-ci durant mon entraînement. » Il n'a pas besoin que vous lui disiez si les données sont linéaires ou non linéaires. Il regarde simplement les motifs et dessine la carte de qui a causé quoi. C'est un détective « zero-shot », ce qui signifie qu'il peut résoudre un tout nouveau type de mystère sans avoir besoin d'être réentraîné au préalable.

Comment a-t-il appris autant de choses ? (Le « terrain de jeu synthétique »)

Vous vous demandez peut-être : « Comment un ordinateur peut-il tout savoir sur la cause et l'effet ? » Les auteurs ne l'ont pas nourri avec des données du monde réel (qui sont désordonnées et ont souvent des réponses manquantes). À la place, ils ont construit un jeu vidéo massif et infini.

Dans ce jeu, ils ont généré 15 familles différentes de mondes fictifs. Certains mondes avaient des règles de lignes droites, d'autres des règles courbes et sauvages, certains avaient des variables « fantômes » cachées qui tiraient les ficelles en coulisses, et d'autres avaient des morceaux de données manquants. Ils ont créé 10 tailles différentes pour ces mondes, allant de petits puzzles de 10 variables à des structures massives de 100 variables. Ils ont également varié le nombre d'indices, de 500 jusqu'à 4 000 observations.

Le CDFM a joué dans ce jeu vidéo pendant longtemps, apprenant à reconnaître les « empreintes » de différentes causes. Il a appris que si un motif ressemble à un certain type de bruit, c'est probablement un certain type de cause ; s'il ressemble à un autre, c'est un autre type de cause.

Le tour de magie : « L'inférence variationnelle »

Voici la partie ingénieuse. Le document soutient que vous ne pouvez pas simplement deviner la réponse ; vous devez mathématiquement prouver que votre supposition est la seule qui correspond. Les auteurs ont utilisé un tour mathématique appelé inférence variationnelle.

Voyez cela comme suit : le CDFM ne se contente pas de dire « Je pense que A a causé B ». Il dit : « Je vais imaginer chaque façon possible dont A aurait pu causer B, les peser toutes, et choisir celle qui fait le plus de sens avec les données. » Il traite les « règles » du monde comme des variables cachées qu'il tente de découvrir en même temps qu'il découvre la structure. Cela garantit que si les mathématiques disent qu'une direction est impossible, le CDFM ne la devinera pas.

Est-ce que cela a vraiment fonctionné ? (La preuve)

Les auteurs n'ont pas seulement dit : « Ça a l'air cool. » Ils l'ont mis à l'épreuve de trois manières :

Le parcours du combattant synthétique : Ils ont jeté le CDFM sur les 15 types de mondes fictifs qu'il n'avait pas vus lors de la phase finale de test.
- Le résultat : Le CDFM a gagné. Dans un test avec 4 000 échantillons, il a obtenu un AUROC de 0,888 (une mesure de précision où 1,0 est parfait). La méthode suivante, TabCausal, n'a obtenu que 0,786. Même quand le puzzle devenait énorme (100 variables), le CDFM restait solide avec un AUROC supérieur à 0,87, tandis que les autres s'effondraient.
- La leçon : Cela suggère que le CDFM peut gérer une grande variété de situations désordonnées, semblables au monde réel, sans avoir besoin d'un livre de règles spécifique.
Le test du monde réel : Ils l'ont testé sur des données réelles, comme un système physique appelé Causal Chamber (où des tunnels de lumière et des capteurs créent une physique réelle) et le benchmark Tübingen (des paires du monde réel comme « la taille cause le poids »).
- Le résultat : Sur la tâche Causal Chamber A1, le CDFM a obtenu un AUROC de 0,952, battant le suivant (TabCausal à 0,930). Sur le benchmark Tübingen, il a obtenu 67,1 % de précision, dépassant le précédent record de 63,8 %.
- La leçon : Les compétences apprises dans le jeu vidéo se sont réellement transférées à la vie réelle.
Le test d'« honnêteté » : Les auteurs voulaient s'assurer que le CDFM ne devinait pas aveuglément. Ils l'ont testé dans des situations où, mathématiquement, personne ne peut connaître la réponse (comme lorsque deux choses sont parfaitement symétriques).
- Le résultat : Quand les mathématiques disent « il est impossible de le dire », la précision du CDFM chute à 0,5 (ce qui revient à deviner comme on lance une pièce de monnaie). Quand les mathématiques disent « il est possible de le savoir », sa précision grimpe à 1,0.
- La leçon : Cela suggère que le CDFM respecte les lois de la logique. Il sait quand il ne devrait pas connaître la réponse.

Ce qu'il ne peut pas faire (Les règles)

Le document est très clair sur ce que le CDFM n'est pas.

Il n'est pas une baguette magique qui supprime le besoin d'hypothèses. Le document stipule explicitement que vous devez avoir des hypothèses causales ; le CDFM apprend simplement un large spectre de celles-ci au lieu d'une seule.
Il n'est pas parfait en tout. Dans des cas très spécifiques et simples (comme un monde parfaitement linéaire avec un bruit non-gaussien), des outils plus anciens et spécialisés comme DirectLiNGAM peuvent encore être légèrement plus performants. Le CDFM est un « généraliste », pas un « spécialiste » pour une petite niche précise.
Les résultats sur les données réelles sont mesurés sur des benchmarks spécifiques (Causal Chamber, Tübingen). Le document ne prétend pas avoir résolu la découverte causale pour chaque problème de l'univers, mais seulement qu'il fonctionne remarquablement bien à travers une immense gamme de problèmes.

Bonus : La pièce manquante

Comme effet secondaire de son entraînement, le CDFM est aussi devenu très doué pour combler les pièces manquantes d'un puzzle. Si vous lui donnez un ensemble de données avec des trous, il peut deviner quels étaient les chiffres manquants. Dans les tests, il a battu les méthodes standards comme Mean ou KNN, atteignant une Erreur Absolue Moyenne (MAE) de 0,452 pour les données continues et 0,717 pour les données discrètes.

L'essentiel à retenir

Ce document suggère un changement majeur : au lieu de construire un nouvel outil spécialisé pour chaque nouveau type de données, nous pourrions être capables de construire un seul cerveau géant pré-entraîné qui comprend le langage de la cause et de l'effet. Ce n'est pas une solution pour tous les mystères du monde, mais c'est un pas de géant vers un détective capable d'entrer dans n'importe quelle pièce, d'observer les indices et de dire : « J'ai déjà vu cela. Voici la carte. »

Résumé technique : CDFM : Vers un modèle de fondation pour la découverte causale à usage général

Énoncé du problème

La découverte causale, le processus de récupération des structures causales sous-jacentes à partir de données observationnelles, repose traditionnellement sur un paradigme fragmenté piloté par des tests. Les algorithmes existants sont méticuleusement conçus pour des mécanismes causaux spécifiques (par exemple, la non-gaussianité linéaire, le bruit additif ou des contraintes d'indépendance spécifiques). Par conséquent, ces méthodes excellent uniquement lorsque leurs hypothèses sous-jacentes sont strictement respectées. Dans les scénarios réels caractérisés par des données hétérogènes et des processus générateurs inconnus, les praticiens sont confrontés à une boucle exhaustive de sélection manuelle d'algorithmes, de vérification d'hypothèses et de réévaluation de tests statistiques. Cette approche spécifique aux données ne parvient pas à passer à l'échelle pour répondre aux exigences de la découverte scientifique moderne et peine à se généraliser à travers divers mécanismes causaux inconnus.

Méthodologie

Les auteurs proposent le Causal Discovery Foundation Model (CDFM), un cadre unifié conçu pour l'inférence structurelle zero-shot à travers des mécanismes causaux hétérogènes et initialement inconnus. La méthodologie est ancrée dans un cadre variationnel principiel qui jette un pont entre la théorie de l'identifiabilité causale et la conception d'architectures de deep learning.

1. Fondement théorique : Décomposition variationnelle

L'intuition théorique centrale est que la découverte causale sous des mécanismes inconnus est un problème de sélection de modèle bayésien. Puisque le mécanisme causal réel $M^*$ est inconnu, le modèle doit marginaliser sur un vaste espace d'hypothèses de mécanismes $\mathcal{M}$ .

Frontières d'identifiabilité : L'article établit que sans contraintes, la direction causale est mathématiquement impossible à identifier (Théorème 1). Cependant, si l'espace des mécanismes $\mathcal{M}$ satisfait une propriété d'« identifiabilité d'espace strict », la vraisemblance marginale exacte identifie de manière unique le graphe réel (Théorème 3).
Inférence variationnelle : Le calcul direct de la vraisemblance marginale est intraitable. CDFM formule le problème en utilisant l'inférence variationnelle, introduisant une distribution paramétrée $Q(M|X)$ $Q (M ∣ X)$ pour approximer la distribution a posteriori sur les mécanismes. Cela produit une borne inférieure de l'évidence (ELBO) qui décompose l'objectif d'apprentissage en trois composantes traitables :
1. Inférence du mécanisme : $Q(M|X)$ , extrayant les empreintes statistiques (propriétés du bruit, non-linéarités) pour inférer les encodages de mécanismes latents.
2. Reconstruction des données : $\log P(X|G, M)$ , garantissant que le mécanisme et le graphe inférés expliquent les données observées (signal auto-supervisé).
3. Inférence du graphe : $\log P(G|M)$ , décodant le graphe structurel conditionné par le mécanisme encodé.

2. Conception de l'architecture

L'architecture de CDFM reflète explicitement la décomposition variationnelle :

Embedding par colonne et attention alternée : Les données d'entrée (gérant les valeurs manquantes via un canal d'indicateur binaire) sont encodées à l'aide d'un Set Transformer pour capturer les distributions marginales. Une pile de blocs d'attention alternant lignes et colonnes intègre les dépendances conjointes pour paramétrer la distribution du mécanisme latent $Q(M|X)$ .
Reconstruction des données (Imputation) : Un bloc résiduel prédit les valeurs quantiles conditionnelles pour les entrées masquées. Cela sert de tâche auto-supervisée pour satisfaire le terme de reconstruction des données. Un « masque causal souple » est employé lors de l'attention, pénalisant le flux d'information provenant de variables non causales en fonction des hypothèses actuelles de poids d'arêtes, créant ainsi une boucle interne non supervisée pour l'affinement de la structure.
Inférence du graphe : L'auto-attention induite extrait des vecteurs de résumé « cause » et « effet » pour chaque variable. Une tête bilinéaire de type Mixture-of-Experts (MoE) décode ces vecteurs en logits d'arêtes, accommodant naturellement les arêtes dirigées et les arêtes bidirectionnelles (pour la confusion latente). Un calibrateur de seuil adaptatif léger au graphe convertit les probabilités continues en un graphe binaire.

3. Stratégie de préentraînement

CDFM est préentraîné sur un espace massif et hautement diversifié de modèles structurels causaux (SCM) synthétiques. Le générateur de données couvre :

Structures de graphes : Six modèles de graphes aléatoires (ER, Scale-Free, WS, SBM, etc.) avec des sparsité et des tailles variables ( $D \in [2, 100]$ ).
Diversité des mécanismes : Modèles linéaires et non linéaires (bruit additif, post-non linéaire, fonctions de Fourier aléatoires), mécanismes discrets et mixtes, ainsi que des modèles inspirés de la physique.
Bruit et confusion : Diverses distributions de bruit (Gaussienne, Laplace, Cauchy, etc.), hétéroscédasticité et confusion latente (15 % des batches).
Réalisme : Erreurs de mesure simulées, discrétisation et valeurs manquantes aléatoires (MCAR).

Principales contributions

Changement de paradigme : Formule la découverte causale comme une tâche de modèle de fondation à usage général, passant d'une sélection d'algorithmes spécialisés à une approche d'inférence unifiée capable d'inférence structurelle zero-shot.
Cadre principiel : Unifie les modèles de fondation et l'identifiabilité structurelle à travers un cadre variationnel, traitant les mécanismes inconnus comme des variables latentes pour traduire le problème de marginalisation en un objectif d'apprentissage traitable.
Conception d'architecture : Conçoit CDFM pour aligner l'encodage du mécanisme, la reconstruction sensible à la structure et le décodage du graphe avec la décomposition théorique, permettant une inférence robuste directement à partir de données observationnelles.
Préentraînement à grande échelle : Introduit un régime de préentraînement complet piloté par une connaissance causale diversifiée, synthétisant un immense espace d'hypothèses pour internaliser des asymétries statistiques complexes.

Résultats expérimentaux

Les auteurs évaluent CDFM à travers des benchmarks synthétiques, des jeux de données réels et des études d'identifiabilité contrôlées.

Benchmarks synthétiques : CDFM surpasse systématiquement les algorithmes traditionnels (PC, GES, DirectLiNGAM, NOTEARS) et les baselines amorties (AVICI, TabCausal, Arrow) sur 15 familles de mécanismes distinctes et des tailles de graphes variables ( $D \in [10, 100]$ ) et de tailles d'échantillons variables ( $N \in [500, 4000]$ ). Il atteint des scores AUROC et F1 supérieurs, démontnant une performance stable à mesure que l'échelle du problème augmente.
Benchmarks du monde réel :
- Causal Chamber : Sur des systèmes physiques multivariés (Tâches A1 et A2), CDFM atteint un AUROC élevé (0,952 et 0,965), surpassant toutes les baselines et démontrant sa transférabilité des systèmes synthétiques vers les systèmes physiques.
- Benchmark de Tübingen : Sur 95 paires de cause-effet bivariées, CDFM atteint une précision de 67,1 %, surpassant les autres méthodes de pointe.
Validation de l'identifiabilité : Des expériences contrôlées confirment que CDFM respecte les frontières d'identifiabilité théoriques. Il identifie correctement les directions causales lorsque l'asymétrie fonctionnelle (non-linéarité/non-gaussianité) ou les structures en V existent, et revient à une performance de niveau chance (précision $\approx$ 0,5) dans les régimes non identifiables (par exemple, les modèles gaussiens linéaires).
Imputation de valeurs manquantes : En tant que sous-produit de l'objectif de reconstruction, la tête d'imputation de CDFM atteint des performances de pointe sur les données continues et discrètes avec valeurs manquantes, surpassant les méthodes classiques comme MissForest et MICE.

Signification et affirmations

L'article affirme que CDFM représente une étape significative vers un moteur de découverte causale à usage général. En déplaçant le goulot d'étranglement de la sélection manuelle d'algorithmes vers la génération scalable de données synthétiques diversifiées et identifiables, CDFM internalise des asymétries causales complexes qui lui permettent de se généraliser à travers des processus générateurs inconnus.

Les auteurs soulignent que le modèle ne supprime pas la nécessité des hypothèses causales, mais apprend à les adopter sur un large spectre de classes d'hypothèses. Ce travail suggère une direction future où les modèles causaux apprennent des représentations larges sur des familles de mécanismes plutôt que d'optimiser pour des hypothèses uniques et rigides. Les résultats démontrent qu'un tel modèle de fondation peut piloter un changement de paradigme, offrant des capacités de découverte causale robustes et zero-shot qui passent à l'échelle avec le volume et l'hétérogénéité des données.