📊 statistics

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

Cet article introduit DAG-FM, un nouveau modèle de fondation qui exploite une architecture Transformer autorégressive à deux étapes avec un mécanisme de mélange d'experts de feuilles (Mixture-of-Leaf-Experts) pour atteindre des performances de pointe en matière de découverte causale sur des données tabulaires hétérogènes et de haute dimension.

Auteurs originaux : Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère : qui cause quoi ? Vous avez un immense tableur rempli d'indices (données), mais les règles du jeu sont délicates. Parfois, les indices suivent des lois strictes et prévisibles ; d'autres fois, les lois changent d'un indice à l'autre. C'est le monde de la découverte causale, et pendant longtemps, les outils utilisés par les détectives étaient comme essayer de résoudre un Rubik's Cube avec des gants pour aveugles. Ils soit restaient bloqués sur des puzzles simples, soit se brisaient lorsque les règles devenaient désordonnées.

Entrez en scène DAG-FM, un nouveau type de « super-détective » fondé sur un modèle de base. Ne le voyez pas comme un simple manuel de règles rigide, mais comme un chef cuisinier accompli possédant une cuisine magique et immense.

L'ancienne méthode vs Le nouveau chef

Auparavant, les détectives essayaient de deviner toute la carte des connexions (qui cause quoi) d'un seul coup. C'était comme essayer de dessiner la carte d'une ville entière en une seule fois. Si la ville avait des règles de circulation étranges et mélangées (mécanismes hétérogènes), la carte finissait généralement en désordre. Certaines anciennes méthodes étaient comme des spécialistes qui ne savaient conduire que sur des autoroutes droites et plates (modèles Linéaires Non-Gaussiens). Si la route devenait une piste de terre cahoteuse ou un passage de montagne sinueux, ces spécialistes s'y perdaient.

DAG-FM change la donne. Au lieu de dessiner toute la carte d'un coup, il joue à un jeu de « chasse au trésifice inversée ». Il travaille en deux étapes :

Trouver les feuilles : Il examine les données et demande : « Qui est tout au bout de la chaîne ? Qui ne cause personne d'autre ? » Il retire la dernière personne de la file.
Trouver les parents : Une fois qu'il connaît la « feuille », il demande : « Qui tirait ses ficelles ? » Il trouve les parents de cette feuille.

Il répète ce processus, pelant les couches de l'oignon jusqu'à ce que la structure entière soit révélée. C'est beaucoup plus intelligent que de deviner l'image entière d'un seul coup.

L'ingrédient magique : Le « Mélange d'experts »

C'est ici que DAG-FM devient vraiment génial. Dans le monde réel, les règles de cause à effet ne sont pas les mêmes partout. Parfois, une cause agit comme une simple équation mathématique ; d'autres fois, c'est une fonction complexe et sinueuse.

DAG-FM utilise une équipe de spécialistes à l'intérieur de son cerveau, appelée Mélange d'Experts de Feuilles (Mixture-of-Leaf-Experts ou MoLE). Imaginez une pièce remplie de différents détectives : l'un est excellent pour résoudre des puzzles linéaires, un autre pour repérer des motifs de bruit, un autre pour gérer des courbes étranges. Lorsque DAG-FM examine un morceau de donnée, il ne se contente pas de deviner ; il demande : « Quel détective est le mieux adapté pour ce indice spécifique ? » Il redirige le problème vers l'expert approprié de manière dynamique. Cela lui permet de gérer un mélange chaotique de règles qui confondraient les anciens détectives à l'esprit unique.

Le terrain d'entraînement : Un terrain de jeu synthétique

Avant que DAG-FM ne puisse s'attaquer aux mystères du monde réel, les auteurs ont dû l'enseigner. Ils ne se sont pas contentés de lui donner des données réelles ; ils ont construit un immense terrain de jeu virtuel. Ils ont généré des millions de scénarios fictifs en utilisant des graphes aléatoires et du bruit aléatoire, mélangeant et associant différents types de règles causales (comme Linéaire, Bruit Additif et Post-Nonlinéaire).

Crucialement, ils ont conçu ce terrain de jeu avec un filet de sécurité spécifique. Ils ont prouvé mathématiquement que si le modèle est entraîné sur ce mélange spécifique de règles, il sera capable de trouver la seule et unique réponse, même si les données sont désordonnées. C'est comme entraîner un pilote dans un simulateur qui inclut tous les types de tempêtes et de pannes de moteur possibles, afin que, lorsqu'il pilote un vrai avion, il sache exactement quoi faire.

Les résultats : Vitesse et Intelligence

Lorsque les auteurs ont testé DAG-FM, les résultats ont été impressionnants.

Sur les données fictives : Dans des simulations comportant 100 types différents de règles mélangées, DAG-FM a battu presque toutes les autres méthodes. Il a trouvé les connexions plus souvent (précision et rappel plus élevés) et a commis moins d'erreurs (taux d'erreur plus bas) que les algorithmes de la vieille école et même que d'autres nouveaux modèles d'IA.
Sur les données réelles : Ils l'ont testé sur des ensembles de données réels, comme un réseau de signalisation protéique avec 7 466 échantillons et 11 variables, et un système physique avec 10 000 échantillons et 38 variables. Alors que de nombreuses autres méthodes ont planté (manque de mémoire) ou ont abandonné, DAG-FM a continué. Il a trouvé les meilleures cartes dans ces tests, surpassant les outils traditionnels qui luttaient avec la taille ou la complexité des données.
Efficacité : Il est également incroyablement efficace. Il peut gérer des ensembles de données allant jusqu'à 50 000 échantillons ou 500 variables sur un ordinateur standard avec 24 Go de mémoire vidéo, sans avoir besoin d'astuces complexes pour ralentir le processus.

Ce qu'il ne fait pas (encore)

Il est important de savoir ce que ce super-détective ne peut pas faire. L'article stipule explicitement que DAG-FM suppose qu'il possède tous les indices (pas de facteurs de confusion cachés). S'il existe des variables secrètes influençant les données que le modèle ne peut pas voir, la méthode pourrait être confuse. Les auteurs notent également que bien que le modèle fonctionne très bien sur les règles sur lesquelles il a été entraîné, il est encore en cours de test face à des types de chaos totalement nouveaux et inédits.

L'essentiel

DAG-FM n'est pas une baguette magique qui résout chaque mystère instantanément, mais c'est un bond en avant massif. En décomposant le problème en étapes plus petites et gérables, et en utilisant une équipe d'experts spécialisés pour gérer différents types de règles, il parvient à trouver la véritable carte de cause à effet dans des situations où les outils précédents ont échoué. Cela suggère qu'avec le bon entraînement et la bonne architecture, l'IA peut enfin naviguer dans la réalité désordonnée et complexe de la façon dont le monde fonctionne réellement.

Résumé Technique : DAG-FM

Énoncé du Problème

La découverte causale à partir de données tabulaires observationnelles est confrontée à deux défis fondamentaux : l'hétérogénéité des mécanismes causaux sous-jacents et l'espace de recherche combinatoire de haute dimension des graphes acycliques dirigés (DAG). Les méthodes traditionnelles, incluant les approches basées sur les contraintes, les scores et l'optimisation, peinent souvent en l'absence d'hypothèses fortes. Plus précisément, les méthodes basées sur les Modèles de Causalité Fonctionnelle (FCM) supposent généralement des mécanismes causaux homogènes (par exemple, toutes les relations sont linéaires ou toutes sont additives avec bruit), ce qui limite leur généralisabilité aux scénarios réels où les mécanismes varient selon les variables. À l'inverse, les modèles amortis émergents (modèles de fondation) manquent souvent de garanties théoriques pour produire des DAG strictement identifiables et échouent fréquemment à gérer les mécanismes hétérogènes, car leurs performances sont très sensibles à la conception de l'espace de l'a priori utilisé pour le pré-entraînement.

Méthodologie

Le papier propose DAG-FM, une architecture de modèle de fondation conçue pour amortir la découverte causale tout en garantissant intrinsèquement la production d'un DAG unique et identifiable à partir de données observationnelles.

1. Fondement Théorique : Identifiabilité Hétérogène

Les auteurs établissent une condition de conception pour l'espace de l'a priori qui permet des mécanismes causaux hétérogènes. Contrairement aux approches FCM traditionnelles qui imposent un type de mécanisme unique, l'espace de l'a priori de DAG-FM permet à un Modèle Causal Structurel (SCM) d'être un mélange composite de quatre familles de mécanismes distinctes :

LiNGAM : Relations linéaires avec bruit non gaussien.
ANM : Relations non linéaires avec bruit additif.
HNM : Modèles de bruit hétéroscédastique.
PNL : Modèles post-non-linéaires.
Les résultats théoriques (Théorèmes 4.4 et 4.5) démontrent que sous ces conditions (en supposant la suffisance causale et la fidélité/faithfulness), le véritable DAG est presque sûrement identifiable à partir de la distribution observationnelle. Cela garantit que le modèle amorti converge vers un DAG de vérité terrain unique à mesure que la taille de l'échantillon augmente.

2. Architecture : Prédiction Décomposée

Pour répondre aux problèmes de scalabilité liés à la prédiction directe de matrices d'adjacence (qui croissent de manière quadratique et manquent de contraintes de DAG), DAG-FM décompose le processus de découverte en deux étapes séquentielles auto-régressives utilisant des sous-modules spécialisés basés sur des Transformers :

Prédicteur de Nœud-Feuille ( $Q_{\theta_1}$ ) : Identifie l'ordonnancement causal en prédisant récursivement les nœuds feuilles (nœuds sans enfants) dans le sous-graphe actuel.
Prédicteur de Nœud-Parent ( $Q_{\theta_2}$ ) : Étant donné un nœud feuille confirmé, ce module identifie ses parents, effectuant ainsi l'élagage du graphe vers une structure triangulaire supérieure basée sur l'ordonnancement établi.

3. Mélange d'Experts de Feuilles (MoLE)

Pour gérer les diverses familles de mécanismes au sein de l'espace de l'a priori, la tête de prédiction des feuilles intègre un cadre de Mélange d'Experts de Feuilles (MoLE).

Le modèle emploie $m+1$ têtes bilinéaires, chacune correspondant à une famille de mécanismes spécifique (plus un expert de mécanisme général et un expert fictif/dummy).
Un routeur top-k sélectionne dynamiquement l'expert approprié en fonction des caractéristiques des données d'entrée.
Cette conception permet au modèle de s'adapter dynamiquement aux familles de mécanismes identifiables, comblant ainsi l'écart entre les hypothèses des FCM théoriques et l'hétérogénéité pratique des données.

4. Construction de l'Espace de l'A Priori

Le modèle est pré-entraîné sur un ensemble de données synthétiques à grande échelle généré à partir d'un espace de l'a priori $\Phi$ comprenant :

Graphes Aléatoires : Modèles d'Erdős–Rényi, Barabási–Albert et Watts–Strogatz avec des densités variables.
Mécanismes Aléatoires : Une bibliothèque diversifiée de fonctions (MLP, GP, Forêts Aléatoires, etc.) échantillonnées à partir des quatre familles définies.
Bruit Aléatoire : Une bibliothèque complète de distributions (Normale, Laplace, Student's t, etc.) avec des rapports signal sur bruit (SNR) contrôlés.
Augmentation de Données : Déformation non linéaire et discrétisation pour simuler les caractéristiques des données réelles, tout en imposant une normalisation stricte des distributions pour prévenir les artefacts statistiques fallacieux.

5. Inférence

L'inférence est réalisée de manière itérative (Algorithme 1). Le modèle identifie de façon répétée un nœud feuille, détermine ses parents, retire le nœud de l'ensemble, et met à jour l'ordonnancement causal jusqu'à ce que toutes les variables soient traitées. Ce processus garantit une structure de DAG valide sans correction de cycle a posteriori.

Principales Contributions

Garantie Théorique : Le papier fournit une condition de conception pour l'espace de l'a priori qui supporte des mécanismes causaux hétérogènes tout en garantissant théoriquement que le modèle amorti converge vers un DAG unique et identifiable.
Architecture DAG-FM : Le développement d'un modèle de fondation qui découple l'identification du DAG en tâches de prédiction de nœud-feuille et de nœud-parent, utilisant des sous-modules basés sur les Transformers et le cadre MoLE pour gérer l'hétérogénéité des mécanismes.
Performance Empirique : Des expériences approfondies démontrent que DAG-FM atteint des performances de pointe sur des benchmarks synthétiques avec des mécanismes hétérogènes et sur des jeux de données réels complexes, surpassant significativement les algorithmes traditionnels et les modèles de fondation récents en termes de précision et de scalabilité.

Résultats Expérimentaux

Benchmarks Synthétiques : Sur des jeux de données avec $n=1000$ échantillons et $d=20$ variables présentant des mécanismes hétérogènes, DAG-FM a obtenu le score F1 le plus élevé (0,64) et la distance de Hamming structurelle normalisée (nSHD) la plus faible (0,19), surpassant les bases comme Direct-LiNGAM, AVICI et TabCausal.
Sous-espaces Homogènes : Même dans des contextes strictement homogènes (ex: pur LiNGAM), DAG-FM est resté compétitif, atteignant un taux de divergence d'ordre (ODR) de 0,12, comparable aux algorithmes spécialisés.
Benchmarks du Monde Réel :
- Jeu de données Sachs (Signalisation Protéique) : DAG-FM a atteint un F1 de 0,53 et un nSHD de 0,25, surpassant nettement toutes les autres méthodes (ex: FoundCause : F1 0,33 ; GES : F1 0,31).
- Causal Chamber : DAG-FM a atteint un F1 de 0,53 et un nSHD de 0,14, dépassant tous les baselines.
Scalabilité : DAG-FM a démontré une scalabilité robuste, gérant jusqu'à 50 000 échantillons ou 500 variables dans une contrainte de 24 Go de VRAM, là où de nombreux baselines (ex: AVICI, CauScale) ont rencontré des erreurs de mémoire (out-of-memory).
Robustesse : Le modèle a montré une résilience face aux variations de densité de graphe, aux déformations de données et à la discrétisation, et a maintenu de fortes performances dans des scénarios hors distribution (OOD) impliquant des structures de graphes, des mécanismes et des bruits non vus.

Signification

Le papier affirme que DAG-FM représente une avancée significative en intégrant les garanties théoriques d'identifiabilité des FCM avec la scalabilité des modèles de fondation amortis. En s'éloignant de la prédiction directe de la matrice d'adjacence pour privilégier la décomposition de la tâche en sous-tâches séquentielles et théoriquement fondées, DAG-FM surmonte les limites des méthodes traditionnelles (manque de généralisabilité aux mécanismes hétérogènes) et des approches amorties existantes (manque de garanties structurelles et sensibilité à la conception de l'a priori). Ce travail établit un nouveau paradigme pour la découverte causale qui est à la fois rigoureux sur le plan théorique et applicable en pratique à des données de haute dimension du monde réel.