🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

L'article présente TabPFN-CFM, un modèle de fondation causal entraîné sur des données synthétiques qui se généralise aux ensembles de données réels pour prédire simultanément les structures causales et les résultats tout en prenant en charge les requêtes à tous les niveaux de la hiérarchie causale de Pearl.

Auteurs originaux : Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Publié 2026-06-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que vous ne disposiez que d'une pile de vieilles photos non triées (des données d'observation) et qu'aucun témoin ne puisse témoigner. Vous devez découvrir deux choses :

L'Histoire : Qui a causé quoi ? (Est-ce la pluie qui a mouillé l'herbe, ou quelqu'un qui a renversé un seau ?)
Le « Et si » : Si vous aviez fait les choses différemment, que se serait-il passé ? (Si vous n'aviez pas renversé le seau, l'herbe serait-elle quand même mouillée ?)

Habituellement, résoudre cela nécessite un expert humain pour deviner les règles du monde, ou un ordinateur pour essayer des millions de suppositions une par une. Ce document présente TabPFN-CFM, un nouveau type de « super-détective » IA qui a déjà lu une bibliothèque de millions d'histoires de mystères inventées. Parce qu'il a vu de nombreux scénarios différents, il peut regarder vos photos désordonnées et deviner instantanément l'histoire et répondre à vos questions de type « et si ».

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Modèle de Fondations Causales » (Le Super-Détective)

Considérez ce modèle comme un étudiant qui a passé toute sa vie à étudier une immense bibliothèque de mondes synthétiques (fictifs). Dans ces mondes fictifs, les auteurs ont créé des milliers de règles différentes : parfois la gravité fonctionne différemment, parfois les gens agissent de manière aléatoire, et parfois des facteurs cachés (comme un agent secret) viennent tout chambouler.

Parce que cet étudiant a vu tant de variations, lorsque vous lui présentez un jeu de données réel (comme des chiffres de ventes ou des notes scolaires), il n'a pas besoin d'apprendre les règles à partir de zéro. Il dit simplement : « Ah, cela ressemble au Scénario n°4 592 de ma bibliothèque », et il connaît instantanément les relations de cause à effet probables.

2. Résoudre trois niveaux de mystère

Le document affirme que ce modèle peut gérer trois types différents de questions, que les auteurs appellent la « Hiérarchie Causale » :

Niveau 1 : L'Observateur (Que se passe-t-il ?)
- La Question : « En regardant les données, si quelqu'un achète une chemise rouge, achète-t-il aussi un chapeau ? »
- Le Travail du Modèle : Il prédit le résultat en fonction de ce qu'il voit.
Niveau 2 : L'Intervenant (Et si je change quelque chose ?)
- La Question : « Si je force tout le monde à acheter une chemise rouge (même s'ils ne l'auraient pas fait naturellement), achèteront-ils un chapeau ? »
- Le Travail du Modèle : C'est délicat car le monde réel n'a pas fait cela. Le modèle simule le changement pour prédire le résultat.
Niveau 3 : Le Voyageur Temporel (Et si les choses avaient été différentes dans le passé ?)
- La Question : « John a acheté un chapeau et une chemise rouge. Mais et s'il n'avait pas acheté la chemise rouge ? Aurait-il quand même acheté le chapeau ? »
- Le Travail du Modèle : C'est le plus difficile. Cela nécessite de remonter le temps dans la simulation tout en gardant les autres faits fixes. Le document indique que ce modèle est l'un des rares capables de bien le faire.

3. Le « Méchant Caché » (Confondeurs non observés)

Dans beaucoup de mystères du monde réel, il existe un « méchant caché » que vous ne pouvez pas voir. Par exemple, un facteur caché (comme la « richesse ») peut causer à la fois l'achat de chemises rouges et l'achat de chapeaux. Si vous ignorez la « richesse », vous pourriez croire à tort que la chemise cause le chapeau.

Le document introduit un outil spécial appelé ADMG (Acyclic Directed Mixed Graph - Graphe Mixte Dirigé Acyclique). Imaginez que c'est une carte qui dessine deux types de lignes :

Des Flèches : Montrant une cause directe et un effet (A cause B).
Des lignes sinueuses à double pointe : Montrant des « méchants cachés » (A et B sont tous deux influencés par quelque chose que vous ne voyez pas).

TabPFN-CFM est unique car il peut dessiner ces lignes sinueuses automatiquement, en devinant où se cachent les méchants, même si vous ne lui avez pas dit qu'ils existaient.

4. Utiliser une « Aide-mémoire » (Graphes connus)

Parfois, vous connaissez une partie de l'histoire. Peut-être qu'un expert vous a dit : « Nous savons avec certitude que A cause B. »

Le document montre que si vous donnez cette information au modèle (comme si vous tendiez une aide-mémoire au détective), le modèle devient encore meilleur dans ses prédictions. Il utilise cette structure connue pour affiner ses hypothèses sur le reste du mystère.

5. Comment il a appris (L'entraînement)

Le modèle n'a pas été entraîné initialement sur des données humaines réelles. Au lieu de cela, les chercheurs ont écrit un programme informatique pour générer des centaines de milliers de jeux de données fictifs avec des règles aléatoires, du bruit aléatoire et des variables cachées.

Ils ont appris au modèle à regarder un jeu de données fictif et à deviner la structure (la carte) ainsi que le résultat (le dénouement).
Ils l'ont entraîné à faire cela pour les trois niveaux de questions (Observateur, Intervenant, Voyageur Temporel) en même temps.
Le Résultat : Lorsqu'ils l'ont testé sur des données réelles (comme les ventes d'Amazon ou les admissions en école de droit), il a surpassé les anciennes méthodes, particulièrement pour les questions de type « Et si ».

6. La « Mise à jour de vitesse »

Les auteurs mentionnent également qu'ils ont peaufiné le « moteur » du modèle (l'architecture). Ils ont supprimé certaines parties inutiles et ajouté de nouvelles astuces d'entraînement (comme un meilleur optimiseur appelé « Muon » et une nouvelle fonction d'activation appelée « ReLU2 »).

L'Analogie : Imaginez que vous améliorez le moteur d'une voiture. Ils n'ont pas seulement rendu la voiture plus rapide ; ils ont permis au moteur d'atteindre sa vitesse de pointe 4 fois plus vite tout en consommant moins de carburant (puissance de calcul). Cela signifie que le modèle apprend de manière beaucoup plus efficace.

Résumé des affirmations

Il prédit la structure : Il dessine la carte des causes et des effets, incluant les facteurs cachés.
Il prédit les résultats : Il répond à la question « Que se passe-t-il si je change X ? ».
Il gère les contrefactuels : Il répond à la question « Que se serait-il passé si X avait été différent ? ».
Il utilise des cartes connues : Si vous lui donnez une carte partielle, il l'utilise pour améliorer sa précision.
Il se généralise : Il fonctionne bien sur des données réelles même s'il a été entraîné sur des données fictives.
Il est rapide : De nouvelles astuces d'entraînement le rendent 3 à 4 fois plus efficace à entraîner.

Le document ne prétend pas que cela soit prêt pour le diagnostic médical ou les tribunaux de justice. Il affirme strictement que, sur les jeux de données testés (problèmes mathématiques synthétiques, ventes Amazon et admissions en école de droit), ce nouveau « Super-Détective » surpasse les meilleurs outils actuels pour comprendre les relations de cause à effet.

Résumé Technique : TabPFN-CFM

Énoncé du Problème

Déterminer la structure causale et prédire les résultats causaux à partir de données observationnelles demeure un défi majeur en apprentissage automatique et en statistiques. Les méthodes existantes abordent généralement ces tâches de manière isolée : certaines se concentrent sur les prédictions structurelles (apprentissage du graphe causal), tandis que d'autres se concentrent sur les prédictions de résultats (estimation de l'effet des interventions). De plus, de nombreuses approches peinent à gérer les variables de confusion non observées, ce qui peut conduire à des graphes non identifiables et à des estimations de résultats biaisées. En outre, les modèles actuels manquent souvent de la capacité à supporter tout le spectre des requêtes causales définies par la Hiérarchie Causale de Pearl : observationnelle, interventionnelle et contrefactuelle.

Méthodologie

Les auteurs introduisent TabPFN-CFM, un modèle de fondation causal conçu pour prédire conjointement la structure causale et les résultats à partir de données observationnelles. L'approche est fondée sur le cadre de Prior-Over-Functions (PFN) bayésien.

Cadre Fondamental

Le modèle suppose que le système sous-jacent suit un Modèle Causal Structurel (SCM) $\psi = \{U, V, F\}$ , où $U$ représente les variables non observées, $V$ les variables observées, et $F$ les équations structurelles. Le modèle est entraîné pour approximer la distribution postérieure $P(\psi | D_{obs}, G_{est})$ , où $D_{obs}$ est l'ensemble de données observationnelles et $G_{est}$ est une connaissance a priori optionnelle du graphe.

Génération de Données et Entraînement

Priors Synthétiques : Le modèle est entraîné sur des ensembles de données synthétiques générés à partir d'une distribution a priori sur des SCM. Ce prior inclut des structures de graphes aléatoires (DAGs), des nœuds manquants, diverses distributions de bruit, et des équations structurelles définies par des réseaux de neurones avec des poids et des non-linéarités aléatoires.
Formulation de la Tâche : Chaque échantillon d'entraînement consiste en un ensemble d'ajustement ( $D_{fit}$ $D_{f i t}$ ), une requête de prédiction ( $D_{pred}$ $D_{p r e d}$ ), et un échantillon contrefactuel ( $D_{causal}$ $D_{c a u s a l}$ ). Le modèle est entraîné pour gérer simultanément trois types de requêtes :
1. Requête Observationnelle : Prédire $P(y^* | x^*, T=t^*)$ .
2. Requête Interventionnelle : Prédire $P(y^* | x^*, do(T=1-t^*))$ .
3. Requête Contrefactuelle : Prédire $P(y^* | x^*, do(T=1-t^*), y=y^*)$ .
Gestion du Graphe : Le modèle utilise des Graphes Mixtes Dirigés Acycliques (ADMG) pour représenter la confusion non observée via des arêtes bidirectionnelles. Cela permet au modèle de prédire des structures de confusion plutôt que de supposer que toutes les variables sont observées.

Architecture

TabPFN-CFM étend l'architecture Do-PFN avec un conditionnement explicite par graphe :

Encodeur : Encode l'ensemble d'ajustement, la requête de prédiction et la structure ADMG a priori (matrice d'adjacence $A$ , matrice bidirectionnelle $C$ , et matrice ancestrale $R$ ). L'encodage du graphe fournit un accès direct aux relations de parenté, de descendance, d'ancêtre et de descendant.
Backbone Transformer : Utilise des mécanismes d'attention par ligne et par colonne. Crucialement, le module de prédiction porte attention aux plongements (embeddings) du graphe, permettant aux prédictions d'incorporer le prior du graphe.
Sorties :
- Prédiction de Résultat : Une tête produit des logits sur des compartiments (buckets) de résultats discrétisés.
- Prédiction de Structure : Un décodeur génère des prédictions élément par élément pour la matrice d'adjacence dirigée ( $\hat{A}$ ), la matrice de corrélation bidirectionnelle ( $\hat{C}$ ), et la matrice ancestrale ( $\hat{R}$ ).
Efficacité de l'Entraînement : Les auteurs ont implémenté plusieurs optimisations architecturales et d'entraînement (ex: optimiseur Muon, activation ReLU2, pré-normalisation de couche) qui ont amélioré la vitesse d'entraînement d'environ 3 à 4 fois par rapport aux configurations de base.

Fonction de Perte

Le modèle est optimisé à l'aide d'une fonction de perte conjointe :
$L = L_{pred} + \lambda \cdot L_{graph}$
Où $L_{pred}$ est la perte d'entropie croisée pour la prédiction de résultat, et $L_{graph}$ est la perte d'entropie croisée binaire pour les prédictions structurelles (matrices d'adjacence, ancestrale et de confusion). Des preuves théoriques dans l'appendice démontrent que l'inclusion du graphe en entrée comme condition ne peut qu'améliorer la précision de la distribution postérieure (ou la laisser inchangée) et que la minimisation de la log-probabilité est équivalente à la minimisation de la divergence KL par rapport à la véritable distribution postérieure.

Contributions Clés

Modèle de Fondation Causal Unifié : TabPFN-CFM est le premier modèle à prédire conjointement à la fois la structure causale et les résultats à travers les trois niveaux de la Hiérarchie de Pearl au sein d'un seul cadre de modèle de fondation.
Gestion de la Confusion Non Observée : En employant des ADMG, le modèle prédit explicitement les variables de confusion non observées, traitant ainsi une limitation des méthodes actuelles d'apprentissage de structure causale par deep learning.
Inférence Conditionnée par le Graphe : Le modèle tire parti des structures de graphes connues lorsqu'elles sont disponibles pour améliorer la précision de la prédiction, tout en restant robuste lorsque le graphe est inconnu.
Améliorations de l'Efficacité : La procédure d'entraînement raffinée et les changements architecturaux entraînent une convergence d'entraînement presque 4 fois plus rapide par rapport aux bases précédentes.

Résultats Expérimentaux

Le modèle a été évalué sur des jeux de données synthétiques (tant en distribution qu'hors distribution) et des jeux de données réels (Ventes Amazon et Admissions aux écoles de droit).

Prédiction de Résultat :
- Sur les SEM (modèles d'équations structurelles) synthétiques hors distribution (OOD), TabPFN-CFM a obtenu une erreur quadratique moyenne (MSE) plus faible que les méta-apprenants établis (S-, T-, X-, et DR-learners) et Do-PFN dans les contextes interventionnels et contrefactuels.
- Dans le jeu de données d'Admissions aux écoles de droit, le modèle a considérablement amélioré la précision dans les contextes contrefactuels en utilisant l'information contrefactuelle, surpassant les bases qui ne peuvent pas faire de telles prédictions.
Prédiction de Structure :
- TabPFN-CFM a surpassé les bases solides (FCI, GES, LiNGAM, PC, AVICI) dans la prédiction des matrices d'adjacence, ancestrale et de confusion.
- Spécifiquement, sur les données synthétiques OOD, le modèle a atteint un AUROC de 0,889 pour l'adjacence et de 0,828 pour les matrices de confusion, ce qui est nettement supérieur au meilleur performeur suivant (AVICI à 0,623 et 0,563 respectivement).
Conditionnement par le Graphe : Fournir la structure réelle du graphe comme entrée a amélioré les performances dans les contextes interventionnels et contrefactuels, mais a eu un impact négligeable sur les prédictions observationnelles, ce qui est cohérent avec la théorie causale.

Signification

L'article soutient que TabPFN-CFM représente une avancée vers l'unification des tâches d'inférence causale. En s'entraînant sur un prior diversifié de systèmes causaux, l'approche démontre que les modèles de fondation peuvent généraliser à des problèmes causaux réels sans sur-apprentissage (overfitting) à des distributions a priori spécifiques. La capacité à gérer la confusion non observée et à supporter les requêtes contrefactuelles suggère une voie vers un raisonnement causal plus robuste en apprentissage automatique. Les auteurs notent que bien que le travail actuel se concentre sur les structures acycliques, des extensions futures pourraient traiter les séries temporelles et les contextes causaux cycliques.