🤖 machine learning

Use What You Know: Causal Foundation Models with Partial Graphs

Cet article introduit une méthode pour améliorer les modèles de fondation causaux en les conditionnant sur des informations de graphes causaux partielles ou complètes via des biais d'attention apprenables et des encodeurs de convolution de graphes, leur permettant d'égaler les performances des modèles spécialisés tout en exploitant efficacement l'expertise du domaine.

Auteurs originaux : Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le détective « omniscient » vs le détective « sceptique »

Imaginez que vous essayiez de comprendre pourquoi un événement spécifique s'est produit. Par exemple, vous voulez savoir : « Si nous donnons ce nouveau médicament à ce patient, guérira-t-il ? »

Pendant longtemps, les scientifiques ont dû construire un détective sur mesure pour chaque cas. Si le cas concernait le tabagisme et le cancer, ils construisaient un détective. S'il s'agissait de l'éducation et du revenu, ils en construisaient un autre. Ces détectives étaient excellents dans leur travail spécifique, mais inutiles pour tout le reste.

Récemment, un nouveau type de « Modèle de Fondation » (une IA super intelligente) a été inventé. Voyez cela comme un Détective Omniscient qui a lu tous les livres de la bibliothèque. Il peut regarder n'importe quelle donnée et deviner la réponse à presque n'importe quelle question. C'est ce qu'on appelle un Modèle de Fondation Causal (CFM).

Le Problème :
Même si ce Détective Omniscient est intelligent, il est actuellement un peu « naïf ». Il ne regarde que les données brutes (les photos de la scène de crime) et essaie de deviner ce qui s'est passé. Il n'écoute pas les experts.

Exemple : Si vous demandez au détective : « Est-ce que fumer cause le cancer ? », il pourrait regarder les données et dire : « Eh bien, je vois qu'ils arrivent souvent ensemble, mais peut-être que le cancer fait fumer les gens ? », car il ne connaît pas la chronologie biologique.
Le Problème : Dans le monde réel, les experts savent souvent certaines choses. Nous savons que fumer précède le cancer. Nous savons que l'âge précède la retraite. Mais les modèles d'IA actuels refusent d'utiliser ce « savoir d'expert » à moins que vous ne les reconstruisiez entièrement de zéro.

La Solution : Donner une « fiche de triche » au détective

Les auteurs de ce papier se sont posé la question suivante : Pouvons-nous apprendre à ce Détective Omniscient à écouter les indices de nos experts sans le reconstruire ?

Ils ont développé un moyen de donner au modèle une « fiche de triche » (un graphe partiel) pendant qu'il travaille. Cette fiche de triche n'a pas besoin d'être parfaite. Elle doit simplement dire au modèle ce que nous savons.

L'analogie de la fiche de triche : L'arbre généalogique

Imaginez que vous essayez de comprendre qui est lié à qui lors d'une immense et confuse réunion de famille.

L'ancienne méthode : Vous regardez une photo de 100 personnes et vous essayez de deviner qui est le grand-père, qui est le cousin et qui est le bébé. Vous pourriez vous tromper.
La nouvelle méthode : Vous recevez un morceau de papier (la Matrice Ancestrale Partielle) qui dit :
- « Nous savons avec certitude que Grand-mère est une ancêtre du bébé. » (C'est un 1).
- « Nous savons avec certitude que le bébé n'est PAS un ancêtre de Grand-mère. » (C'est un -1).
- « Nous n'avons aucune idée de savoir si l'Oncle Bob est lié à la Cousine Sue. » (C'est un 0).

Le papier démontre que même avec cette fiche de triche « incomplète » (où certaines relations sont marquées comme « inconnues »), l'IA est bien plus performante que si elle n'avait aucune fiche de triche du tout.

Comment ils ont fait : Le « Contrôleur de trafic » et le « Lecteur de carte »

Le papier décrit deux astuces spécifiques utilisées pour forcer l'IA à écouter cette fiche de triche. Voyez l'IA comme une immense équipe de travailleurs qui se passent des notes entre eux.

Le Contrôleur de trafic (Biais d'attention douce / Soft Attention Bias) :
Normalement, les travailleurs passent des notes à n'importe qui. Les auteurs ont ajouté un « Contrôleur de trafic » qui regarde la fiche de triche.
- Si la fiche dit « Grand-mère est une ancêtre du bébé », le Contrôleur donne un feu vert à cette note (encourage l'IA à prêter attention).
- Si la fiche dit « Le bébé n'est PAS un ancêtre de Grand-mère », le Contrôleur donne un feu rouge à cette note (décourage l'IA de prêter attention).
- Si la fiche dit « Inconnu », le feu est jaune (l'IA peut décider par elle-même).
- Point clé : Ce n'est pas une règle stricte ; c'est un léger coup de pouce. Cela rend le système robuste, même si la fiche de triche contient des erreurs.
Le Lecteur de carte (Réseau de neurones convolutifs sur graphes / Graph Convolutional Network) :
C'est comme donner à chaque travailleur une carte de l'arbre généalogique complet avant qu'ils ne commencent à travailler. Cela les aide à comprendre leur « rôle » dans le tableau d'ensemble. Même s'ils ne regardent qu'une seule personne, ils savent : « Oh, je regarde un petit-enfant, donc je devrais réfléchir aux parents ».

Les Résultats : Pourquoi le « Partiel » est meilleur que le « Parfait »

Les chercheurs ont testé cela sur de nombreux scénarios différents, allant de problèmes mathématiques simples à des simulations complexes et réalistes.

Ça fonctionne : Lorsqu'ils ont donné la fiche de triche au modèle, celui-ci a fait des prédictions beaucoup plus précises sur les causes et les effets.
C'est flexible : Le modèle peut gérer une fiche de triche remplie à 100 % d'informations, ou une fiche remplie à seulement 10 % (avec juste quelques indices). Il fonctionne dans les deux cas.
La règle du « Ne pas deviner » : C'est la découverte la plus importante. Le papier montre que si vous n'êtes pas sûr d'une relation, il est bien préférable de la marquer comme « Inconnue » (0) plutôt que de deviner et de se tromper.
- Analogie : Si vous conduisez et que vous n'êtes pas sûr de savoir si une route est à sens unique, il est plus sûr de supposer « Je ne sais pas » et de conduire prudemment que de deviner « C'est un sens unique » et de rouler à contresens. Le papier prounie que deviner faux nuit considérablement aux performances de l'IA, alors que dire « Je ne sais pas » ne la nuit que très peu.

Résumé

Le papier présente un moyen d'améliorer les modèles d'IA « omniscients » afin qu'ils puissent utiliser des connaissances d'experts partielles. Au lieu d'avoir besoin d'une carte parfaite de l'ensemble du monde, l'IA peut désormais travailler avec une carte esquissée comportant des zones vides. En utilisant un « Contrôleur de trafic » pour guider son attention et un « Lecteur de carte » pour comprendre la vue d'ensemble, l'IA devient un bien meilleur détective, capable de répondre à des questions de type « Et si ? » de manière plus précise, même lorsque nous ne disposons que d'informations partielles.

Résumé technique : Use What You Know : Causal Foundation Models with Partial Graphs

Énoncé du problème

L'inférence causale repose traditionnellement sur un processus en deux étapes : d'abord, établir des hypothèses d'identification (souvent via un graphe causal), puis sélectionner un estimateur sur mesure adapté à ces hypothèses. Bien que les récents Modèles de Fondation Causaux (CFM) basés sur les réseaux PFN (Prior-Data-Fitted Networks) offrent une approche unifiée en amortissant la découverte et l'inférence causales, ils souffrent actuellement d'une limitation critique : ils ne peuvent pas incorporer de connaissances métier au moment du test.

Les CFM existants :

Restreignent le prior d'entraînement à des structures causales spécifiques (par exemple, uniquement des cas d'ajustement par la voie de recul/back-door), ceant nécessitant un réentraînement coûteux pour de nouvelles hypothèses.
Marginalisent sur toutes les structures possibles, ce qui conduit à des estimations inutilement conservatrices et à des prédictions imprécises lorsqu'une connaissance métier partielle est disponible mais ignorée.

Le défi central abordé est de savoir comment permettre à un CFM polyvalent de se conditionner sur une information causale partielle (telle qu'un graphe causal partiellement connu ou des relations ancestrales) lors de l'inférence, sans sacrifier la flexibilité du paradigme du modèle de fondation.

Méthodologie

1. Représentation de la connaissance causale : Matrices Ancestrales Partielles (PAM)

Les auteurs proposent d'utiliser des Matrices Ancestrales Partielles (PAM) comme signal de conditionnement. Contra-résivement aux matrices d'adjacence qui nécessitent la connaissance des liens causaux directs ( $A_{ij}=1$ ), les PAM encodent les relations ancestrales ( $T_{ij}=1$ si $z_i$ est un ancêtre de $z_j$ ).

Avantages : La connaissance ancestrale est souvent plus robuste et plus facile à obtenir que les mécanismes causaux directs (par exemple, savoir que le tabagisme cause le cancer est plus facile que de spécifier la voie biologique exacte).
Partialité : La matrice $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ $\tilde{T} \in {- 1, 0, 1}^{K \times K}$ permet :
- $1$ : Ancêtre connu.
- $-1$ : Non-ancêtre connu (ex: écarté par l'ordre temporel).
- $0$ : Relation inconnue.
  Cette représentation englobe les cas de connaissance nulle, partielle ou complète.

2. Mécanismes de conditionnement architecturaux

Le papier introduit une architecture de CFM basée sur un Transformer, modifiée pour ingérer les PAM via deux mécanismes complémentaires :

Biais d'attention structurelle :
- Biais souple (Soft Bias) : Des biais scalaires apprenables ( $\beta_{anc}, \beta_{non-anc}$ ) sont ajoutés aux logits d'attention. Un biais positif encourage l'attention vers les ancêtres connus ; un biais négatif décourage l'attention vers les non-ancêtres connus. Cela permet au modèle de prioriser les parents causaux tout en restant robuste à l'information incomplète.
- Masquage strict (Hard Masking) : Une alternative où l'attention vers les non-ancêtres connus est strictement fixée à $-\infty$ .
Modulation de caractéristiques structurelles (GCN) :
- Un Réseau de Convolution sur Graphe (GCN) traite la PAM pour générer des plongements (embeddings) de nœuds sensibles à la structure.
- Ces plongements sont injectés dans chaque bloc du Transformer via une Normalisation de Couche Adaptative (AdaLN), modulant les représentations cachées des variables en fonction de leur position structurelle globale dans le graphe causal.

3. Entraînement et génération de données

Prior : Les auteurs ont construit un prior de Modèle de Fondation Tabulaire (TFM) qui est intrinsèquement causal. Il génère des jeux de données synthétiques en échantillonnant des Modèles Structurels Causaux (SCM) avec des mécanismes divers (MLP, XGBoost, diverses non-linéarités) et des distributions de bruit.
Entraînement amorti : Le modèle est entraîné pour gérer des degrés variables d'information manquante. Pendant l'entraînement, les entrées de la PAM sont masquées de manière aléatoire (définies à 0), forçant le modèle à apprendre un ensemble unique de poids capables de s'adapter à une information ancestrale complète, partielle ou nulle.

Résultats clés

1. Efficacité du conditionnement

Les expériences sur des priors gaussiens-linéaires synthétiques et des priors non-linéaires complexes démontrent que :

Le Biais d'attention souple + GCN est la stratégie de conditionnement la plus efficace, surpassant systématiquement les modèles sans conditionnement de graphe, le masquage strict ou les approches utilisant uniquement le GCN.
Le conditionnement sur les matrices ancestrales est comparable au conditionnement sur les matrices d'adjacence complètes, validant l'utilisation de la connaissance ancestrale comme un substitut pratique.

2. Robustesse à l'information partielle

Efficacité de l'amortissement : Un modèle unique entraîné avec des PAM amorties (masquées aléatoirement) est presque aussi performant que des modèles spécialisés entraînés exclusivement sur des informations complètes ou nulles.
Ignorance vs Erreur de spécification : Une découverte critique est que masquer les liens incertains (les marquer comme "inconnus") est bien moins préjudiciable que de les spécifier de manière erronée (inverser la direction). La performance se dégrade progressivement à mesure que les liens sont masqués, mais chute brutalement lorsque les liens sont incorrectement spécifiés. Cela souligne la valeur pratique des matrices partielles.

3. Benchmarks semi-synthétiques

Sur le benchmark RealCause (IHDP, ACIC, CPS, PSID) :

Fournir une information ancestrale partielle encodant l'absence de confusion (unconfoundedness) améliore significativement les performances (mesurées par $\sqrt{PEHE}$ et l'erreur relative de l'ATE) par rapport aux modèles sans conditionnement de graphe.
Le CFM conditionné par le graphe surpasse les bases spécialisées comme Do-PFN et CausalFM sur la plupart des jeux de données.
Bien que CausalPFN obtienne la meilleure performance globale sur RealCause, les auteurs attribuent cela à un alignement du prior (le processus de génération de données de CausalPFN imite celui de RealCause) plutôt qu'au conditionnement de graphe. Une fois le conditionnement de graphe introduit, leur modèle surpasse CausalFM et Do-PFN.

4. Comparaison avec les modèles spécialisés

Lorsque le critère de la voie de recul (back-door) est violé (un contexte où les modèles spécialisés comme CausalPFN et CausalFM reposent sur des hypothèses mal spécifiées), le CFM conditionné par le graphe montre un avantage substantiel, démontant sa capacité à gérer les cas non identifiables en exploitant la structure partielle disponible.

Signification et revendications

Le papier prétend lever un obstacle central au développement de modèles de fondation causaux "tout-en-un" : la capacité de répondre à des requêtes causales de manière pilotée par les données tout en exploitant efficacement toute quantité d'expertise métier.

Cadre unifié : Il démontre qu'un seul CFM peut se conditionner de manière flexible sur des données observationnelles et des niveaux variables de connaissance causale (nulle, partielle ou complète) sans réentraînement.
Utilité pratique : En utilisant des Matrices Ancestrales Partielles, l'approche comble le fossé entre la rigidité des estimateurs causaux traditionnels (qui exigent des graphes précis) et la nature "boîte noire" des modèles de fondation actuels (qui ignorent la connaissance métier).
Portée modeste : Les auteurs reconnaissent que, bien que les gains de performance absolue sur certaines métriques soient faibles (attribués aux petits effets causaux dans leurs priors), la méthode établit une fondation faisable et efficace pour de futurs modèles d'estimation d'effets causaux robustes. Ils notent que le travail actuel se concentre sur les variables entièrement observées et ne traite pas encore des variables de confusion cachées, laissant cela pour de futurs développements "tout-en-un".