Scalable Contrastive Causal Discovery under Unknown Soft Interventions

Cet article propose un modèle d'apprentissage causal évolutif et contrastif capable de découvrir des structures causales sous forme de PDAG maximales à partir de régimes observationnels et interventionnels appariés avec des interventions douces inconnues, garantissant une récupération théorique et une généralisation supérieures aux méthodes existantes.

L'essentiel

Imaginez que vous essayez de comprendre comment fonctionne une grande usine complexe, mais vous n'avez que deux types de photos :

1. Des photos normales : L'usine tourne à son rythme habituel.
2. Des photos "perturbées" : Quelqu'un a légèrement modifié le réglage d'une machine (par exemple, a augmenté un peu le courant), mais vous ne savez pas quelle machine a été touchée, ni comment exactement.

Votre but est de dessiner le plan de l'usine (qui commande qui ?) en utilisant uniquement ces photos. C'est le problème de la découverte causale.

Voici comment l'article "SCONE" résout ce casse-tête, expliqué simplement :

1. Le Problème : L'énigme des "Soft Interventions"

Habituellement, pour comprendre la causalité, les scientifiques font des expériences "dures" : ils coupent le courant d'une machine spécifique pour voir ce qui s'arrête. C'est facile à interpréter.

Mais dans la vraie vie (médical, climat, économie), on ne peut pas toujours faire ça. On observe souvent des changements subtils ("soft interventions") : une machine tourne un peu plus vite, mais on ne sait pas si c'est à cause d'un opérateur, d'une panne mineure ou d'un changement de température. De plus, on n'a souvent qu'un seul type de photo perturbée.

C'est comme essayer de deviner les règles d'un jeu de cartes en regardant seulement une main de cartes et une main où quelqu'un a triché, sans savoir quelle carte a été changée.

2. La Solution : SCONE (Le Détective Contrastif)

Les auteurs proposent un nouveau modèle appelé SCONE. Imaginez-le comme un détective très intelligent qui utilise une technique spéciale : la comparaison par contraste.

Au lieu de regarder les photos une par une, SCONE les met côte à côte pour repérer les différences.

L'Analogie du "Jardin Secret"

Imaginez que vous avez deux jardins identiques (le même plan de base), mais dans le deuxième, le jardinier a arrosé certaines plantes différemment sans vous dire lesquelles.

• Méthode classique : Regarder le premier jardin, puis le deuxième, et essayer de deviner le plan. C'est flou.
• Méthode SCONE : Elle regarde les deux jardins ensemble. Elle se dit : "Tiens, cette plante a changé de couleur, mais celle d'à côté est restée verte. Donc, la plante verte n'a pas été arrosée, elle est stable. La plante qui a changé, c'est elle la cible !".

En comparant ce qui change et ce qui reste stable entre les deux régimes, SCONE peut déduire qui commande qui, même sans savoir exactement quelle machine a été touchée au début.

3. Comment ça marche ? (Les 3 Étapes Magiques)

SCONE ne regarde pas tout le monde d'un coup (ce serait trop compliqué). Il procède par petites touches :

1. Le Microscope (Les Sous-ensembles) :
   Au lieu d'analyser 100 variables d'un coup, SCONE prend de petits groupes de variables (comme des petits groupes de plantes dans le jardin). Il dessine un petit plan local pour chaque groupe. C'est comme si on regardait des pièces individuelles de l'usine séparément.

2. Les Règles de Comparaison (Les Indiscrétions) :
   C'est le cœur du modèle. SCONE applique trois règles logiques basées sur la comparaison :

   • La règle de l'asymétrie : Si la plante A change dans le jardin 2 mais pas la plante B, alors A ne peut pas être commandée par B (car B est stable).
   • La règle du "V" : Si deux plantes pointent vers une troisième, et que la troisième change alors que les deux premières restent stables, alors c'est un point de rencontre (un "V").
   • La règle du chemin : Si un changement se propage le long d'un chemin spécifique d'une plante à l'autre, on peut tracer la route.

3. L'Assemblage Global (Le Puzzle) :
   Une fois que SCONE a tous ces petits plans locaux et a orienté les flèches grâce aux comparaisons, il utilise une technique appelée "Attention Axiale" (un peu comme un chef d'orchestre) pour assembler toutes les pièces et créer un plan global cohérent. Il s'assure que tout le monde est d'accord sur qui commande qui.

4. Pourquoi c'est génial ? (Les Résultats)

• Évolutivité (Scalabilité) : Les anciennes méthodes étaient comme des calculatrices de poche : elles fonctionnaient bien pour 20 variables, mais explosaient avec 100. SCONE est comme un super-ordinateur : il gère des graphes énormes (100+ variables) sans ralentir.
• Généralisation : Si vous entraînez SCONE sur des usines qui utilisent des moteurs électriques, il arrive à comprendre le plan d'une usine avec des moteurs à vapeur, même s'il ne l'a jamais vue. Il apprend les principes de la causalité, pas juste la mémoire des exemples.
• Précision : Dans les tests, SCONE a reconstruit les plans beaucoup plus fidèlement que les méthodes actuelles, même quand les données étaient bruitées ou incomplètes.

En Résumé

SCONE est un outil qui dit : "Je ne sais pas exactement ce qui a changé dans votre système, et je n'ai qu'une seule photo du changement. Mais si je compare minutieusement ce qui bouge et ce qui reste fixe entre deux états, je peux reconstituer le plan de la machine avec une précision incroyable."

C'est une avancée majeure pour comprendre les systèmes complexes (comme le corps humain, le climat ou les marchés financiers) où on ne peut pas toujours faire des expériences parfaites.

Résumé technique

1. Problématique

La découverte causale vise à reconstruire la structure d'un graphe acyclique dirigé (DAG) à partir de données. Cependant, les données purement observationnelles ne permettent d'identifier la structure causale qu'à une classe d'équivalence de Markov (MEC) près, laissant certaines arêtes non orientées.

Bien que les données interventionnelles puissent réduire cette ambiguïté, les scénarios réels présentent plusieurs défis majeurs :

• Interventions "douces" (Soft Interventions) : Contrairement aux interventions parfaites (hard interventions) qui fixent une variable, les interventions douces modifient le mécanisme de génération de données d'une variable sans changer la structure du graphe sous-jacent.
• Cibles inconnues : Dans de nombreux cas (biologie, économie), on observe un régime interventionnel mais on ne sait pas quelles variables ont été ciblées.
• Limites des méthodes existantes : Les algorithmes théoriques comme Ψ-FCI (Jaber et al., 2020) peuvent gérer ces cas, mais ils nécessitent un accès oracle à toutes les indépendances conditionnelles et invariances, ce qui les rend non évolutifs (non scalables) pour les grands graphes. De plus, les méthodes d'apprentissage profond existantes (comme AVICI ou SEA) supposent souvent des interventions parfaites avec des cibles connues et peinent à généraliser à des mécanismes causaux non vus (out-of-distribution).

Objectif : Développer un cadre évolutif (scalable) capable d'apprendre la structure causale à partir de deux régimes (observationnel et interventionnel) avec des cibles d'intervention douces inconnues, tout en généralisant à des graphes et des mécanismes non vus.

---

2. Méthodologie : SCONE

Les auteurs proposent SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions), un cadre d'apprentissage profond basé sur l'attention et l'agrégation de sous-graphes.

A. Cadre Théorique Restreint

Au lieu de viser l'équivalence Ψ complète (qui nécessite des informations globales), SCONE opère dans un cadre restreint :

• Il n'accède qu'à des PDAGs locaux (partiellement orientés) sur des sous-ensembles admissibles de variables.
• Il utilise un ensemble fini de requêtes d'invariance testées entre les régimes.
• L'objectif est de reconstruire le graphe essentiel Ψ induit par les tests ($G_{test}$), qui est le PDAG maximal orienté cohérent avec les informations disponibles localement et les tests d'invariance.

B. Architecture du Modèle

SCONE utilise une architecture à deux flux (streams) intégrant la découverte causale classique et l'apprentissage par contraste :

1. Flux Marginal (Local) :

   • Échantillonnage de sous-ensembles de nœuds (stratégie de greedy sampling priorisant les changements de régime).
   • Application d'un ensemble de méthodes de découverte causale classiques (ex: PolyBIC, GES) sur chaque sous-ensemble pour obtenir des PDAGs locaux.
   • Tokenisation des arêtes avec des statistiques par régime (corrélations, coefficients de régression).

2. Flux Global :

   • Représentation dense de toutes les paires de nœuds basée sur la matrice de précision inverse moyenne.
   • Utilisation de l'attention axiale pour agréger les informations locales et globales, permettant de raisonner sur la structure complète du graphe.

3. Réparamétrisation Contrastive :

   • Les embeddings d'arêtes sont décomposés en deux canaux : invariant ($z_{avg}$) et contrastif ($z_{\Delta}$). Cela sépare la structure causale stable des variations spécifiques au régime.

4. Têtes de Biais Contrastives (Contrastive Bias Heads) :
   Le cœur de la méthode réside dans trois règles d'orientation apprises qui exploitent les invariances pour orienter les arêtes ambiguës :

   • SSI (Single-Sided Invariance) : Si une arête $i-j$ est non orientée localement, mais que $j$ change de régime (Chg) tandis que $i$ reste invariant (Inv), alors $i \to j$ est orienté.
   • CVT (Contrastive V-structure) : Pour un triplet non protégé $i-j-k$, si $j$ change de régime mais $i$ et $k$ sont invariants, cela force une structure en V ($i \to j \leftarrow k$).
   • DPT (Contrastive Discriminating Path) : Utilise des chemins discriminants pour orienter des arêtes en se basant sur la cohérence des invariances le long du chemin.

5. Agrégation et Optimisation :

   • Les contraintes locales et les biais contrastifs sont agrégés via l'attention axiale.
   • Une tête globale auxiliaire assure la cohérence sur toutes les paires de nœuds.
   • La fonction de perte combine la perte d'entropie croisée, une pénalité SHD (Structural Hamming Distance) douce, et une régularisation pour maintenir les têtes de biais actives.

---

3. Contributions Clés

1. Modèle Évolutif : Première architecture scalable capable de traiter des interventions douces inconnues sur de grands graphes (jusqu'à 100 nœuds), là où les méthodes basées sur la recherche exhaustive (comme Ψ-FCI) échouent.
2. Résultats Théoriques :
   • Définition formelle de l'équivalence Ψ restreinte et du graphe essentiel induit par les tests.
   • Preuve de validité (soundness) des règles d'orientation contrastives : elles n'orientent que les arêtes qui sont nécessairement orientées dans la classe d'équivalence restreinte.
   • Preuve de séparation : Démonstration qu'aucun agrégateur non contrastif ne peut récupérer un sous-ensemble d'arêtes que SCONE peut orienter.
   • Preuve de consistance asymptotique : Le modèle récupère le graphe essentiel cible lorsque le nombre d'échantillons et de sous-ensembles tend vers l'infini.
3. Généralisation Out-of-Distribution (OOD) : Le modèle apprend à généraliser à des mécanismes causaux non vus (ex: entraînement sur des mécanismes linéaires/NN, test sur des mécanismes polynomiaux/sigmoïdes).

---

4. Résultats Expérimentaux

Les expériences ont été menées sur des données synthétiques avec des graphes de 20 à 100 nœuds.

• Benchmark In-Distribution : Sur des graphes de 20 nœuds, SCONE obtient le SHD le plus faible (14.6 vs 19.7 pour NOTEARS) et un F1 élevé, surpassant les méthodes d'état de l'art (AVICI, DCDI, SEA).
• Généralisation OOD : SCONE surpasse systématiquement les autres méthodes lorsqu'il est testé sur des mécanismes non vus (Polynomial, Sigmoid) après entraînement sur d'autres familles. Les méthodes basées sur l'apprentissage de graphes spécifiques (comme NOTEARS) ou les méthodes d'agrégation classiques (SEA) voient leurs performances chuter drastiquement.
• Évolutivité (Scalability) :
  • Sur des graphes de 100 nœuds, SCONE maintient une performance stable (SHD ~126, F1 ~0.23).
  • Les méthodes concurrentes échouent : DCD-FG et SEA affichent des SHD très élevés (plus de 1000 pour DCD-FG) et des F1 proches de zéro, indiquant une incapacité à reconstruire la structure à grande échelle.
• Études d'Ablation :
  • Supprimer les têtes de biais (SCONE-NB) augmente le SHD, prouvant que les règles contrastives sont essentielles pour orienter les arêtes supplémentaires.
  • Supprimer les fonctionnalités contrastives (SCONE-NC) dégrade fortement les performances, confirmant que l'information d'invariance est cruciale.

---

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la découverte causale pour plusieurs raisons :

1. Pragmatisme Réaliste : Il adresse le problème des interventions douces inconnues, une situation très courante en biologie et en sciences sociales, là où les hypothèses d'interventions parfaites sont rarement vérifiées.
2. Pont entre Théorie et Pratique : Il combine la rigueur théorique des méthodes basées sur les contraintes (comme FCI) avec la puissance et l'évolutivité des modèles d'apprentissage profond (Transformers/Attention).
3. Robustesse aux Changements de Distribution : En exploitant l'invariance causale, SCONE démontre une capacité supérieure à généraliser à des environnements non vus, une propriété cruciale pour le déploiement de modèles causaux dans le monde réel.
4. Limites et Perspectives : Le modèle dépend de l'hypothèse de fidélité (faithfulness) et de la couverture des témoins (witness coverage). Les travaux futurs visent à étendre le cadre à plus de deux régimes et à des interventions imparfaites.

En résumé, SCONE établit un nouvel état de l'art pour la découverte causale évolutive dans des conditions d'intervention réalistes et incertaines, offrant un outil puissant pour la modélisation de systèmes complexes.