Causal Neural Probabilistic Circuits

Cet article propose les Circuits Probabilistes Neuronaux Causaux (CNPC), une nouvelle architecture qui améliore les modèles à goulot de concepts en intégrant des circuits probabilistes causaux pour effectuer des inférences exactes et respecter les dépendances causales lors des interventions, garantissant ainsi une précision supérieure par rapport aux méthodes existantes.

L'essentiel

🕵️‍♂️ Le Problème : Le Détective qui oublie le contexte

Imaginez un détective très intelligent (une Intelligence Artificielle) qui doit deviner si un patient est malade. Pour être plus transparent, on lui demande d'abord de lister des "indices" (les concepts) : a-t-il de la fièvre ? a-t-il toussé ? fume-t-il ?.

C'est ce qu'on appelle un Modèle à Goulot d'Étranglement de Concepts (CBM). L'idée est géniale : si le détective se trompe sur un indice (par exemple, il pense que le patient fume alors qu'il ne fume pas), un médecin expert peut corriger cet indice manuellement.

Mais voici le piège :
Dans les modèles actuels, si le médecin corrige l'indice "fume-t-il ?", le modèle met juste à jour cette case et ignore tout le reste.

• Exemple : Si le médecin dit "Non, il ne fume pas", le modèle devrait aussi réduire la probabilité de "cancer du poumon". Mais les vieux modèles ne font pas le lien ! Ils laissent les autres indices figés, comme si le fait de ne pas fumer n'avait aucun impact sur la toux ou le cancer. C'est comme si un mécanicien changeait une pièce de voiture sans vérifier si cela affecte le moteur.

💡 La Solution : Le "CNPC" (Le Détective avec un Plan de Ville)

Les auteurs proposent une nouvelle méthode appelée CNPC (Circuits Neuronaux Probabilistes Causaux). Imaginez que ce détective possède deux outils magiques :

1. Le Détective Visuel (Réseau de Neurones) : Il regarde la photo du patient et devine les indices (fièvre, toux, etc.). Il est rapide et voit bien, mais il peut se tromper, surtout si la photo est floue ou bizarre.
2. Le Plan de Ville Causal (Circuit Probabiliste) : C'est un manuel de logique rigide qui contient toutes les règles du monde. Il sait que : "Si on arrête de fumer, le risque de cancer baisse, et la toux change aussi". Ce manuel ne se trompe jamais sur les liens de cause à effet.

🤝 La Magie : Le "Coup de Poing des Experts" (Product of Experts)

Le vrai génie du CNPC, c'est comment il combine ces deux outils quand on fait une correction (une intervention).

Imaginez que vous avez deux experts qui vous donnent leur avis :

• Expert A (Le Détective) : "Je pense qu'il a de la fièvre, mais le médecin a dit qu'il ne fume pas."
• Expert B (Le Plan de Ville) : "Selon les règles de la logique, si on ne fume pas, alors la probabilité de fièvre liée au tabac doit changer."

Le CNPC utilise une technique appelée "Produit d'Experts". C'est comme un vote pondéré :

• Si la photo est claire (situation normale), on écoute beaucoup le Détective.
• Si la photo est bizarre, floue ou piégée (situation anormale), on écoute davantage le Plan de Ville pour corriger les erreurs du détective.

Le modèle ajuste le poids de chaque expert (le paramètre $\alpha$) pour trouver le juste milieu. Il ne jette pas l'avis du détective, mais il le "réajuste" avec la logique stricte du manuel.

🌪️ Pourquoi c'est important ? (Le Test de la Tempête)

Les chercheurs ont testé leur modèle dans deux situations :

1. La journée ensoleillée (Données normales) : Tout le monde fonctionne bien. Le CNPC est un tout petit peu meilleur.
2. La tempête (Données bizarres ou piégées) : Imaginez que le détective regarde une photo retournée à l'envers ou attaquée par des "bruits" invisibles. Le détective panique et donne de mauvaises réponses.
   • Les anciens modèles s'effondrent.
   • Le CNPC, lui, se tourne vers son Plan de Ville. Il dit : "Le détective est confus, mais la logique dit que si X change, alors Y doit changer ainsi." Grâce à cela, il reste précis là où les autres échouent.

🏆 En résumé

Le CNPC est comme un système de navigation GPS qui combine :

1. La vision de la route en temps réel (l'IA).
2. Les règles de circulation et la géographie (la causalité).

Quand la route est bloquée ou que la caméra est sale (interventions ou données aberrantes), le GPS ne s'arrête pas. Il utilise les règles de la carte pour recalculer l'itinéraire en tenant compte de toutes les conséquences logiques, garantissant que vous arrivez à destination même si le détective a fait une erreur initiale.

C'est une façon plus intelligente, plus sûre et plus humaine de faire confiance à l'intelligence artificielle, surtout quand les choses deviennent compliquées.

Résumé technique

1. Problématique

Les Modèles à Goulot de Concepts (Concept Bottleneck Models - CBM) sont conçus pour améliorer l'interprétabilité des réseaux de neurones profonds en décomposant la prédiction en deux étapes : la prédiction de concepts humains interprétables, suivie de la prédiction de la classe finale basée sur ces concepts. Un avantage clé des CBM est leur capacité à supporter des interventions : un expert humain peut corriger une valeur de concept mal prédite lors du test pour améliorer la précision finale.

Cependant, les CBM traditionnels implémentent ces interventions de manière naïve : ils écrasent uniquement la valeur du concept corrigé tout en laissant les autres prédictions de concepts inchangées. Cette approche ignore les dépendances causales entre les concepts. Par exemple, si un expert corrige le concept "fumeur", cela devrait augmenter la probabilité du concept "cancer du poumon" selon la structure causale. Ignorer ces dépendances conduit à des distributions de classes interventionnelles sous-optimales et réduit l'efficacité des interventions, en particulier dans des scénarios hors distribution (OOD) où les prédictions du réseau neuronal peuvent être peu fiables.

Le défi principal réside dans le fait que modéliser exactement la distribution de classe sous intervention ($P(Y | do(A_j))$) est difficile avec les modules CBM standards, car la distribution conjointe des attributs sous intervention n'est pas directement accessible.

2. Méthodologie : CNPC

Les auteurs proposent le Causal Neural Probabilistic Circuit (CNPC), une architecture hybride qui combine la puissance des réseaux de neurones avec la rigueur de l'inférence causale probabiliste.

Architecture

Le CNPC se compose de deux modules principaux :

1. Prédicteur d'attributs neuronal : Un réseau de neurones (généralement un MLP multi-tâches) qui prédit la distribution des $K$ attributs à partir de l'entrée $X$.
2. Circuit Probabiliste Causal (Causal PC) : Un circuit probabiliste (PC) compilé à partir d'un graphe causal connu (ou appris) reliant les attributs et la classe. Ce circuit encode la distribution conditionnelle $P(Y | A_{1:K})$ et permet une inférence causale exacte et traitable (tractable).

Mécanisme d'Intervention et Produit d'Experts (PoE)

L'innovation majeure réside dans la manière dont le CNPC gère les interventions. Lorsqu'une intervention est effectuée sur un ou plusieurs attributs (fixant leur valeur à la vérité terrain), le CNPC doit estimer la distribution conjointe des attributs sous intervention $P_{do}(A_{1:K} | X)$.

Comme ce terme est difficile à calculer directement, le CNPC l'approxime en utilisant un Produit d'Experts (Product of Experts - PoE) qui fusionne deux sources d'information :

• Expert 1 (Neural) : La distribution des attributs prédite par le réseau neuronal, mais avec les attributs intervenus "clampsés" (fixés) à leur distribution de vérité terrain.
• Expert 2 (Causal) : La distribution marginale interventionnelle des attributs calculée exactement par le Circuit Probabiliste Causal en effectuant une inférence sur le graphe mutilé (graphe causal où les entrées vers les variables intervenues sont supprimées).

La distribution finale des attributs sous intervention est donnée par :
$$\tilde{P}_{do}^{j}(A_{1:K} | X) \propto \left( P_{do}^{j}(A_{1:K} | X)_{\text{neural}} \right)^{1-\alpha} \cdot \left( P_{do}^{j}(A_{1:K})_{\text{causal}} \right)^{\alpha}$$
où $\alpha \in [0, 1]$ est un poids d'équilibrage.

• Si $\alpha = 0$, le modèle se comporte comme un NPC standard (Neural Probabilistic Circuit).
• Si $\alpha$ est élevé, le modèle s'appuie davantage sur la structure causale pour propager l'effet de l'intervention.

La prédiction finale de la classe est ensuite obtenue en combinant cette approximation PoE avec la distribution conditionnelle $P(Y | A_{1:K})$ fournie par le PC causal.

3. Contributions Clés

1. Proposition du CNPC : Une nouvelle architecture qui intègre un graphe causal dans un circuit probabiliste pour permettre une inférence causale exacte, tout en conservant un prédicteur neuronal pour l'extraction de caractéristiques.
2. Analyse Théorique : Les auteurs établissent des bornes d'erreur compositionnelle pour le CNPC et le NPC. Ils démontrent théoriquement que le CNPC peut se rapprocher davantage de la distribution de classe interventionnelle réelle (ground-truth) que le NPC, en particulier lorsque le prédicteur neuronal est imprécis ou lorsque la distribution marginale interventionnelle fournie par le PC est proche de la réalité.
3. Validation Empirique Robuste : Des expériences sur cinq jeux de données (y compris des données médicales, biologiques et d'images) montrent que le CNPC surpasse systématiquement les modèles de base (CBM classiques, SCBM, C2BM, NPC) dans des scénarios hors distribution (OOD), notamment face à des transformations de données inconnues, des perturbations adverses et des changements de corrélations spurieuses.

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq jeux de données : Asia, Sachs, MNISTAdd, cMNISTAdd (avec corrélations spurieuses) et CelebA.

• Performance en Distribution (Benign) : Dans des conditions normales, tous les modèles bénéficient des interventions (la précision augmente avec le nombre d'attributs corrigés). Le CNPC obtient des performances légèrement supérieures ou comparables aux meilleurs modèles de base.
• Performance Hors Distribution (OOD) : C'est ici que le CNPC excelle.
  • Face à des transformations de données inconnues (ex: rotation de 180°) et des attaques adverses (PGD), la précision des attributs des réseaux neuronaux s'effondre.
  • Le CNPC, en s'appuyant fortement sur le PC causal (via un $\alpha$ élevé, ex: 0.9), parvient à récupérer la performance de la tâche bien mieux que les autres modèles. Il surpasse le deuxième meilleur modèle de 22% à 24% sur certains jeux de données avec peu d'interventions.
  • Le modèle est particulièrement robuste face aux corrélations spurieuses (cMNISTAdd), où les autres modèles échouent souvent car ils exploitent des biais de fond.
• Ablation sur $\alpha$ : L'étude montre qu'un $\alpha$ faible (0.1) est optimal en distribution, tandis qu'un $\alpha$ élevé (0.7 - 0.9) est crucial en OOD. Cela confirme que l'ajustement dynamique du poids entre le signal neuronal et le signal causal est essentiel.

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine des modèles interprétables et robustes :

• Efficacité des Interventions : Il démontre que pour exploiter pleinement le potentiel des interventions humaines (coûteuses), il est impératif de propager ces corrections à travers la structure causale du problème, et non pas de manière isolée.
• Robustesse OOD : Le CNPC offre une voie pratique pour intégrer des connaissances causales dans des modèles prédictifs modernes, améliorant considérablement leur fiabilité dans des environnements incertains ou changeants, là où les réseaux de neurones seuls échouent.
• Inférence Causale Approximative : Il propose un cadre efficace pour approximer l'inférence causale (y compris les contre-factuels potentiels) au sein de modèles hybrides, comblant le fossé entre l'apprentissage profond et l'inférence causale formelle.

En résumé, le CNPC transforme les modèles à goulot de concepts en systèmes capables de raisonner causalement, rendant les interventions humaines non seulement correctives mais aussi informatives pour l'ensemble du système de décision.