Graph Concept Bottleneck Models

1. Énoncé du problème

Les Concept Bottleneck Models (CBM) constituent un cadre pour l'apprentissage profond interprétable qui mappe les données d'entrée vers des concepts intermédiaires compréhensibles par l'humain avant de faire une prédiction finale. Bien que les CBM permettent la transparence et l'intervention directe (par exemple, corriger une prédiction en ajustant un score de concept), les CBM existants souffrent d'une limitation critique :

• Hypothèse d'indépendance : Les CBM standards supposent que les concepts sont conditionnellement indépendants étant donné l'étiquette.
• Réalité de la corrélation : En pratique, les concepts sont fortement corrélés (par exemple, "fourrure" et "moustaches" co-occurrent souvent avec "queue"). Ignorer ces dépendances intrinsèques conduit à des représentations simplifiées, une précision prédictive réduite et une interprétabilité affaiblie.
• Limitations de l'intervention : Lorsque les utilisateurs interviennent sur un seul concept, les CBM standards échouent à propager les conséquences logiques de ce changement vers les concepts liés, conduisant à des corrections sous-optimales.

2. Méthodologie : Graph CBMs (G-CBMs)

Les auteurs proposent les Graph CBMs, un cadre novateur qui modélise explicitement la structure relationnelle entre les concepts à l'aide d'un graphe de concepts latent. L'architecture est conçue comme un module léger, plug-and-play, compatible avec les variantes CBM existantes (à la fois sans étiquette et supervisées par les concepts).

Composants principaux

Le modèle se compose de trois modules principaux :

1. Module 1 : Encodage et Paramétrisation

   • Entrées : Les images sont encodées via un encodeur de vision préentraîné ($E_v$), et les concepts sont encodés via un encodeur de langage préentraîné ($E_t$) (dans les paramètres sans étiquette).
   • Structure du graphe : Un graphe latent $G = (V, A)$ est défini où les nœuds $V$ représentent les concepts et la matrice d'adjacence $A$ encode la force relationnelle entre eux.
   • Initialisation : Le graphe est initialisé (aléatoirement ou via la similarité des embeddings) et partagé entre toutes les instances de données, mais l'activation des nœuds dépend de l'instance.

2. Module 2 : Passage de messages GNN

   • Pour capturer les dépendances, le modèle emploie un Réseau de Neurones à Graphes (GNN) avec plusieurs couches.
   • Passage de messages dual : À chaque couche $l$, l'information est agrégée à partir des nœuds voisins pour à la fois :
     • Les embeddings ($V_{emb}$) : Le sens sémantique du concept.
     • Les activations ($V_{act}$) : La mesure dans laquelle un concept est activé pour une image spécifique.
   • La règle de mise à jour combine la matrice d'adjacence avec la multiplication élément par élément des activations et des embeddings, permettant au modèle de propager le contexte depuis les concepts liés (par exemple, si "ailes" est actif, le modèle augmente la probabilité de "plumes").

3. Module 3 : Régularisation et Prédiction

   • Apprentissage contrastif : Puisque les relations de concepts de vérité terrain sont souvent indisponibles, le modèle utilise un apprentissage contrastif auto-supervisé pour apprendre la structure du graphe.
     • Perte au niveau des embeddings ($L_{emb}$) : Aligne l'embedding de l'image avec l'embedding au niveau du graphe (moyenne des embeddings de nœuds).
     • Perte au niveau des activations ($L_{act}$) : Aligne l'embedding de l'image projeté avec le vecteur d'activation de concept mis à jour.
   • Fonction de perte : La perte totale combine la perte d'entropie croisée de classification ($CE$), les pertes contrastives ($L_{emb}, L_{act}$) et un terme de régularisation de parcimonie $L_1$ sur la matrice d'adjacence pour éviter le surapprentissage et assurer l'interprétabilité.
   • Prédiction : L'étiquette finale est prédite en faisant passer les activations de concept affinées à travers une couche linéaire ou un MLP.

3. Contributions clés

1. Cadre novateur : Introduction des Graph CBMs, la première variante CBM à modéliser explicitement les corrélations de concepts latents via une structure de graphe apprenable, améliorant à la fois le raisonnement et l'interprétabilité.
2. Apprentissage de graphe auto-supervisé : Développement d'un cadre qui construit automatiquement des graphes de concepts latents sans nécessiter d'annotations relationnelles de vérité terrain, en utilisant un apprentissage contrastif multi-niveaux.
3. Intégration Plug-and-Play : La méthode est orthogonale aux conceptions CBM existantes, s'intégrant de manière transparente aux CBM sans étiquette (par exemple, LF-CBM, PCBM) et aux CBM supervisés par les concepts (par exemple, CBM standard, CEM).
4. Intervention robuste : Démonstration que la modélisation des relations de concepts améliore considérablement l'efficacité des interventions a posteriori, permettant aux corrections de se propager logiquement à travers le réseau de concepts.

4. Résultats expérimentaux

Les auteurs ont évalué les Graph CBMs sur plusieurs jeux de données réels, notamment CUB-200-2011 (oiseaux), Flower102, HAM10000 (lésions cutanées), CIFAR-10/100, et ChestXpert.

• Précision prédictive :
  • Les Graph CBMs ont constamment surpassé les lignes de base sur tous les jeux de données.
  • Paramètre sans étiquette : Graph-PCBM a amélioré la précision d'~1,5 % à 3 % par rapport au PCBM standard (par exemple, 77,95 % contre 74,69 % sur CUB).
  • Paramètre supervisé par les concepts : Graph-CBM et Graph-CEM ont égalé ou dépassé les méthodes de l'état de l'art (par exemple, ProbCBM, HardAR, E-CBM) tout en offrant une meilleure interprétabilité.
• Performance d'intervention :
  • Dans les expériences d'intervention (modification des scores de concepts pour corriger des erreurs), les Graph CBMs ont montré une robustesse significativement plus élevée.
  • Lorsque les concepts étaient masqués ou perturbés, les Graph CBMs ont mieux récupéré la performance que les lignes de base en agrégeant les signaux des voisins connectés.
  • Les Graph CBMs ont atteint une haute précision avec des interventions en une seule étape, tandis que les modèles basés sur l'énergie (comme E-CBM) nécessitaient des calculs de gradient itératifs.
• Études d'ablation :
  • La suppression du passage de messages GNN a fait chuter la performance aux niveaux de base, confirmant que le gain provient de la modélisation des interactions, et non simplement d'une augmentation des paramètres.
  • L'utilisation simultanée de $L_{emb}$ et $L_{act}$ était cruciale ; l'utilisation d'un seul seul conduisait à des graphes soit trop denses, soit trop parcimonieux.
• Interprétabilité du graphe :
  • Les graphes appris ont révélé des connexions sémantiquement significatives (par exemple, "voix forte et rauque" connectée à "cri rauque") qui correspondaient à l'intuition humaine et ont même surpassé les heuristiques générées par les LLM dans la capture de corrélations non évidentes.

5. Signification et impact

• Combler le fossé : Les Graph CBMs comblent le fossé entre l'interprétabilité des CBM et les capacités de raisonnement relationnel des Réseaux de Neurones à Graphes.
• Fiabilité : En modélisant comment les concepts s'influencent mutuellement, le modèle fournit un processus de prise de décision plus réaliste et fiable, crucial pour des domaines critiques pour la sécurité comme la santé (par exemple, comprendre comment la "pneumonie" se rapporte à l'"épanchement pleural").
• Efficacité : L'approche atteint des performances de l'état de l'art avec une surcharge computationnelle minimale (ajoutant seulement $O(k^2)$ paramètres pour $k$ concepts) et ne nécessite pas de réentraîner l'encodeur d'image de base.
• Généralisation : Le cadre est polyvalent, fonctionnant efficacement dans les deux scénarios où les étiquettes de concepts sont disponibles et où elles doivent être découvertes automatiquement (sans étiquette).

En conclusion, les Graph CBMs représentent une avancée significative dans l'IA interprétable, dépassant l'hypothèse de concepts indépendants pour capturer la nature riche et interconnectée du raisonnement humain, améliorant ainsi à la fois la précision du modèle et la fiabilité des interventions humaines.