Post-hoc Stochastic Concept Bottleneck Models

Cet article présente les Modèles Stochastiques de Concepts Bottleneck Post-hoc (PSCBMs), une méthode légère qui améliore les modèles CBM pré-entraînés en y ajoutant une distribution multivariée pour capturer les dépendances entre les concepts, permettant ainsi d'augmenter la précision et la robustesse aux interventions sans nécessiter de réentraînement du modèle de base.

L'essentiel

Le Problème : L'Expert qui a oublié de vérifier ses notes

Imaginez un médecin expert (c'est le modèle d'Intelligence Artificielle) qui doit diagnostiquer une maladie (la prédiction finale).

Pour être transparent, ce médecin ne donne pas juste un diagnostic direct. Il passe d'abord par une liste de symptômes clairs et compréhensibles par l'humain : "Fièvre", "Toux", "Fatigue". C'est ce qu'on appelle un Modèle à Goulot d'États Conceptuels (CBM).

• L'avantage : Si le médecin se trompe sur "Fièvre", vous pouvez lui dire : "Non, il n'a pas de fièvre", et il corrige son diagnostic final. C'est l'intervention.

Le souci : Dans la réalité, les symptômes sont souvent liés. Si quelqu'un a une forte fièvre, il a probablement aussi de la fatigue. Les modèles classiques traitent chaque symptôme comme s'il était isolé, comme si la fièvre n'avait aucun lien avec la fatigue. Cela rend le diagnostic moins précis et les corrections moins efficaces.

La Solution : Ajouter un "Assistant de Raison" sans rééduquer le médecin

Les chercheurs ont créé une méthode appelée PSCBM (Modèles à Goulot d'États Conceptuels Stochastiques a posteriori).

Voici l'analogie pour comprendre leur innovation :

1. Le Dilemme : Pour que le médecin comprenne que la fièvre et la fatigue sont liées, il faudrait idéalement le rééduquer de zéro avec des milliers de nouveaux cas. C'est long, coûteux et parfois impossible (si on n'a plus les données d'origine).
2. L'Innovation PSCBM : Au lieu de rééduquer tout le médecin, les chercheurs ajoutent simplement un petit carnet de notes (un module léger) à côté de lui.
   • Ce carnet ne change pas ce que le médecin sait déjà.
   • Il sert uniquement à noter les liens entre les symptômes (la "covariance"). Il dit : "Attention, quand la fièvre est haute, la fatigue a 90% de chances d'être élevée aussi".
   • C'est comme ajouter un assistant qui chuchote au médecin : "Hé, n'oublie pas que ces deux symptômes vont souvent ensemble !"

Comment ça marche en pratique ?

Imaginez que vous essayez de corriger le diagnostic du médecin :

• Sans l'assistant (Modèle classique) : Vous dites "Pas de fièvre". Le médecin met à jour son diagnostic, mais il ne modifie pas sa pensée sur la fatigue, car il ne voit pas le lien.
• Avec l'assistant (PSCBM) : Vous dites "Pas de fièvre". L'assistant regarde son carnet, voit le lien, et dit au médecin : "Si pas de fièvre, alors la probabilité de fatigue baisse aussi". Le médecin ajuste automatiquement tout son raisonnement en conséquence.

Pourquoi c'est génial ?

1. Économie d'énergie (Pas de réentraînement) : C'est la grande force. On ne réécrit pas tout le livre de médecine (le modèle). On ajoute juste une page de liens (le module de covariance). C'est rapide et peu coûteux en calcul.
2. Meilleures corrections : Quand on intervient pour corriger une erreur, le modèle comprend mieux les conséquences sur les autres éléments. C'est comme si le médecin devenait plus "intelligent" dans ses ajustements.
3. Sécurité : Dans des domaines sensibles comme la santé, on ne peut pas toujours changer un modèle validé par les autorités (comme la FDA). PSCBM permet d'améliorer la capacité à corriger les erreurs sans toucher au cœur du modèle déjà approuvé.

En résumé

Ce papier propose une astuce intelligente pour rendre les IA plus fiables et plus faciles à corriger. Au lieu de reconstruire toute une maison pour ajouter une porte dérobée, on installe simplement un téléphone interne entre les pièces. Cela permet de mieux coordonner les actions (les concepts) et de corriger les erreurs beaucoup plus efficacement, le tout sans casser la structure existante.

C'est une solution "légère" mais puissante pour rendre l'IA plus digne de confiance.

Résumé technique

1. Problématique

Les Modèles à Goulot d'Étude de Concepts (CBM - Concept Bottleneck Models) sont des modèles interprétables qui prédisent une variable cible via des concepts humains compréhensibles. Cela permet aux utilisateurs d'intervenir sur des concepts mal prédits pour ajuster la sortie finale.

Cependant, deux limitations majeures persistent :

1. Indépendance des concepts : Les CBM standards supposent que les concepts sont indépendants, ce qui est souvent faux dans les données réelles. Ignorer ces corrélations dégrade les performances, surtout lors d'interventions.
2. Coût de la re-modélisation : Les approches récentes (comme les SCBM - Stochastic CBM) qui modélisent ces dépendances via une distribution normale multivariée nécessitent de réentraîner l'ensemble du modèle (encodeur + prédicteur de concepts). Cela est souvent infeasible lorsque l'accès aux données originales ou à la puissance de calcul est limité, ou lorsque le modèle de base est déjà validé (ex: dans le domaine médical).

Question centrale : Peut-on intégrer la modélisation des dépendances entre concepts dans un CBM pré-entraîné sans réentraîner l'ensemble du modèle, tout en améliorant la précision et l'efficacité des interventions ?

2. Méthodologie : PSCBM

Les auteurs proposent les Post-hoc Stochastic Concept Bottleneck Models (PSCBMs), une extension légère et post-hoc des CBM existants.

Architecture

Le PSCBM réutilise un CBM pré-entraîné (encodeur $h$ et prédicteur de concepts $g$) et y ajoute un module léger :

• Prédicteur de moyenne ($g_\mu$) : Réutilise le prédicteur de concepts existant du CBM.
• Prédicteur de covariance ($g_\Sigma$) : Un nouveau module léger (couche linéaire) qui prédit la matrice de covariance $\Sigma$ des concepts.
• Modélisation : Les concepts sont modélisés comme un échantillon d'une distribution normale multivariée $\mathcal{N}(\mu, \Sigma)$, transformée par une fonction sigmoïde pour obtenir des probabilités binaires.

Stratégies d'Entraînement

Le module de covariance $g_\Sigma$ est entraîné seul (l'encodeur et le prédicteur de concepts restent figés) selon deux paradigmes :

1. PSCBM (Standard) : Minimisation de la perte standard (perte de concepts + perte cible) sans interventions pendant l'entraînement.
2. PSCBMi (Intervention-aware) : Une procédure d'entraînement où, à chaque itération, un sous-ensemble aléatoire de concepts est "intervenu" (modifié selon une stratégie $\tau$). La perte est calculée sur la prédiction résultante de cette intervention. Cela rend le modèle plus réactif aux interventions futures.

Interventions

L'intervention dans un PSCBM exploite la structure de la distribution normale :

1. L'utilisateur modifie les logits de certains concepts (ensemble $S$).
2. Le modèle met à jour la distribution des concepts restants ($\setminus S$) en calculant la distribution conditionnelle de la normale multivariée, tenant compte de la covariance $\Sigma$.
3. Cela permet de propager l'effet de l'intervention sur les concepts corrélés de manière cohérente, contrairement aux CBM standards qui traitent les concepts indépendamment.

3. Contributions Clés

1. Module Post-hoc Léger : Introduction d'une méthode qui transforme n'importe quel CBM pré-entraîné en un modèle stochastique dépendant des concepts, sans nécessiter de réentraînement complet (seule une petite couche de covariance est ajoutée).
2. Réduction des Coûts : Élimine le besoin d'accéder aux données brutes ou à une puissance de calcul massive pour réentraîner l'encodeur, rendant la méthode applicable dans des environnements contraints.
3. Procédure d'Entraînement par Intervention : Proposition d'une nouvelle stratégie d'entraînement (PSCBMi) qui optimise spécifiquement la réactivité du modèle aux interventions, améliorant ainsi l'efficacité de l'interaction utilisateur.
4. Compatibilité et Sécurité : Le modèle reste compatible avec le CBM original (en désactivant le module de covariance, on retrouve les prédictions de base), un atout crucial pour les domaines réglementés où les modèles sont déjà approuvés.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Caltech-UCSD Birds-200-2011 (200 classes d'oiseaux, 112 concepts binaires).

• Performance sans intervention :

  • Le PSCBM (sans réentraînement complet) surpasse le CBM standard et le SCBM (entraîné de zéro) en termes de précision cible (Target Accuracy : ~68.4% vs 67.4% pour CBM).
  • La précision des concepts reste comparable à celle du CBM standard (~94.9%).
  • Efficacité : Le temps d'entraînement du PSCBM est drastiquement réduit (740s) comparé au SCBM (8134s) ou au CBM réentraîné (~7204s), car seul un petit module est optimisé.

• Performance avec intervention :

  • Les modèles PSCBM (surtout PSCBMi) montrent une amélioration significative de la précision cible lors d'interventions successives par rapport au CBM standard.
  • Bien que le SCBM réentraîné de zéro puisse parfois converger plus vite sur les premières interventions, le PSCBMi finit par le dépasser ou le rattraper, tout en restant beaucoup plus efficace en termes de ressources.
  • L'AUC (Area Under the Curve) des courbes d'intervention est supérieure pour les variantes PSCBM, confirmant une meilleure efficacité de l'intervention.

5. Signification et Impact

Ce travail est significatif pour la conception d'une IA digne de confiance (Trustworthy AI) pour plusieurs raisons :

• Accessibilité de l'Interprétabilité Avancée : Il démocratise l'accès aux modèles stochastiques dépendants des concepts pour les praticiens qui ne peuvent pas se permettre de réentraîner des modèles complexes.
• Intervention Efficace : Il améliore la capacité des utilisateurs à corriger les erreurs de modèles via des concepts, en tenant compte de la structure sous-jacente des données (corrélations), ce qui est essentiel pour les systèmes d'aide à la décision.
• Conformité Réglementaire : Dans des secteurs comme la santé, où un modèle CBM peut déjà avoir une certification (ex: FDA), le PSCBM offre une voie pour améliorer les capacités d'intervention sans invalider la validation initiale du modèle de base, en préservant les prédictions originales si le module de covariance est désactivé.

En résumé, les PSCBMs offrent un compromis optimal entre performance, interprétabilité, efficacité computationnelle et faisabilité pratique, permettant d'améliorer les modèles existants de manière "post-hoc" sans sacrifier leur intégrité ou leur coût de déploiement.