Debugging Concept Bottleneck Models through Removal and Retraining

1. Problématique : Le Décalage Systémique dans les CBM

Les Modèles à Goulot d'Étranglement Conceptuel (CBM - Concept Bottleneck Models) sont une architecture populaire pour l'IA interprétable. Ils fonctionnent en deux étapes : un extracteur de concepts prédit d'abord un ensemble de concepts interprétables par l'humain, puis une couche d'inférence utilise ces concepts pour prédire l'étiquette finale.

Bien que les CBM permettent aux experts de valider les prédictions et d'intervenir manuellement lors de l'inférence (en corrigeant un concept erroné), les auteurs identifient une limitation critique :

• Échec des interventions ponctuelles : Corriger un concept à l'inférence ne résout pas les désalignements systémiques entre le modèle et le raisonnement de l'expert.
• Apprentissage de raccourcis (Shortcuts) : Si les données d'entraînement sont biaisées, le modèle peut apprendre des corrélations spurieuses (ex: un oiseau sur l'eau est classé comme "oiseau aquatique" uniquement à cause du fond d'eau, et non de ses caractéristiques physiques).
• Fragilité : Les interventions à l'inférence ne corrigent pas le modèle lui-même. Les mêmes erreurs de raisonnement réapparaîtront sur de nouveaux échantillons car le modèle continue de dépendre de concepts indésirables.

Les méthodes existantes (CBM supervisés ou non supervisés) peinent à garantir un alignement global sans nécessiter des annotations coûteuses par échantillon ou sans risquer que les concepts appris divergent de la compréhension de l'expert.

2. Méthodologie : Le Framework CBDebug

Les auteurs proposent un framework de débogage général en deux étapes : Suppression (Removal) et Réentraînement (Retraining), implémenté via une nouvelle méthode appelée CBDebug.

Étape 1 : Suppression (Removal)

L'expert examine les explications des concepts appris par le modèle et identifie manuellement un sous-ensemble de concepts indésirables ($C_{spur}$) qui sont corrélés de manière spurieuse avec l'étiquette (ex: "plage" pour la classification d'oiseaux). Ces concepts sont simplement retirés de l'ensemble de concepts utilisés par le modèle.

Étape 2 : Réentraînement (Retraining) avec CBDebug

La suppression seule est insuffisante car les concepts restants peuvent encore coder des informations des concepts supprimés, ou le modèle peut manquer de concepts pertinents. CBDebug transforme le feedback de niveau conceptuel en un signal d'apprentissage de niveau échantillon pour réentraîner le modèle. Le processus se décompose en trois phases :

1. Étiquetage (Label) :

   • Le modèle CBM entraîné est utilisé pour générer des étiquettes auxiliaires approximées ($\hat{V}$) pour chaque échantillon du jeu de données d'entraînement, basées sur les activations des concepts indésirables ($C_{spur}$).
   • Ces activations servent de proxy pour la présence du biais dans chaque image.

2. Repondération (Reweight) :

   • Une technique de pondération par permutation (Permutation Weighting) est appliquée sur les paires ($\hat{V}, Y$) (étiquette auxiliaire, étiquette réelle).
   • L'objectif est d'estimer la probabilité qu'un échantillon provienne d'une distribution non biaisée (où la corrélation entre le concept indésirable et l'étiquette est brisée par permutation).
   • Cela génère des poids d'échantillons ($U$) qui pénalisent les échantillons fortement corrélés au biais et favorisent ceux qui ne le sont pas.

3. Augmentation (Augment) :

   • Pour éviter l'instabilité d'un réentraînement avec des poids extrêmes (surtout si les groupes biaisés sont déséquilibrés), une augmentation de données ciblée est effectuée.
   • Les échantillons ayant un faible poids (fortement biaisés) sont plus susceptibles d'être augmentés.
   • Stratégie d'augmentation :
     • Pour les ProtoPNets (concepts visuels) : Utilisation de CutMix pour remplacer des patches spuriés par des patches de concepts pertinents.
     • Pour les VLM-CBMs (concepts textuels) : Utilisation de Mixup avec des images générées à partir d'une banque de concepts textuels (Text-to-Image).
   • Le modèle est ensuite réentraîné sur ce jeu de données augmenté ($X_{aug}$) et repondéré ($U$).

3. Contributions Clés

1. Framework de débogage interprétable général : Une approche applicable à diverses architectures de CBM (supervisés et non supervisés) permettant aux experts de modifier globalement le raisonnement du modèle.
2. CBDebug : Une méthode novatrice qui utilise l'interprétabilité du modèle comme pont pour convertir le feedback de niveau conceptuel (expert) en étiquettes auxiliaires de niveau échantillon, permettant une atténuation du biais supervisée sans annotations manuelles coûteuses par échantillon.
3. Validation empirique robuste : Démonstration que la méthode fonctionne aussi bien avec un feedback d'expert humain qu'avec un feedback automatisé (via LLM), surpassant les méthodes de réentraînement existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué CBDebug sur plusieurs jeux de données connus pour leurs corrélations spurieuses (Waterbirds, MetaShift, CelebA, ISIC) et deux architectures de CBM (PIP-Net et Post-hoc CBM).

• Performance sur la précision du groupe le plus faible (Worst-Group Accuracy - WGA) :
  • CBDebug améliore significativement la WGA par rapport au modèle original et aux méthodes de base (suppression simple, réentraînement standard, ProtoPDebug).
  • Sur Waterbirds avec Post-hoc CBM, l'amélioration de la WGA atteint 26,1 % par rapport au modèle original.
  • Sur MetaShift, les gains sont également notables (ex: +4,9 % pour PIP-Net, +4,8 % pour Post-hoc CBM).
• Feedback Automatisé :
  • En utilisant un LLM (GPT-3.5-turbo) pour identifier les concepts spuriés, CBDebug maintient sa supériorité, prouvant que le framework est scalable et ne dépend pas exclusivement d'un temps d'expert humain.
• Analyse Qualitative :
  • Les visualisations montrent que CBDebug réussit à éliminer les concepts de fond (ex: "plage", "bambou") et à les remplacer par des concepts pertinents pour la tâche (ex: "bec crochu", "plumage"), là où les méthodes de réentraînement classiques tendent à apprendre de nouveaux concepts spuriés pour compenser.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre l'interprétabilité passive et l'alignement actif des modèles avec le raisonnement expert.

• Au-delà de la correction ponctuelle : Il ne s'agit pas seulement de corriger une erreur, mais de réapprendre au modèle à ignorer les raccourcis biaisés.
• Synergie Débogage/Atténuation du biais : Le papier établit un lien théorique et pratique entre le débogage interprétable (feedback humain) et les techniques d'atténuation du biais (reweighting/augmentation), offrant une solution plus ciblée que les méthodes non supervisées qui doivent "deviner" les groupes biaisés.
• Applicabilité : La méthode est applicable à des architectures variées et fonctionne même avec des feedbacks automatisés, ce qui la rend prometteuse pour des déploiements à grande échelle dans des domaines critiques comme la santé ou la science, où la fiabilité et l'alignement avec l'expert sont cruciaux.

En résumé, CBDebug transforme le CBM d'un outil d'audit passif en un système dynamique capable d'apprendre des corrections d'experts pour éliminer durablement les biais structurels.