📊 statistics

CB-SLICE: Concept-Based Interpretable Error Slice Discovery

L'article présente CB-SLICE, une méthode de découverte de tranches d'erreurs fondée sur les concepts qui exploite les modèles à goulot d'étranglement conceptuel pour identifier des défaillances systématiques du modèle en regroupant des échantillons partageant des erreurs de prédiction de concepts, offrant ainsi des explications plus fidèles et interprétables que les approches existantes.

Auteurs originaux : Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yael Konforti, Mateo Espinosa Zarlenga, Elaf Almahmoud, Mateja Jamnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent, excellent dans la plupart des tâches, mais qui commet occasionnellement des erreurs étranges et spécifiques. Peut-être pense-t-il qu'une image d'un oiseau sur un lac est un oiseau d'eau, même s'il s'agit d'un oiseau terrestre, ou qu'il confond un type spécifique de chien avec un chat.

Habituellement, lorsque ces robots échouent, nous ne pouvons que dire : « Il s'est trompé. » Nous ne savons pas pourquoi il s'est trompé. A-t-il regardé l'arrière-plan ? A-t-il manqué une caractéristique spécifique ? Les méthodes traditionnelles pour identifier ces erreurs sont comme embaucher un détective qui examine la sortie du robot et devine ce qui a mal tourné en se basant sur des connaissances générales, et non sur le cerveau réel du robot. Ce détective pourrait avoir raison, mais il fait souvent des suppositions et pourrait manquer la cause réelle.

Voici CB-SLICE : le détective de la « logique interne »

L'article présente un nouvel outil appelé CB-SLICE. Imaginez cet outil comme un détective qui ne se contente pas d'examiner la réponse finale du robot ; il parle en fait la langue maternelle du robot.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. Le « processus de pensée » du robot (Modèles à goulot d'étranglement conceptuel)

Pour utiliser CB-SLICE, le robot doit être construit d'une manière spéciale appelée Modèle à Goulot d'Étranglement Conceptuel (CBM).

Robot normal : Regarde une image et devine instantanément « Chien » ou « Chat ». C'est une boîte noire ; nous ne connaissons pas ses étapes.
Robot CBM : Regarde une image et énumère d'abord ses « pensées » ou concepts à voix haute. Par exemple : « Je vois de la fourrure », « Je vois des oreilles pointues », « Je vois une queue ». Ensuite, il utilise ces pensées pour deviner « Chien ».

Comme le robot doit exprimer ses pensées d'abord, nous pouvons les écouter. CB-SLICE exploite cette caractéristique à son avantage.

2. Identifier les « mauvaises pensées » (Concepts sujets aux erreurs)

Lorsque le robot CBM commet une erreur, CB-SLICE demande : « Laquelle de tes pensées t'a égaré ? »

Il examine les « pensées » (concepts) du robot pour les images qu'il a mal interprétées.
Il utilise un test spécial pour voir quelles pensées, si elles étaient modifiées, corrigeraient l'erreur.
Il filtre les « bonnes pensées » et se concentre uniquement sur les « concepts sujets aux erreurs » — les idées spécifiques (comme « taille moyenne » ou « couleur rouge ») qui confondent systématiquement le robot.

3. Regrouper les erreurs (Tranches)

Maintenant que nous savons quelles pensées causent des problèmes, CB-SLICE regroupe les erreurs ensemble.

Imaginez que vous avez un tas de mauvaises réponses. CB-SLICE les trie dans des seaux en fonction de la raison de leur erreur.
Seau A : Toutes les erreurs où le robot pensait que l'oiseau était de « taille moyenne » alors qu'il était en fait petit.
Seau B : Toutes les erreurs où le robot pensait que l'arrière-plan était « océan » alors qu'il s'agissait en fait d'un « lac ».

Ces seaux sont appelés Tranches d'Erreurs. Au lieu d'un tas désordonné d'erreurs, vous avez maintenant des groupes nets et organisés de types d'échecs spécifiques.

4. L'explication du « Pourquoi » (Découverte de mots-clés)

Pour chaque seau, CB-SLICE génère une explication simple utilisant des mots-clés.

Au lieu de dire « Le modèle a échoué sur 500 images », il dit : « Le modèle échoue lorsqu'il voit un Oiseau Terrestre sur un arrière-plan de Lac parce qu'il pense à tort que l'oiseau est de Taille Moyenne. »
C'est puissant car cela vous indique exactement ce que le robot interprète mal. C'est comme si le robot admettait : « Je me suis trompé parce que je pensais que ce petit oiseau était en fait un oiseau de taille moyenne. »

Pourquoi est-ce mieux que l'ancienne méthode ?

Ancienne méthode (Le détective externe) : Utilise une IA séparée pour deviner pourquoi le robot a échoué. Elle pourrait dire : « Oh, le robot a échoué sur les tons de peau foncée parce que cela ressemble à la nuit. » Mais ce n'est qu'une supposition d'une autre IA. Elle pourrait être fausse ou manquer la vraie raison.
CB-SLICE (Le détective interne) : Examine directement les propres « pensées » du robot. Si le robot pensait que « peau foncée » était « nuit », CB-SLICE voit cette pensée spécifique et la signale. Il est fidèle à la logique réelle du robot.

Exemples réels tirés de l'article

Les chercheurs ont testé cela sur plusieurs ensembles de données :

Oiseaux : Ils ont découvert que le robot confondait souvent les oiseaux terrestres sur des arrière-plans aquatiques avec des oiseaux d'eau. CB-SLICE a expliqué que le robot était spécifiquement confus par le concept de « taille moyenne » lorsqu'il était combiné avec un arrière-plan de « lac ».
Visages : Il a constaté que le robot avait des difficultés avec les hommes ayant des « cheveux blonds » et « pas de gros nez », une combinaison spécifique que le robot n'avait pas assez vue pendant l'entraînement.
Chiffres : Il a découvert que le robot confondait systématiquement le chiffre « 3 » avec le « 2 » dans certaines positions, entraînant des sommes incorrectes.

L'essentiel

CB-SLICE est un outil qui aide les développeurs à déboguer leurs modèles d'IA en regroupant les erreurs en fonction des « pensées » (concepts) spécifiques que le modèle a mal interprétées. Il transforme un tas confus d'erreurs en listes claires et organisées avec des explications simples, aidant les humains à réparer le cerveau du robot exactement là où il a besoin d'aide.

Note importante : L'article souligne que cet outil fonctionne mieux lorsque le robot est déjà construit pour « penser » en concepts (un CBM). Si le robot est une « boîte noire » standard qui ne liste pas ses pensées, cet outil spécifique ne peut pas être utilisé directement.

Résumé technique : CB-SLICE : Découverte de tranches d'erreur interprétables basées sur les concepts

Énoncé du problème

Les modèles d'apprentissage profond atteignent souvent de solides performances en moyenne, mais présentent des erreurs systématiques sur des groupes spécifiques de la population, connus sous le nom de tranches d'erreur. L'identification de ces groupes et de leurs causes racines est cruciale pour le débogage et l'atténuation des biais. Cependant, les méthodes de découverte de tranches d'erreur (SDM) existantes font face à une limitation fondamentale : elles reposent généralement sur des modèles auxiliaires basés sur le langage (par exemple, CLIP) pour générer des explications. Par conséquent, ces explications sont déconnectées du processus d'inférence interne du modèle analysé, approximent la source de l'erreur plutôt que de la révéler. Cette déconnexion conduit à des explications qui peuvent être inexactes, trompeuses ou biaisées par le modèle auxiliaire lui-même. De plus, les méthodes existantes échouent souvent à expliquer pourquoi un échec se produit en termes des concepts spécifiques sur lesquels le modèle s'appuie.

Méthodologie : CB-SLICE

Les auteurs proposent CB-SLICE, une SDM basée sur les concepts qui exploite les Modèles à Goulot de Concepts (CBM) pour intégrer la découverte de tranches d'erreur et l'explication des biais dans un seul processus conscient du modèle. Les CBM sont des architectures interprétables qui prédisent d'abord des concepts sémantiques compréhensibles par l'humain (par exemple, « peau foncée », « asymétrie »), puis prédisent l'étiquette de la tâche finale basée sur ces concepts. CB-SLICE fonctionne en trois étapes distinctes :

1. Filtrage des concepts propices aux erreurs

La méthode identifie d'abord un sous-ensemble de concepts les plus susceptibles d'être responsables des mauvaises classifications en aval.

Mécanisme : Elle utilise le score de Changement Espéré de la Prédiction de Cible (ECTP). Pour chaque concept $i$ , le score ECTP quantifie le changement espéré dans la distribution de la tâche en aval lors d'une intervention sur ce concept (en fixant sa valeur à 0 ou 1).
Processus : Le score ECTP est calculé par classe pour atténuer les déséquilibres. Les $t_e$ concepts ayant les scores les plus élevés pour chaque classe sont sélectionnés pour former l'ensemble de concepts propices aux erreurs ( $C_{err}$ ). Cela garantit que la formation de tranches ultérieure se concentre uniquement sur les concepts qui génèrent des erreurs.

2. Formation de tranches d'erreur

Une fois les concepts propices aux erreurs identifiés, la méthode regroupe les échantillons de validation erronés pour former des tranches d'erreur cohérentes.

Représentation : Au lieu d'utiliser des espaces de probabilité, CB-SLICE utilise les logits de concepts ( $H$ ) restreints à l'ensemble propice aux erreurs $C_{err}$ . Ces logits encodent la confiance du modèle et sont bien approximés par des distributions gaussiennes.
Regroupement : Un Modèle de Mélange Gaussien (GMM) est entraîné pour regrouper ces logits. La fonction objectif combine :
- Vraisemblance GMM ( $L_{GMM}$ ) : Pour assurer la cohérence sémantique.
- Pertes Auxiliaires ( $L_{ctrue}$ et $L_{cpred}$ ) : Deux classificateurs linéaires prédisent respectivement les étiquettes de concepts de vérité terrain et les étiquettes de concepts prédites, basées sur les probabilités d'appartenance à la tranche. Ces pertes encouragent les tranches à regrouper des échantillons partageant les mêmes valeurs de concepts vraies et prédites, garantissant que les tranches capturent des motifs d'erreur cohérents au niveau des concepts.
Sortie : Un ensemble de tranches $S = \{S_1, \dots, S_{t_g}\}$ .

3. Explication du mode de défaillance

Pour chaque tranche découverte, la méthode identifie les concepts spécifiques responsables de sa formation.

Mécanisme : La méthode étend le score ECTP pour mesurer le Changement Espéré de l'Attribution de Tranche (ECSA). Elle quantifie comment l'intervention sur un concept spécifique modifie la probabilité a posteriori qu'un échantillon appartienne à une tranche spécifique.
Sortie : Les $t_k$ concepts ayant les scores ECSA les plus élevés sont sélectionnés comme concepts-clés pour la tranche. La présence ou l'absence de ces concepts est déterminée par la moyenne pondérée de leurs prédictions parmi les membres de la tranche.

Priorisation des tranches

Pour remédier à l'impraticabilité de l'analyse de toutes les tranches découvertes, CB-SLICE introduit une stratégie de priorisation basée sur un Score d'Informativité (SI). Ce score combine :

Cohérence des mauvaises prédictions (MC) : La cohérence des mauvaises prédictions de la tâche en aval au sein d'une tranche.
Compacité sémantique (SC) : Le degré auquel les membres de la tranche sont concentrés dans l'espace des logits de concepts.
Facteur de pénalité : Un facteur qui réduit le poids des très petites tranches pour éviter le bruit.

Contributions clés

Cadre CB-SLICE : Une SDM novatrice qui lie les mots-clés explicatifs découverts directement à la logique décisionnelle interne du modèle via les CBM, évitant la déconnexion inhérente aux approches basées sur des modèles auxiliaires.
Identification des concepts propices aux erreurs : Une méthode fondée sur des principes utilisant les scores ECTP pour filtrer les concepts tant pour la formation de tranches que pour la caractérisation des modes de défaillance.
Priorisation des tranches : Une stratégie pour guider les praticiens vers les tranches les plus informatives pour une analyse ciblée.
Validation empirique : Des améliorations constantes démontrées par rapport aux bases de référence de l'état de l'art sur plusieurs benchmarks.

Résultats expérimentaux

Les auteurs ont évalué CB-SLICE sur quatre jeux de données avec des tranches d'erreur connues : Waterbirds, CelebA, MetaShift et MNIST-Sum. Ils ont comparé CB-SLICE à des bases de référence incluant Domino, GEORGE, HiBug2, Spotlight et K-Means.

Récupération des biais connus (Précision@10) : CB-SLICE a constamment surpassé toutes les bases de référence dans la récupération des tranches d'erreur de vérité terrain. Par exemple, sur le jeu de données Waterbirds avec un CBM entraîné conjointement, CB-SLICE a atteint une Précision@10 de 0,83, dépassant significativement la méthode suivante (Domino à 0,62).
Alignement des modes de défaillance (MGF) : CB-SLICE a produit des tranches avec une Fréquence de Groupe de Vérité Terrain Appariée (MGF) plus élevée, indiquant que les tranches découvertes étaient plus homogènes et capturaient fidèlement des modes de défaillance sous-jacents spécifiques.
Fidélité de l'explication : L'analyse qualitative a montré que CB-SLICE fournissait des explications fidèles et ancrées dans le modèle.
- Exemple : Dans Waterbirds, CB-SLICE a identifié que les mauvaises classifications des oiseaux terrestres sur des fonds aquatiques étaient dues à des prédictions systématiques erronées de concepts liés à la taille (par exemple, « taille moyenne »), et non simplement au fond.
- Exemple : Dans MNIST-Sum, il a révélé un mode de défaillance où le chiffre « 3 » était systématiquement mal lu comme « 2 », une nuance manquée par les bases de référence textuelles.
Sélection de tranches : L'article démontre que la convergence de la fonction de perte de CB-SLICE correspond à la stabilisation des métriques de performance, fournissant un critère fondé sur des principes pour sélectionner le nombre de tranches sans étiquettes de vérité terrain.

Importance et affirmations

L'article affirme que CB-SLICE redéfinit la découverte de tranches d'erreur comme un processus conscient du modèle. En ancrant les explications dans les représentations que le modèle apprend réellement (logits de concepts), il évite les inexactitudes et les biais potentiels introduits par des modèles auxiliaires a posteriori.

Les auteurs soulignent que CB-SLICE distingue entre des types de défaillance distincts :

Des tranches entraînées par des prédictions de concepts systématiquement erronées (où l'encodeur de concepts $g$ échoue).
Des tranches résultant de combinaisons de concepts rares et correctement prédites (où le prédicteur d'étiquettes $f$ échoue en raison du manque de données d'entraînement pour des intersections de concepts spécifiques).

Ce travail positionne les CBM comme une base fondée sur des principes pour le débogage, offrant des explications plus riches et plus fidèles des sources d'erreur par rapport aux méthodes existantes. Les auteurs notent que l'efficacité de la méthode dépend de la disponibilité d'annotations de concepts complètes et fidèles, une limitation inhérente à l'architecture CBM elle-même.