🤖 machine learning

Assessing Reliability of Symbol Detection in Concept Bottleneck Models

Cet article révèle qu'une grande précision de la tâche dans les modèles à goulot d'étranglement conceptuel (Concept Bottleneck Models) ne garantit pas une détection fiable des concepts en raison de raccourcis spécieux, et propose une stratégie d'entraînement sensible à la fiabilité qui optimise les détecteurs de concepts partagés à travers plusieurs têtes afin d'atténuer ce problème et d'améliorer significativement l'interchangeabilité des détecteurs et des têtes de classification.

Auteurs originaux : Javier Fumanal-Idocin, Javier Andreu-Perez

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Javier Fumanal-Idocin, Javier Andreu-Perez

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez une équipe d'experts pour identifier des oiseaux. Vous voulez qu'ils soient explicables, ce qui signifie qu'ils ne doivent pas se contenter de dire : « C'est un Rouge-gorge ! » et s'arrêter là. Au lieu de cela, ils doivent d'abord lister les caractéristiques qu'ils voient : « Il a une poitrine rouge », « Il a un petit bec » et « Il a une patte grise ». Ce n'est qu'après avoir listé ces « concepts » qu'ils font la supposition finale.

C'est ainsi que fonctionnent les Modèles à Goulot d'Étranglement Conceptuel (CBM - Concept Bottleneck Models). Ils sont populaires en IA car ils semblent transparents. Cependant, cet article pose une question effrayante : ces experts voient-ils réellement les caractéristiques, ou ne font-ils que deviner l'oiseau en utilisant des raccourcis cachés ?

Voici une décomposition des conclusions et des solutions de l'article, en utilisant des analogies simples.

1. Le Problème : L'effet « Aide-mémoire »

Dans une configuration d'IA standard, le « détecteur de caractéristiques » (la partie qui repère la poitrine rouge) et le « classificateur » (la partie qui nomme l'oiseau) sont entraînés ensemble au même moment.

Les auteurs ont découvert que lorsque vous les entraînez ensemble, ils développent souvent un langage secret.

L'analogie : Imaginez un étudiant (le détecteur) et un professeur (le classificateur) étudiant ensemble pour un examen. L'étudiant n'apprend pas réellement à quoi ressemble une « poitrine rouge ». Au lieu de cela, il remarque que chaque fois que le professeur voit un arrière-plan rouge sur la photo, la réponse est « Rouge-gorge ». L'étudiant commence donc à crier « Poitrine Rouge ! » dès qu'il voit un arrière-plan rouge, même si l'oiseau est en réalité un Geai bleu.
Le résultat : L'IA obtient la bonne réponse (le nom de l'oiseau) 100 % du temps, mais son explication est un mensonge. Elle pense voir une poitrine rouge, mais elle réagit en réalité à la couleur de l'arrière-plan. C'est ce qu'on appelle la fuite d'information (information leakage).

2. Le Test de Stress : L'expérience de l'« Échange »

Comment savoir si l'IA triche ? Les auteurs ont conçu un test ingénieux : L'Échange.

L'analogie : Imaginez que vous avez cinq étudiants différents (détecteurs) et cinq professeurs différents (classificateurs). Vous les entraînez tous séparément.
- Scénario A (Bon) : Si l'Étudiant 1 apprend réellement ce qu'est une « poitrine rouge », il devrait être capable de transmettre ses notes à n'importe lequel des autres professeurs, et le professeur devrait toujours trouver l'oiseau correctement.
- Scénario B (Mauvais/Triche) : Si l'Étudiant 1 mémorise simplement « Arrière-plan Rouge = Rouge-gorge » pour son professeur spécifique, et que vous le remplacez par un nouveau professeur qui ne connaît pas ce code secret, le système échouera lamentablement.
Les conclusions :
- Sur un véritable ensemble de données d'oiseaux (CUB-200), les modèles étaient étonnamment honnêtes. Échanger les étudiants et les professeurs ne perturbait pas beaucoup le système. Les « concepts » étaient réels.
- Sur un ensemble de données factices et contrôlées, les auteurs ont réduit l'« entraînement à l'honnêteté » (supervision conceptuelle). Soudain, les modèles continuaient d'obtenir le nom de l'oiseau correctement, mais lorsqu'on échangeait les parties, le système s'effondrait pour tomber sur un choix aléatoire. Les concepts étaient complètement faux ; c'étaient de simples raccourcis.

3. La Solution : La stratégie du « Projet de Groupe »

Les auteurs proposent une nouvelle façon d'entraîner ces modèles pour les empêcher de tricher.

L'ancienne méthode : Un étudiant s'entraîne avec un seul professeur. Ils deviennent trop à l'aise et développent des raccourcis secrets.
La nouvelle méthode (Entraînement axé sur la fiabilité) : Un étudiant est forcé de travailler avec cinq professeurs différents en même temps.
- L'analogie : Imaginez un étudiant essayant d'apprendre « Poitrine Rouge ». S'il essaie de tricher en disant « Arrière-plan Rouge », l'Enseignant A pourrait dire « Non, c'est faux pour cet oiseau ». L'Enseignant B pourrait dire « En fait, c'est un Geai bleu ». Parce que l'étudiant doit satisfaire les cinq enseignants simultanément, il ne peut pas compter sur un raccourci qui ne fonctionne que pour l'un d'entre eux. Il est forcé d'apprendre la véritable caractéristique (la poitrine rouge) car c'est la seule chose qui satisfait tout le monde.
Le résultat : Cette méthode a considérablement réduit la triche. Même lorsque l'entraînement était difficile, les modèles échangés fonctionnaient bien mieux, prouvant que les concepts étaient réels.

4. Vérifier le compteur de « Confiance »

L'article a également examiné l'Incertitude.

L'analogie : Si cinq étudiants regardent un oiseau et que quatre disent « Patte Grise » et un dit « Pas de patte », le groupe est confus. L'article a trouvé que lorsque l'IA est confuse à propos d'une caractéristique spécifique (comme la couleur de la patte), cela conduit généralement à une erreur de prédiction finale.
En mesurant ce « désaccord du groupe », le système peut signaler lorsqu'il fait une supposition basée sur des preuves fragiles.

Résumé

Cet article est un « test de cohérence » pour l'IA explicable. Il montre que ce n'est pas parce qu'une IA vous donne une liste de raisons pour sa décision que ces raisons sont vraies. Elles peuvent être des mensonges habiles (raccourcis) appris lors de l'entraînement.

Les auteurs ont prouvé qu'en forçant l'IA à s'expliquer auprès de plusieurs « juges » différents à la fois, vous pouvez l'empêcher d'apprendre ces mensonges et la forcer à apprendre les caractéristiques réelles, rendant l'IA à la fois précise et véritablement digne de confiance.

Résumé technique : Évaluation de la fiabilité de la détection de symboles dans les modèles à goulot d'étranglement conceptuel

1. Énoncé du problème

Les modèles à goulot d'étranglement conceptuel (CBM - Concept Bottleneck Models) constituent une classe importante de méthodes neuro-symboliques conçues pour l'IA explicable (XAI). Ils fonctionnent en extrayant d'abord des concepts interprétables par l'humain à partir de données d'entrée, puis en utilisant un classificateur léger et interprétable pour mapper ces concepts vers des prédictions finales. Bien qu'une précision de tâche élevée soit souvent utilisée comme indicateur de la qualité du modèle, cet article soutient que la précision ne garantit pas une détection fidèle des concepts.

Le problème central identifié est la fuite d'information (ou « raccourcis ») au sein du goulot d'étranglement. Lorsque les détecteurs de concepts et les têtes de classification sont entraînés conjointement, le détecteur peut encoder des signaux spécifiques à la tâche dans les activations des concepts, lesquels sont utiles pour la classification mais ne s'alignent pas sur la signification sémantique prévue des concepts. Par conséquent, le modèle peut atteindre une précision élevée en s'appuyant sur des corrélations spécieuses plutôt que sur une compréhension réelle des concepts. Cela rend les explications du modèle peu fiables, car les symboles intermédiaires ne représentent pas nécessairement ce qu'ils prétendent représenter.

2. Méthodologie

2.1 Mesurer le désalignement

Les auteurs proposent une suite de diagnostics pour évaluer la fiabilité de la détection de symboles, allant au-delà des métriques de précision standard :

Fiabilité globale des symboles (Test de permutation - Swap Test) : Les auteurs entraînent plusieurs CBM de manière indépendante. Ils effectuent ensuite un échange entre le détecteur de concepts d'un modèle et la tête de classification d'un autre.
- Si le modèle permuté maintient une précision élevée, le détecteur de concepts et la tête partagent une représentation symbolique robuste et invariante.
- Une chute significative de la précision (swap drop) indique que le détecteur et la tête se sont co-adaptés à des encodages spécieux spécifiques à leur paire d'origine.
Interchangeabilité des symboles : Pour tester si le modèle repose sur l'identité des concepts ou simplement sur le nombre de concepts activés, les auteurs utilisent deux distributions nulles :
- Permutation de la dimension conceptuelle : Mélange aléatoire des étiquettes de concepts avant de les injecter dans la tête.
- Permutation d'échantillons intra-concepts : Permutation des valeurs de concepts entre les échantillons.
- Si la précision reste élevée sous ces permutations, les symboles ne sont pas distinguables en tant que concepts distincts, indiquant une détection peu fiable.
Fiabilité des prédictions individuelles : En utilisant un ensemble de détecteurs entraînés indépendamment, les auteurs décomposent l'incertitude prédictive en composantes aléatoires (bruit des données) et épistémiques (désaccord du modèle). Ils attribuent l'incertitude des étiquettes à des symboles spécifiques en figeant les prédictions de concepts individuels au consensus de l'ensemble et en mesurant la réduction de l'incertitude de l'étiquette.

2.2 Solution proposée : Entraînement sensible à la fiabilité

Pour atténuer la fuite d'information, l'article propose une stratégie d'entraînement qui réduit la co-adaptation entre le détecteur et la tête :

Entraînement multi-têtes : Au lieu d'entraîner un seul détecteur avec une seule tête, un détecteur de concepts partagé $g_\theta$ $g_{θ}$ est entraîné contre un ensemble de $R$ $R$ têtes de classification initialisées indépendamment $\{f^{(r)}_{\phi_r}\}$ ${f_{ϕ_{r}}^{(r)}}$ .
- La fonction d'objectif calcule la moyenne de la perte de classification sur toutes les têtes.
- Dropout de concept : Pour empêcher les têtes de converger vers la même solution (ce qui annulerait l'effet d'ensemble), chaque tête reçoit des activations de concepts masquées par un masque de dropout aléatoire indépendant. Cela force le détecteur à apprendre des représentations robustes aux informations manquantes et non dépendantes de raccourcis uniques.
Régularisation sensible à la fiabilité :
- Un score de fiabilité globale $r_k$ est calculé pour chaque concept basé sur sa précision de détection sur un ensemble de validation.
- L'incertitude épistémique au niveau de l'instance $U_{epi}(x_i, k)$ est estimée pour chaque symbole.
- Un poids d'imprévisibilité $\omega_{ik}$ est calculé en combinant la fiabilité globale et l'incertitude au niveau de l'instance.
- Un terme de pénalité est ajouté à la fonction de perte pour décourager le classificateur de s'appuyer sur des concepts ayant une faible fiabilité globale ou une incertitude élevée au niveau de l'instance.

3. Résultats clés

3.1 Jeu de données CUB-200-2011 (Supervision complète)

Sur la tâche de classification d'espèces d'oiseaux avec une supervision complète des concepts ( $\lambda=1$ ) :

Haute interchangeabilité : Les détecteurs et les têtes sont presque librement interchangeables. La chute lors de la permutation (swap drop) est minimale (moins de 1 point de précision), et la rétention relative est supérieure à 99 %.
Robustesse : Aucun concept n'a été détecté en dessous du niveau du hasard, et les têtes entraînées sur une graine (seed) ont été transférées presque sans perte vers les détecteurs d'autres graines.
Incertitude : L'incertitude épistémique au niveau du symbole était faible, mais l'incertitude au niveau de l'étiquette était nettement plus élevée, indiquant que les petits désaccords entre de nombreux concepts se cumulent au niveau de la tête de classification.

3.2 Jeu de données synthétique (Fuite contrôlée)

Sur un jeu de données synthétique de formes colorées, les auteurs ont fait varier le poids de la supervision des concepts $\lambda$ pour simuler la fuite :

Phénomène de fuite : À mesure que $\lambda$ diminuait (affaiblissant la supervision des concepts), la précision appariée restait proche de la perfection (~100 %), mais la précision après permutation s'effondrait vers des niveaux de hasard (20–30 %). L'accord entre les concepts détectés et la vérité terrain tombait également à environ 50 %.
Atténuation : Les stratégies multi-têtes et de sensibilité à la fiabilité proposées ont considérablement atténué cette fuite. À un $\lambda$ faible (0,1), ces méthodes ont presque doublé la précision après permutation (passant d'environ 26 % à 50 %) par rapport à l'entraînement conjoint standard, confirmant que le détecteur apprenait des représentations plus robustes et moins spécifiques à la tête.

3.3 Conclusions diagnostiques

Activation spécieuse : Dans le régime d'entraînement conjoint, certains concepts spécifiques (ex: couleur des pattes) présentaient un fort désaccord parmi les détecteurs de l'ensemble. Ce désaccord était directement lié aux erreurs de prédiction ; figer le symbole contesté au consensus corrigeait souvent la mauvaise classification.
Tests nuls : Les têtes entraînées sur des CBM joints standards s'effondraient vers une précision proche du hasard lorsque l'identité des concepts était permutée, confirmant que les modèles dépendaient réellement des détections de concepts spécifiques plutôt que de corrélations incidentes.

4. Signification et affirmations

L'article affirme fournir un cadre rigoureux pour tester la résistance de la fiabilité des CBM, allant au-delà de l'hypothèse selon laquelle une précision élevée implique des explications fidèles.

Validation de la fuite : Les auteurs démontrent qu'une précision de tâche élevée peut coexister avec des symboles qui « ne signifient plus ce qu'ils prétendent signifier », particulièrement lorsque la supervision des concepts est faible ou que l'entraînement conjoint encourage les raccourcis.
Atténuation pratique : L'entraînement multi-têtes avec dropout de concept et la régularisation sensible à la fiabilité offrent une méthode pratique pour réduire la fuite d'information sans sacrifier de manière significative la performance de la tâche.
Utilité diagnostique : Le test de permutation (swap test) et la décomposition de l'incertitude fournissent des diagnostics exploitables pour identifier quels concepts spécifiques sont sujets à des activations spécieuses, permettant ainsi des interventions ciblées.

Les auteurs concluent que bien que leur entraînement sensible à la fiabilité atténue la fuite, cela implique un compromis, réduisant parfois légèrement la précision globale. Harmoniser une haute performance avec une fiabilité stricte reste un défi ouvert pour les travaux futurs. L'article ne prétend pas résoudre tous les problèmes de l'XAI, mais s'attaque spécifiquement à la fidélité de la couche symbolique intermédiaire dans les CBM.