🤖 machine learning

Clarity: The Flexibility-Interpretability Trade-Off in Sparsity-aware Concept Bottleneck Models

Ce papier présente « Clarity », une nouvelle métrique et un cadre d'évaluation qui révèlent un compromis critique entre flexibilité et interprétabilité dans les modèles à goulot d'attention conceptuelle sensibles à la parcimonie, démontrant que cette métrique s'aligne de manière significativement meilleure avec la confiance humaine que les mesures de performance standard.

Auteurs originaux : Konstantinos P. Panousis, Diego Marcos

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Konstantinos P. Panousis, Diego Marcos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un chef brillant mais mystérieux décide quel plat vous servir. Vous voulez savoir pourquoi il a choisi les ingrédients, et pas seulement que la nourriture a bon goût.

Ce papier porte sur une nouvelle méthode pour mesurer dans quelle mesure nous pouvons comprendre ces « chefs numériques » (modèles d'IA) lorsqu'ils tentent d'être transparents. Les auteurs appellent leur nouvel instrument de mesure « Clarté ».

Voici la décomposition de leur découverte à l'aide d'analogies simples :

1. Le Problème : Le Chef « Boîte Noire »

Les modèles d'apprentissage profond sont comme des chefs surdoués capables de préparer des repas incroyables (faire des prédictions précises), mais qui travaillent généralement dans une cuisine fermée à clé (une « boîte noire »). Nous voyons l'entrée (les ingrédients) et la sortie (le plat), mais nous ne connaissons pas les étapes qu'ils ont suivies entre les deux.

Pour résoudre ce problème, les chercheurs ont créé des Modèles à Goulot de Concepts (CBM). Imaginez cela comme forcer le chef à écrire une liste des ingrédients qu'il a utilisés avant de préparer le plat final.

L'Objectif : La liste doit être courte (sparse) et précise afin que les humains puissent la lire et dire : « Ah, je vois pourquoi ils ont fait ce plat ! »
Le Piège : Parfois, le chef triche. Il peut écrire une liste qui semble courte et simple, mais les ingrédients qu'il a réellement utilisés pour cuisiner le plat étaient complètement différents ou absurdes. Il obtient le bon goût (une haute précision) mais pour de mauvaises raisons.

2. Le Piège : « Flexibilité » vs « Interprétabilité »

Les auteurs ont découvert un compromis délicat qu'ils appellent le Compromis Flexibilité-Interprétabilité.

Flexibilité : Le modèle est assez intelligent pour trouver n'importe quel motif menant à la bonne réponse, même si ce motif n'a aucun sens pour un humain.
Interprétabilité : Le modèle s'en tient à des motifs que les humains comprennent réellement.

L'Analogie : Imaginez un étudiant passant un examen de mathématiques.

L'Étudiant Honnête (Haute Clarté) : Résout le problème en utilisant la bonne formule et écrit les bonnes étapes.
Le Tricheur Flexible (Faible Clarté) : L'étudiant sait que la réponse est « 42 ». Au lieu de faire les calculs, il regarde la copie, voit une tache d'encre qui ressemble à un « 4 » et une égratignure qui ressemble à un « 2 », et devine « 42 ». Il obtient la bonne note (100 % de précision), mais son « explication » (la tache) est absurde.

Le papier montre que de nombreux modèles d'IA actuels agissent comme le tricheur. Ils sont si flexibles qu'ils trouvent des « taches » (mauvais concepts) pour obtenir la bonne réponse, ce qui les fait paraître intelligents mais en réalité les rend impossibles à faire confiance.

3. La Solution : La Métrique « Clarté »

Les auteurs ont créé un nouveau score appelé Clarté pour attraper ces tricheurs. Ce n'est pas juste un chiffre ; c'est un test en trois parties, comme une recette pour une explication parfaite :

Éparsité (La « Liste Courte ») : Le modèle ne devrait pas lister 1 000 ingrédients. Il devrait en choisir quelques-uns clés. (Comme un chef disant « Sel, Poivre et Ail » au lieu de lister chaque molécule de l'air).
Précision (La « Vérité ») : Les ingrédients listés doivent réellement être présents. Si le modèle dit « Ail » mais qu'il n'y a pas d'ail, le score baisse.
Précision (Le « Goût ») : Le plat final doit toujours avoir bon goût. Si l'explication est parfaite mais que la nourriture est brûlée, cela n'a pas d'importance.

Comment cela fonctionne : Les auteurs utilisent une règle mathématique (une « moyenne harmonique ») qui agit comme une chaîne dont la solidité dépend de l'anneau le plus faible.

Si votre modèle est précis à 99 % et éparse à 99 %, mais précis à 0 % (il ment sur les ingrédients), votre score de Clarté est zéro.
Vous ne pouvez pas « compenser » un mensonge par une haute précision. Le score force le modèle à être honnête dans les trois domaines à la fois.

4. Ce Qu'ils Ont Découvert

Les chercheurs ont testé cela sur des images d'oiseaux et de paysages en utilisant deux types d'IA :

Le Modèle « Professeur » : Entraîné spécifiquement pour repérer les caractéristiques des oiseaux (comme un « bec rouge »).
Le Modèle « Généraliste » (VLM) : Un modèle pré-entraîné massif qui devine des caractéristiques sans entraînement spécifique.

Les Résultats :

Le Généraliste a Triché : Le modèle Généraliste a souvent obtenu une haute précision mais une Clarté terrible. Il choisissait la bonne réponse mais listait les mauvaises caractéristiques d'oiseaux pour expliquer pourquoi. Il était « flexible » mais pas « clair ».
Le Professeur était Honnête : Le modèle Professeur était plus cohérent. Lorsqu'il obtenait la bonne réponse, l'explication correspondait généralement à la réalité.
Le Test Humain : Les auteurs ont demandé à de vraies personnes de regarder les listes d'ingrédients de l'IA et de deviner si l'IA avait raison.
- Les personnes faisaient confiance aux modèles avec des scores de Haute Clarté.
- Les personnes étaient confuses face aux modèles avec des scores de Faible Clarté, même si ces modèles obtenaient la bonne réponse. Les modèles « tricheurs » créaient un bruit épistémique — un état où l'explication était si trompeuse que les humains ne pouvaient pas dire si l'IA avait raison ou tort.

5. La Conclusion

Le papier conclut que la précision seule est un détecteur de mensonges qui ne fonctionne pas. Vous pouvez avoir un modèle qui est précis à 99 % mais complètement inintelligible car il utilise de « mauvaises raisons » pour obtenir la bonne réponse.

Pour faire vraiment confiance à une IA, nous avons besoin d'une métrique comme la Clarté qui punit les modèles d'être « malins » au détriment d'être « honnêtes ». Cela garantit que lorsqu'une IA dit : « J'ai choisi ceci à cause de X », elle le pense vraiment, et pas seulement parce que X s'est trouvé être corrélé à la réponse par accident.

Résumé Technique : Clarté : Le compromis Flexibilité-Interprétabilité dans les Modèles Entonnoir de Concepts Sensibles à la Sparsité

Énoncé du Problème
L'adoption généralisée de l'apprentissage profond en vision par ordinateur a intensifié les préoccupations concernant l'interprétabilité des modèles. Bien que les Modèles Entonnoir de Concepts (CBM) offrent une voie vers l'interprétabilité ante-hoc en mappant les entrées vers des concepts compréhensibles par l'humain avant de prédire des tâches en aval, les approches actuelles font face à des défis majeurs. Les récents changements vers les Modèles Vision-Langage (VLM) ont permis l'utilisation d'ensembles de concepts non restreints et massifs, améliorant les performances des tâches mais souvent au détriment de l'interprétabilité en raison du volume considérable de concepts et des fuites d'information potentielles.

Les méthodes existantes sensibles à la sparsité visent à atténuer cela en sélectionnant uniquement quelques concepts actifs par exemple. Cependant, les auteurs soutiennent que ces méthodes échouent à évaluer correctement l'impact réel sur l'interprétabilité. L'évaluation standard repose lourdement sur la précision de classification et la sparsité globale, utilisant souvent des métriques de précision binaire qui sont trompeuses dans des contextes de sparsité (où la prédiction de nombreux concepts inactifs génère une haute précision). Crucialement, les évaluations actuelles négligent souvent la correction sémantique des concepts sélectionnés. Les modèles peuvent exploiter la « flexibilité » en utilisant des concepts discriminatifs mais sémantiquement incorrects pour optimiser les performances, découplant ainsi efficacement la précision prédictive de la qualité de la représentation sous-jacente. Ce comportement imite une fuite d'information, où le modèle contourne le goulot d'étranglement sémantique prévu.

Méthodologie
L'article propose un cadre pour évaluer et mesurer systématiquement le compromis entre la flexibilité du modèle et l'interprétabilité.

Formulations de Modèles : Les auteurs évaluent deux formulations distinctes de CBM :
- Basée sur un Prédicteur d'Attributs : Un réseau de neurones entraîné à prédire les scores de concepts à partir d'embeddings d'images.
- Basée sur VLM : Utilisant les capacités zero-shot des VLM (par exemple, CLIP) pour estimer la présence de concepts via la similarité entre les embeddings d'images et de texte.
- Mécanismes de Sparsité : Trois stratégies amorties d'induction de sparsité sont implémentées pour sélectionner des concepts par exemple :
  - Régularisation $\ell_1$ : Favorise des solutions parcimonieuses via la descente de coordonnées.
  - Régularisation $\ell_0$ : Imposée via une relaxation continue utilisant la distribution Hard Concrete pour permettre une optimisation basée sur le gradient.
  - Basée sur Bernoulli : Modélise la sparsité de manière probabiliste en utilisant des variables latentes binaires auxiliaires avec une loi de Bernoulli a priori.
La Métrique Clarté : Pour quantifier l'interprétabilité, les auteurs introduisent la Clarté, une métrique unifiée définie comme la moyenne harmonique de trois composantes :
- Sparsité : Le pourcentage de concepts inactifs (permettant l'inspection par exemple).
- Précision : La proportion de concepts actifs correctement inférés par rapport au total des concepts actifs (assurant la correction sémantique).
- Précision (Accuracy) : La performance de classification en aval.
La formulation de la moyenne harmonique garantit que la Clarté est dominée par le « maillon faible ». Si un modèle atteint une haute précision et une haute sparsité mais une faible précision (désalignement sémantique), le score de Clarté chute considérablement, pénalisant les solutions « flexibles » mais infidèles.
Configuration Expérimentale :
- Ensembles de Données : CUB (oiseaux) et SUN (scènes), choisis pour leurs annotations de concepts vérité-terrain qui permettent un calcul objectif de la précision.
- Lignes de Base : Comparaison avec des CBM denses standards, des CBM Post-hoc, des CBM sans étiquette et des CBM parcimonieux.
- Étude Humaine : Une étude contrôlée avec 50 participants pour mesurer la « Confiance » (la confiance de l'utilisateur dans l'exactitude du modèle basée uniquement sur les concepts affichés) et la corréler avec les métriques proposées.

Résultats Clés

Le Compromis Flexibilité-Interprétabilité : Les expériences révèlent que les modèles peuvent maintenir une haute précision en aval même lorsque la précision des concepts est faible. Cela confirme que la haute précision et la sparsité seules ne garantissent pas l'interprétabilité ; les modèles s'appuient souvent sur des signaux sémantiquement incorrects mais discriminatifs.
Performance des Méthodes de Sparsité : Bien que toutes les méthodes sensibles à la sparsité atteignent une précision de tâche comparable, elles présentent des scores de Clarté nettement différents. La formulation basée sur Bernoulli a généralement obtenu la Clarté la plus élevée, en particulier dans les paramètres basés sur des prédicteurs, en équilibrant une haute précision avec la sparsité.
Métriques Trompeuses : La précision binaire s'est avérée être un mauvais proxy pour l'interprétabilité. Des modèles avec une précision binaire similaire ont montré d'énormes différences en termes de précision et de Clarté.
Alignement Humain : La métrique Clarté a montré une forte corrélation ( $r = 0.9749$ ) avec les scores de confiance humaine, surpassant les composantes individuelles (Précision, Sparsité, Précision) et les schémas d'agrégation standards (Moyennes Arithmétique et Géométrique). Cela suggère que la Clarté capture mieux la perception humaine de la fiabilité du modèle.
Sparsité Globale vs Locale : Les comparaisons avec des architectures globalement parcimonieuses (par exemple, Post-hoc, sans étiquette) ont montré que bien qu'elles atteignent une précision compétitive, elles souffrent souvent d'une faible précision, renforçant l'idée que des contraintes sémantiques au niveau de l'instance sont nécessaires pour des explications fidèles.

Signification et Revendications
L'article revendique la formalisation du compromis flexibilité-interprétabilité, démontrant que les architectures CBM modernes peuvent optimiser les performances en s'écartant d'un alignement sémantique strict. La contribution principale est la métrique Clarté, que les auteurs jugent essentielle pour distinguer les modèles qui sont « justes pour les bonnes raisons » de ceux qui exploitent des corrélations fallacieuses.

Les auteurs soulignent que l'interprétabilité dans les CBM n'est pas garantie par la sparsité ou la précision seules, mais nécessite la prise en compte explicite de la correction sémantique. En validant la Clarté par le biais d'une étude humaine rigoureuse, le travail établit que cette métrique s'aligne beaucoup plus étroitement sur la confiance humaine que les métriques d'évaluation standard. L'article conclut que des diagnostics objectifs comme la Clarté sont nécessaires pour identifier les modèles fournissant des explications sémantiquement fidèles, allant au-delà des évaluations centrées sur la précision qui peuvent masquer des défaillances de représentation.

Limites
Les auteurs reconnaissent que le cadre actuel repose sur des annotations de concepts vérité-terrain pour calculer la précision, ce qui limite l'application directe aux contextes à vocabulaire ouvert sans étiquettes vérifiées par l'humain. Ils suggèrent que des travaux futurs pourraient approximer la précision en utilisant des signaux proxy, des interventions contrefactuelles ou un ancrage visuel, bien qu'ils maintiennent qu'une évaluation rigoureuse nécessite de tels benchmarks contrôlés.