🤖 machine learning

Spatially Grounded Concept-Based Image Classification

Le papier propose SEG-MIL-CBM, un modèle à goulot d'étranglement conceptuel (Concept Bottleneck Model) spatialement ancré qui décompose les images en régions guidées par des concepts et agrège les preuves au niveau des segments via l'attention afin d'améliorer simultanément la précision de la classification et de fournir des explications intrinsèques et interprétables par l'humain sans nécessiter de modules d'attribution post-hoc distincts.

Auteurs originaux : Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ran Eisenberg, Amit Rozner, Ethan Fetaya, Ofir Lindenbaum

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre un mystère : Qu'y a-t-il dans cette image ?

La plupart des détectives IA modernes (réseaux de neurones profonds) sont incroyablement doués pour résoudre l'enquête. Ils peuvent vous dire : « C'est un oiseau ! » avec une précision de 99 %. Mais ils sont terribles pour expliquer comment ils le savent. Ils pourraient regarder l'arrière-plan (comme un lac) au lieu de l'oiseau lui-même, ou ils pourraient utiliser un code secret que aucun humain ne peut lire. Si vous demandez : « Pourquoi dites-vous que c'est un oiseau ? », ils se contentent de hausser les épaules et de dire : « Parce que les mathématiques le disent. »

D'autres détectives IA, appelés Modèles à Goulot d'Étranglement Conceptuel (CBM - Concept Bottleneck Models), essaient d'être plus honnêtes. Ils disent : « Je vois un "bec" et des "plumes", donc il doit s'agir d'un oiseau ». C'est mieux, mais ils ont toujours un défaut : ils traitent toute l'image comme un smoothie. Ils mélangent tous les « becs » et les « plumes » dans un seul grand verre d'informations. Ils ne peuvent pas vous dire quelle partie spécifique de l'image ils regardent. Ont-ils vu le bec sur la gauche ? Ou la queue sur la droite ? Ils donnent simplement un score global.

Entrez le Nouveau Détective : SEG-MIL-CBM

Les auteurs de ce papier ont construit un nouveau détective appelé SEG-MIL-CBM. Voyez ce détective comme un comptable expert-comptable qui ne se contente pas de deviner ; il tient un reçu détaillé et item par item pour chaque décision qu'il prend.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'équipe « Découper et Coller » (Prétraitement)

Avant même que le détective ne regarde la photo, il utilise une équipe de robots spécialisés (outils d'IA pré-entraînés comme CLIP, GroundingDINO et SAM) pour découper l'image en pièces de puzzle.

Les Robots : Ils regardent l'image et disent : « Je vois une zone qui ressemble à un "poitrine orange vif" ici », et « Je vois une zone qui ressemble à des "ailes noires" là ».
Le Résultat : L'image n'est plus un gros bloc informe. C'est un sac de pièces de puzzle distinctes et étiquetées (segments).

2. Le « Vote du Comité » (Le Modèle)

Maintenant, le détective principal (le modèle) regarde ce sac de pièces de puzzle. Au lieu de les mélanger, il traite chaque pièce comme un témoin dans une salle d'audience.

Les Témoins : Chaque pièce de puzzle (segment) dit : « Je suis une pièce de l'oiseau, et je contribue à 40 % au verdict "Oiseau" ». Une autre pièce dit : « Je suis une pièce de l'arrière-plan, et je contribue à 0 % ».
Le Vote : Le détective pèse ces témoignages. Il utilise un mécanisme d'« attention » spécial pour écouter plus attentivement les pièces qui semblent les plus importantes et ignorer le bruit.

3. Le « Reçu Détaillé » (L'Explication)

C'est la partie magique. Parce que la réponse finale n'est qu'une somme des votes des témoins, le détective peut imprimer un reçu détaillé.

Le Reçu : Il ne dit pas seulement « Oiseau ». Il dit :
- Témoin 1 (Poitrine Orange) : +0,42 point à « Oiseau ».
- Témoin 2 (Ailes Noires) : +0,32 point à « Oiseau ».
- Témoin 3 (Ciel Bleu) : 0 point.
Le Bénéfice : Vous pouvez voir exactement où l'IA a regardé et ce qu'elle a vu. Si l'IA a fait une erreur, vous pouvez regarder le reçu et dire : « Ah, vous vous êtes concentré sur la mauvaise pièce du puzzle ! »

Pourquoi est-ce important ? (Le problème du « Raccourci »)

Parfois, l'IA devient paresseuse. Elle apprend des « raccourcis ».

Le Scénario : Imaginez une IA entraînée à repérer des oiseaux. Elle remarque que dans la plupart des photos d'entraînement, les oiseaux sont sur l'eau. Elle apprend donc : « Si je vois de l'eau, c'est un oiseau ».
L'Échec : Si vous lui montrez un oiseau sur un arbre, elle pourrait être confuse parce qu'elle cherche de l'eau.
L'Ancienne Méthode : Les CBM globaux pourraient encore être trompés car ils mélangent l'« eau » et l'« oiseau » en un seul score.
La Méthode SEG-MIL-CBM : Parce que ce modèle regarde les pièces séparément, il peut voir : « Cette pièce est un oiseau sur un arbre (Bien !), mais cette pièce est de l'eau (Mauvais/Raccourci) ». Il peut choisir d'ignorer la pièce d'eau et de se concentrer sur la pièce de l'oiseau.

Qu'ont-ils prouvé ?

Les auteurs ont testé ce nouveau détective sur plusieurs défis :

Il est Honnête : Ils ont effectué des tests où ils ont retiré une par une les pièces de puzzle les « plus importantes ». La confiance du modèle a chuté exactement comme prévu, prouvant que l'explication correspond au processus de pensée.
Il est Intelligent : Il ne s'est pas contenté de mieux expliquer ; il est aussi devenu meilleur pour résoudre des cas difficiles où les autres modèles « honnêtes » ont échoué (spécifiquement sur des jeux de données où l'IA est habituellement trompée par les arrière-plans).
Il est Assez Rapide : Il fonctionne bien sur les tâches standards de reconnaissance d'images, pas seulement sur les cas complexes.

L'Essentiel

Ce papier présente un système qui force l'IA à montrer son travail. Au lieu d'une boîte noire qui donne une réponse, il vous donne une carte surlignée de l'image avec une fiche de score pour chaque zone surlignée.

Ancienne IA : « C'est un oiseau. » (Faites-moi confiance, je suis intelligent.)
Ancienne IA « Honnête » : « C'est un oiseau à cause de concepts comme les "plumes" et le "bec". » (Mais je ne peux pas vous dire où je les ai vus.)
SEG-MIL-CBM : « C'est un oiseau. Voici la zone "plume" sur la gauche (Score : 0,4), et voici la zone "bec" sur la droite (Score : 0,3). J'ai ignoré l'eau en arrière-plan. »

Les auteurs affirment que cela rend l'IA plus fiable, surtout lorsqu'elle pourrait être tentée de prendre un raccourci paresseux, et cela permet aux humains d'auditer la décision sans avoir besoin d'un outil séparé et déroutant pour l'expliquer.

Résumé Technique : SEG-MIL-CBM

Énoncé du Problème
Les réseaux de neurones profonds atteignent souvent une précision élevée en s'appuyant sur des corrélations spécieuses ou des preuves difficiles à inspecter, particulièrement dans des contextes à enjeux élevés. Bien que les modèles à goulot d'étranglement conceptuel (CBM - Concept Bottleneck Models) offrent un raisonnement interprétable par l'humain en mappant les images vers des concepts définis par l'homme, la plupart des CBM existants traitent les concepts comme des attributs globaux. Cette approche globale échoue à identifier quelles régions spécifiques de l'image soutiennent un concept, laissant un fossé entre la prédiction et son explication. De plus, les CBM spatialement ancrés (par exemple, SALF-CBM) localisent les preuves mais ne tiennent pas explicitement compte de la manière dont les preuves au niveau de la région sont agrégées dans le logit de décision final, ce qui résulte souvent en des explications séparées du calcul produisant la prédiction.

Méthodologie : SEG-MIL-CBM
Les auteurs proposent SEG-MIL-CBM (Classification d'images basée sur des concepts et spatialement ancrée), un modèle conçu pour décomposer les images en régions guidées par des concepts et pour les classifier via une agrégation basée sur l'attention des preuves au niveau du segment. L'innovation centrale est que les mêmes termes de preuve de segment utilisés pour former la prédiction sont directement lus pour générer l'explication, éliminant ainsi le besoin d'un module d'attribution post-hoc distinct.

Le pipeline se compose de quatre étapes :

Prétraitement Hors-ligne : En utilisant des modèles de fondation pré-entraînés (CLIP, GroundingDINO et SAM), le système génère un « sac » de segments guidés par des concepts pour chaque image. GroundingDINO localise les concepts, et SAM produit des masques binaires. Ces segments sont mis en cache avec les cibles de similitude de concept CLIP gelées.
Encodage de Segment : Un modèle entraînable encode chaque segment à l'aide d'un squelette partagé ( $\phi$ ) pour produire des caractéristiques ( $h_i$ ). Une tête de concept linéaire projette ces caractéristiques dans un espace conceptuel pour produire des activations de concepts apprises ( $z_i$ ).
Agrégation Responsable (MIL) : Le modèle emploie un cadre d'apprentissage par sacs multiples (MIL - Multiple Instance Learning) basé sur l'attention. Il calcule des poids d'attention conditionnés par la classe ( $\alpha_{i,y}$ ) pour chaque segment et agrège les scores de segment-classe ( $g_{i,y}$ ) en un logit au niveau de l'image ( $\ell_y = \sum \alpha_{i,y} g_{i,y}$ ).
Génération d'Explication : Le logit final est une somme de contributions explicites au niveau du segment. L'explication est dérivée en lisant les termes de preuve non biaisés ( $C^{sp}_{i,y}$ ) de cette décomposition. Cela révèle quelles régions ont contribué positivement à la prédiction et quels concepts spécifiques au sein de ces régions ont fourni ce soutien.

L'objectif d'entraînement combine une perte d'entropie croisée au niveau de l'image avec une perte d'alignement cosinus entre les activations de concepts apprises et les cibles CLIP gelées, assurant une cohérence sémantique sans nécessiter de labels de concepts ou de groupes explicites pendant l'entraînement.

Contributions Clés

Agrégation Responsable : Les auteurs formulent la prédiction de concept spatiale de telle sorte que chaque score de région affiché est lu directement à partir du terme de preuve de segment non biaisé dans la décomposition du logit, créant ainsi une prédiction et une explication unifiées.
Validation de la Fidélité : À travers des expériences de suppression et d'insertion au niveau du segment sur le jeu de données CUB, l'article valide quantitativement que le classement de segment appris est fidèle au propre chemin de prédiction du modèle, surpassant les contrôles basés sur la saillance brute de CLIP, la surface du segment et le classement aléatoire.
Compromis Interprétabilité-Robustesse : Le modèle démontre qu'une conception privilégiant l'interprétabilité peut préserver une précision de reconnaissance compétitive tout en améliorant la précision du pire groupe (worst-group accuracy) par rapport aux bases de comparaison de la famille des CBM. Il expose explicitement le compromis de Pareto entre l'interprétabilité et la précision maximale du pire groupe réalisable par des méthodes non interprétables et robustes aux groupes.

Résultats

Robustesse de Groupe : Sur le jeu de données Waterbirds (un benchmark pour les corrélations de fond spécieuses), SEG-MIL-CBM améliore la précision du pire groupe de 65,1 % (SALF-CBM) à 72,0 %. Sur le jeu de données synthétique Pawrious, il atteint 87,4 % de précision du pire groupe, surpassant de manière significative les bases CBM globales qui échouent à atténuer les raccourcis de fond.
Reconnaissance Standard : Le modèle reste compétitif sur les tâches de reconnaissance standard, atteignant la meilleure précision CBM sur CIFAR-100 (85,3 %) et s'améliorant par rapport aux précédents CBM spatiaux sur Places365 et CUB.
Fidélité : Sur CUB, le modèle obtient les meilleurs scores DAUC/IAUC (0,444/0,670) parmi les contrôles évalués. Les tests d'insertion Top-1 montrent que ne conserver que les segments les mieux classés préserve la prédiction originale dans 90,5 % des images.
Ablation : Les expériences confirment que les gains de performance sont pilotés par l'agrégation explicite des preuves localisées plutôt que par des contournements de caractéristiques cachées, et que la perte d'alignement de concept est cruciale pour maintenir l'interface sémantique utilisée pour les explications.

Signification et Revendications
L'article affirme que SEG-MIL-CBM fournit une forme d'explication plus forte en servant de « piste d'audit » de la prédiction elle-même. Contraго aux méthodes post-hoc qui attachent des cartes de chaleur à des classificateurs séparés, SEG-MIL-CBM garantit que l'évidence de la région affichée est intrinsèque au calcul de propagation avant (forward computation).

Les auteurs positionnent SEG-MIL-CBM non pas comme un remplacement des méthodes non interprétables et robustes aux groupes (qui peuvent atteindre une précision du pire groupe plus élevée sur des jeux de données spécifiques comme Waterbirds), mais comme un point distinct sur la frontière de Pareto. Il offre un compromis où les praticiens gagnent une comptabilité spatialement ancrée et au niveau du concept de pourquoi une décision a été prise — en identifiant spécifiquement quelles parties de l'objet ou quelles régions de fond ont soutenu la prédiction — tout en maintenant une précision compétitive et une robustesse améliorée par rapport aux autres bases de comparaison interprétables. Le travail souligne que cette approche rend les échecs (par exemple, la dépendance aux raccourcis de fond) plus inspectables que dans les modèles à goulot d'étranglement globaux, même si elle ne garantit pas l'élimination de tous les raccourcis.