🤖 machine learning

Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

Cet article présente un modèle de goulot d'étranglement de concepts partiellement factorisé qui exploite un transformateur de vision DINOv3 gelé, une porte de premier plan et un a priori spatial gaussien apprenable pour imposer un ancrage spatial dans l'attention des concepts, améliorant ainsi considérablement la précision du pointage tout en maintenant des performances de classification compétitives sur le jeu de données CUB-200-2011 avec une supervision par image minimale ou nulle.

Auteurs originaux : Dhanesh Ramachandram

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dhanesh Ramachandram

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à identifier différentes espèces d'oiseaux. Une IA standard se contenterait de regarder l'image entière et de deviner : « C'est un moineau ! » Mais si vous demandez : « Pourquoi ? », elle pourrait avoir du mal à expliquer.

Les Modèles à Goulot d'Étranglement Conceptuel (CBM - Concept Bottleneck Models) sont une approche plus intelligente. Au lieu de deviner directement l'oiseau, l'IA est forcée de répondre d'abord à une liste de questions humaines (des concepts) telles que « A-t-il une gorge blanche ? » ou « Le bec est-il courbé ? », puis de faire sa supposition finale basée sur ces réponses. Cela rend le processus de pensée de l'IA transparent et auditable.

Cependant, il existe une faille dans le fonctionnement habituel de ces modèles. La partie de l'IA responsable de la vérification de la « gorge blanche » pourrait accidentellement regarder l'aile de l'oiseau. Si l'aile se trouve être blanche, l'IA obtient la bonne réponse pour la mauvaise raison. L'IA est « spatialement non ancrée » : elle ne sait pas où elle devrait regarder dans l'image.

Ce document présente un nouveau modèle appelé PF-CBM (Part-Factorized Concept Bottleneck Model) qui corrige cela en forçant l'IA à regarder au bon endroit, grâce à trois astuces ingénieuses :

1. Le « Portier de Premier Plan » (Le Bouncer)

Imaginez que l'image soit une fête bondée. L'IA doit ignorer l'arrière-plan (les murs, les arbres, la clôture) et se concentrer uniquement sur l'oiseau.

Comment ça marche : Le modèle possède un petit « portier » intelligent qui scanne chaque petite partie de l'image. Si une partie ressemble à l'arrière-plan, le portier dit à l'IA de l'ignorer. Si elle ressemble à l'oiseau, il la laisse regarder.
L'astuce : Ce portier est entraîné pour simplement dire « Est-ce que cela fait partie de l'oiseau ? » sans avoir besoin de savoir exactement où se trouvent le bec ou la queue de l'oiseau. Il se contente de libérer la scène pour les véritables acteurs.

2. Le « Plan de Table Fixe » (Le Routage)

Dans les anciens modèles, le « Vérificateur de Bec » et le « Vérificateur de Queue » étaient des agents libres. Ils pouvaient s'asseoir n'importe où et regarder ce qu'ils voulaient.

Comment ça marche : Ce nouveau modèle assigne chaque concept à un « siège » spécifique (une partie de l'oiseau). Le « Vérificateur de Bec » n'est autorisé à regarder que le « Siège du Bec ». Le « Vérificateur de Queue » n'est autorisé à regarder que le « Siège de la Queue ».
Le résultat : L'IA ne peut plus tricher en regardant l'aile pour répondre à une question sur la gorge. Les règles sont codées en dur dans le système.

3. Le « Prior Gaussien » (La Carte Approximative)

Voici la partie la plus difficile : comment dire à l'IA quel siège est le « Siège du Bec » et lequel est le « Siège de la Queue » sans lui montrer des milliers d'images avec des points dessinés sur les becs et les queues ?

Le problème : Si vous donnez simplement 12 sièges vides à l'IA, elle pourrait être confuse. Elle pourrait décider que le Siège n°1 est la queue et le Siège n°2 est le bec, ou vice versa. Comme l'oiseau semble identique dans les deux cas, l'IA s'enfonce dans une boucle de confusion.
La solution : Les auteurs donnent à l'IA une carte très approximative et floue de l'endroit où se trouvent généralement les choses. Ils disent : « Le bec est généralement près du haut à gauche, et la queue est généralement près du bas à droite. »
La magie : Ils n'ont pas besoin de fournir cette carte pour chaque oiseau. Ils ont seulement besoin de calculer la position moyenne d'un bec à partir d'un très petit nombre d'exemples (aussi peu que 27 images sur 11 000 !). Cette carte approximative agit comme une boussole qui brise la confusion, disant à l'IA : « Commencez à chercher le bec ici. » Une fois lancée, l'IA apprend les détails exacts par elle-même.

Les Résultats : Qu'est-ce qui s'est passé ?

Les chercheurs ont testé cela sur un ensemble de données de 200 espèces d'oiseaux.

Précision : Le nouveau modèle était tout aussi performant pour identifier les oiseaux que les anciens modèles entièrement supervisés (environ 89 % de précision).
Honnêteté : Mais, il était bien meilleur pour pointer la bonne partie du corps. Alors que les anciens modèles pointaient correctement seulement 36 % du temps, ce nouveau modèle le faisait 52 % à 60 % du temps.
Pas de supervision nécessaire : Mieux encore, ils ont trouvé un moyen de supprimer la nécessité de dessiner des boîtes autour des oiseaux. En utilisant une astuce mathématique (PCA) pour deviner où se trouve l'oiseau, ils ont obtenu une précision presque aussi élevée et même de meilleures capacités de pointage (près de 60 %), le tout sans avoir besoin que des humains dessinent des boîtes ou des points sur les images d'entraînement.

L'essentiel

Ce document montre que vous pouvez rendre le processus de décision d'une IA beaucoup plus honnête et fiable en lui donnant une simple « carte » de l'endroit où regarder, sans avoir besoin de lui enseigner l'emplacement exact de chaque partie du corps pour chaque image. C'est comme apprendre à un élève à passer un examen en lui donnant un plan sommaire des chapitres du manuel, plutôt qu'en le forçant à mémoriser chaque numéro de page. Le résultat est un modèle qui non seulement trouve la bonne réponse, mais sait exactement pourquoi il l'a trouvée.

Résumé Technique : Modèles de Goulot d'Étranglement Conceptuel Spatialement Ancrés via l'Attention par Factorisation de Parties

Énoncé du Problème
Les modèles de goulot d'étranglement conceptuel (Concept Bottleneck Models - CBM) offrent une interprétabilité en prédisant des attributs (concepts) nommés par l'humain avant de réaliser une prédiction de classe finale. Cependant, pour les tâches de reconnaissance fine (ex. : distinguer des espèces d'oiseaux), les CBM standards souffrent d'un « écart d'ancrage spatial ». Bien que la couche de concept reste numériquement interprétable, l'attention spatiale de chaque tête de concept est non contrainte. Une tête nommée pour une partie spécifique du corps (ex. : « couleur de la gorge ») peut satisfaire la perte d'entraînement en s'attendant à une région différente (ex. : une tache sur l'aile) si cette région est fortement corrélée à l'attribut cible. Par conséquent, les décisions du modèle ne sont pas ancrées dans l'anatomie nommée, ce qui rend les interventions au moment du test peu fiables car elles agissent sur le patch auquel la tête s'est accrochée plutôt que sur la région anatomique prévue.

Méthodologie : PF-CBM (Part-Factorized CBM)
Le PF-CBM proposé impose l'ancrage spatial comme une propriété structurelle du graphe de propagation avant, construit sur un transformateur de vision DINOv3 ViT-B/16 gelé. L'architecture se compose de trois composants principaux :

Porte de Premier Plan Apprise (Learned Foreground Gate) : Un petit MLP opère sur les caractéristiques de patch DINOv3 pour produire des logits par patch. Ceux-ci passent par une fonction sigmoïde pour générer une porte $g \in [0, 1]$ . Cette porte est injectée de manière additive dans l'espace logarithmique dans les logits d'attention. Elle supprime les patches d'arrière-plan sans nécessiter de masques de segmentation par image, répondant à la question binaire de savoir si un patch appartient à l'objet.
Têtes d'Attributs par Routage de Parties (Part-Routed Attribute Heads) : Le modèle utilise un ensemble de $P=12$ requêtes de parties apprenables qui effectuent une attention croisée sur les caractéristiques de patch. Une carte « concept-vers-partie » fixe, définie à la compilation, route chacun des $C=312$ attributs vers un jeton de partie spécifique. Par exemple, l'attribut « couleur de la gorge » lit exclusivement les caractéristiques du jeton « gorge ». Cette contrainte structurelle empêche un concept d'accéder à des caractéristiques en dehors de sa région anatomique assignée.
Prior Spatial Gaussien Apprenable : Pour éviter que les requêtes de parties ne s'effondrent vers un emplacement commun (ex. : le centroïde de l'objet) en raison de la symétrie de permutation, un prior gaussien 2D apprenable est ajouté aux logits d'attention. La moyenne ( $\mu_p$ ) et l'écart-type ( $\sigma_p$ ) de ce prior sont des paramètres entraînables. Crucialement, $\mu_p$ est initialisé hors ligne en utilisant l'emplacement moyen des points clés du jeu de données pour chaque partie. Cette initialisation ne nécessite que une petite fraction de points clés annotés et aucune supervision par image pendant l'entraînement ou l'inférence.

Objectif d'Entraînement
Le modèle est entraîné en deux étapes pour équilibrer l'ancrage et la classification :

Étape 1 : Le classificateur est gelé ( $w_{cls}=0$ ). La porte, l'attention de partie, et les têtes d'attributs sont entraînés en utilisant la perte de concept (entropie croisée binaire pondérée par la certitude), la perte de premier plan, la perte d'alignement (si des points clés sont disponibles), et un terme d'entropie pour encourager la concentration de l'attention.
Étape 2 : Le classificateur est dégelé ( $w_{cls}=1$ ). Le modèle s'entraîne conjointement, mais avec un taux d'apprentissage pour les composants d'ancrage (porte, attention, têtes) qui est d'un ordre de grandeur plus petit que celui du classificateur. Cela empêche la pression de classification d'écraser l'état spatialement ancré établi à l'étape 1.

Résultats Clés
Les expériences sur le jeu de données CUB-200-2011 démontrent les points suivants :

Performance vs Ancrage : Le modèle à prior spatial atteint une précision de classification comparable à une ligne de base entièrement supervisée (88,85 % vs 88,95 % top-1) tout en améliorant significativement la précision de pointage (52,6 % vs 36,4 %).
Suppression de la Supervision par Image : En remplaçant la supervision par boîte englobante par une cible de premier plan dérivée de l'ACP et en combinant cela avec le prior gaussien, le modèle élimine toute supervision par image. Cette configuration « sans boîte » atteint 88,85 % de précision top-1 et 59,7 % de précision de pointage.
Efficacité de l'Annotation : Un balayage sur les fractions de points clés révèle que l'initialisation du prior gaussien avec seulement 0,5 % du jeu de données (environ 27 images) est suffisante pour obtenir une performance indiscernable de l'utilisation de l'ensemble du jeu de données.
Nécessité de la Structure : Supprimer entièrement le prior spatial fait chuter la précision de pointage à 2,9 %, confirmant que le prior est essentiel pour briser la symétrie de permutation et imposer la spécialisation des parties.
Comportement d'Intervention : L'entraînement séquentiel (gel du encodeur de concept avant l'entraînement du classificateur) produit un goulot d'étranglement mieux calibré avec une information mutuelle concept-classe plus faible, bien qu'au prix de la précision top-1. Cela confirme que l'entraînement conjoint permet au modèle de compacter des signaux discriminants dans les magnitudes de concepts, tandis que l'entraînement séquentiel impose une dépendance plus stricte aux concepts nommés.

Signification et Revendications
L'article affirme que le PF-CBM parvient à combler le fossé entre l'interprétabilité et l'ancrage spatial. En faisant de l'ancrage une garantie structurelle plutôt qu'un résultat d'optimisation, le modèle garantit que les prédictions de concepts sont liées à des régions anatomiques spécifiques. Cela permet des interventions au moment du test fiables où la correction d'un concept (ex. : « couleur de la gorge ») influence directement la prédiction via la preuve anatomique correcte.

Le travail se distingue des approches à ancrage souple (comme DOT-CBM, qui utilise le transport optimal) en imposant une carte de routage structurelle rigide. Bien que cela nécessite un vocabulaire de parties prédéfini et une correspondance concept-partie, cela fournit un mécanisme trivialement auditable où la correspondance entre les concepts et les régions de l'image est fixée par conception. Les auteurs notent que la méthode est mieux adaptée aux domaines avec des objets uniques dans des poses canoniques (ex. : oiseaux, visages) et que la suppression totale de l'identité des parties sans aucun signal spatial au niveau du jeu de données reste un défi non résolu.

1. Le « Portier de Premier Plan » (Le Bouncer)

2. Le « Plan de Table Fixe » (Le Routage)

3. Le « Prior Gaussien » (La Carte Approximative)

Les Résultats : Qu'est-ce qui s'est passé ?

L'essentiel

Articles similaires