🤖 machine learning

Prototype-Grounded Concept Models for Verifiable Concept Alignment

Ce papier présente les PGCMs, un nouveau modèle qui ancre les concepts interprétables dans des prototypes visuels appris pour garantir l'alignement avec le sens humain et permettre des interventions correctives, tout en maintenant des performances prédictives équivalentes aux meilleurs modèles existants.

Auteurs originaux : Stefano Colamonaco, David Debot, Pietro Barbiero, Giuseppe Marra

Publié 2026-04-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Stefano Colamonaco, David Debot, Pietro Barbiero, Giuseppe Marra

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un chef cuisinier robot (une intelligence artificielle) prépare un plat.

Le problème : La "Boîte Noire" des Concepts

Aujourd'hui, les meilleurs robots chefs utilisent une méthode appelée CBM (Modèles à Goulot d'États Conceptuels).

Comment ça marche ? Au lieu de regarder directement les ingrédients, le robot les transforme d'abord en étiquettes simples : "C'est rouge", "C'est dur", "C'est rond". Ensuite, il décide du plat final uniquement en se basant sur ces étiquettes.
Le souci : Si le robot dit "C'est rouge", vous ne savez pas pourquoi il pense ça. Est-ce qu'il voit une tomate ? Ou est-ce qu'il se trompe et pense que le fond de la casserole est rouge ?
L'analogie : C'est comme si le robot vous disait : "Je sais que c'est une pomme parce que c'est rouge." Mais vous ne pouvez pas voir la pomme. Vous devez juste lui faire confiance aveuglément. Si son idée de "rouge" est bizarre (par exemple, il pense que le rouge signifie "danger" au lieu de "fruit"), il va faire des erreurs, et vous ne pourrez pas le corriger.

La solution : Les PGCM (Modèles Ancrés sur des Prototypes)

Les auteurs de ce papier proposent une nouvelle méthode, les PGCM. Ils ajoutent une étape cruciale : la preuve visuelle.

Au lieu de juste dire "C'est rouge", le robot doit maintenant vous montrer des exemples concrets de ce qu'il appelle "rouge".

Voici comment cela fonctionne avec une analogie simple :

1. Le Dictionnaire Visuel (La Table d'Alignement)

Imaginez que le robot a un dictionnaire spécial.

Dans ce dictionnaire, chaque mot (concept) comme "Cheveux gris" n'est pas juste une définition abstraite.
À côté du mot, le robot colle de petites photos (des prototypes) qu'il a lui-même apprises.
Exemple : Si le concept est "Cheveux gris", le dictionnaire montre 3 ou 4 photos réelles de cheveux gris.
L'avantage : Vous pouvez regarder ces photos et dire : "Ah, ok, pour toi, 'cheveux gris', ça ressemble à ça. C'est bien ça." Si le robot a collé une photo de cheveux bleus à côté de "cheveux gris", vous voyez immédiatement l'erreur !

2. La Vérification (L'Inspection)

Dans les anciennes méthodes, si le robot se trompait, vous ne pouviez pas savoir pourquoi.
Avec les PGCM, c'est comme si le robot vous disait : "Je pense que cette personne a les cheveux gris parce que sa chevelure ressemble beaucoup à cette photo ici."

Vous regardez la photo de référence.
Si elle correspond à ce que vous pensez, c'est bon.
Si elle ne correspond pas (par exemple, la photo de référence montre un chapeau gris et non des cheveux), vous savez exactement où est le problème.

3. La Réparation (L'Intervention)

C'est là que ça devient magique.

Ancienne méthode : Si le robot se trompe, vous devez le réentraîner de zéro (comme rééduquer un enfant pendant des mois).
Nouvelle méthode (PGCM) : Vous pouvez simplement effacer la mauvaise photo de son dictionnaire ou en ajouter une nouvelle qui est correcte.
Analogie : C'est comme si vous aviez un jeu de cartes. Si le robot joue une mauvaise carte (une mauvaise image de référence), vous lui dites : "Non, enlève cette carte, mets celle-ci à la place." Et instantanément, le robot comprend mieux et ne fera plus cette erreur spécifique.

Pourquoi c'est important ?

Ce papier montre que cette méthode :

Est aussi intelligente : Le robot fait aussi bien ses prédictions que les meilleurs robots actuels.
Est honnête : On ne lui fait plus confiance aveuglément. On peut vérifier ce qu'il "voit".
Est réparable : On peut corriger ses erreurs facilement, comme on corrige une carte dans un jeu, sans tout casser.

En résumé

Les PGCM transforment l'IA d'un "devin mystérieux" qui vous donne des réponses sans preuves, en un collègue transparent qui vous montre ses notes, ses photos de référence et vous laisse corriger ses erreurs directement sur ces preuves. C'est une façon de rendre l'intelligence artificielle plus fiable et plus humaine.

1. Problématique : La limite de l'interprétabilité des CBM

Les Modèles à Goulot d'Étranglement de Concepts (Concept Bottleneck Models - CBM) sont conçus pour améliorer l'interprétabilité des réseaux de neurones en structurant les prédictions via des concepts intermédiaires compréhensibles par l'humain (ex: "a des rayures", "est métallique"). Bien que ces modèles permettent d'inspecter les activations de concepts et d'intervenir dessus, ils souffrent d'une limitation fondamentale : l'absence de vérification de l'alignement sémantique.

Dans un CBM standard, un concept est une prédiction scalaire abstraite. Même si les concepts sont supervisés par des étiquettes humaines, il n'existe aucun moyen de vérifier visuellement si le modèle a correctement appris la signification du concept. Le modèle pourrait se baser sur des textures parasites, des indices de fond ou des artefacts corrélés plutôt que sur le concept réel. L'utilisateur doit donc faire confiance à l'hypothèse que le concept appris correspond à sa signification intentionnelle, sans preuve visuelle directe.

2. Méthodologie : Les Modèles de Concepts Ancrés par Prototypes (PGCM)

Les auteurs proposent les PGCM (Prototype-Grounded Concept Models), une architecture hybride qui ancre chaque concept dans des prototypes visuels appris.

Architecture et Flux de Données

Le modèle suit un flux en trois étapes : $x \rightarrow p \rightarrow c \rightarrow y$

Extraction de parties d'image ( $x \rightarrow p$ ) : Un réseau de segmentation extrait $n$ parties d'image ( $x_i$ ) de l'image d'entrée.
Sélection de prototypes ( $p$ ) : Pour chaque partie d'image, un sélecteur de prototypes $q(S_i|X_i)$ $q (S_{i} ∣ X_{i})$ attribue une distribution de probabilité sur un ensemble de $m$ $m$ prototypes appris. Un prototype $j$ $j$ est défini par deux décodeurs :
- Décodeur d'image : Génère une représentation visuelle concrète du prototype (une image de partie).
- Décodeur de concept : Génère une distribution de probabilité sur les concepts haut niveau associés à ce prototype.
Prédiction de concepts et de tâche ( $c \rightarrow y$ ) : Les concepts sont prédits en fonction des prototypes sélectionnés, puis la tâche finale est calculée à partir de ces concepts.

Apprentissage et Inférence

Inférence : Le modèle calcule la probabilité postérieure des concepts en moyennant sur les prototypes sélectionnés pour chaque partie d'image.
Fonction de coût (ELBO) : L'entraînement maximise la vraisemblance conjointe via une borne inférieure de la preuve (ELBO) comprenant :
- Une perte de tâche (prédiction finale).
- Une perte de concept (alignement des concepts avec les étiquettes).
- Une perte de reconstruction : Elle force le sélecteur à choisir des prototypes visuellement similaires à la partie d'image et assure que les prototypes appris sont représentatifs des données.
- Une régularisation : Encourage une sélection de prototypes à haute entropie pour éviter les minima locaux.
Optimisations d'interprétabilité : Pour garantir que les embeddings des prototypes ne contiennent pas d'informations cachées, les auteurs utilisent une boucle de rétroaction (mapping image $\rightarrow$ embedding $\rightarrow$ image). De plus, une étape d'échange de prototypes (prototype swapping) remplace périodiquement les prototypes par les parties d'image réelles les plus proches du jeu de données, assurant que les prototypes sont des images réalistes.

3. Contributions Clés

Ancrage Visuel et Vérifiabilité :
Les PGCMs introduisent une Table d'Alignement des Concepts. Pour chaque concept, le modèle expose explicitement les prototypes visuels qui le constituent. Cela permet à l'humain de vérifier directement si la sémantique apprise correspond à l'intention (ex: vérifier si le prototype associé à "cheveux gris" montre bien des cheveux gris et non un fond gris).
Sémantique Formelle Explicite :
La sémantique d'un concept est définie formellement comme la disjonction des représentations d'images de tous les prototypes pour lesquels ce concept est actif. Cela transforme l'interprétabilité d'une hypothèse implicite en une relation vérifiable.
Nouvelles Formes d'Intervention :
Contrairement aux CBM classiques où l'intervention se fait uniquement sur les étiquettes de concepts, les PGCMs permettent trois niveaux d'intervention :
- Édition de modèles (Model Editing) : Supprimer, modifier ou ajouter des prototypes dans la table d'alignement pour corriger des concepts mal alignés.
- Intervention sur les concepts : Comme les concepts sont liés via les prototypes, corriger un concept (en modifiant un prototype) peut corriger automatiquement plusieurs concepts simultanément.
- Intervention sur la sélection : Forcer la sélection d'un prototype spécifique ou en exclure certains lors de l'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données CelebA (attributs faciaux), ColorMNIST+ (chiffres colorés) et CLEVR-Hans (objets 3D).

Performance Prédictive : Les PGCMs atteignent une précision de concepts et de tâche comparable aux CBM de l'état de l'art (CBM, CRM, CMR), malgré la contrainte structurelle d'utiliser un nombre fini de prototypes. Sur ColorMNIST+, la précision est quasi identique ; sur CelebA, une légère baisse est observée mais reste compétitive.
Vérification de l'Alignement : L'analyse des tables d'alignement montre que les prototypes appris capturent visuellement les concepts attendus (ex: un prototype pour "nez pointu" montre bien un nez pointu).
Correction d'Erreurs (Model Editing) : Dans un scénario avec des étiquettes de concepts bruitées, l'édition manuelle des prototypes (suppression des prototypes erronés ou correction de leurs étiquettes) a permis d'augmenter significativement la précision sur le jeu de test (passant de ~92% à ~97-98%). Cette correction n'est pas possible avec les CBM standards.
Intervenabilité : Les PGCMs montrent une meilleure réactivité aux interventions de concepts que les CBM standards, car une intervention sur un prototype affecte tous les concepts liés à ce prototype, permettant une propagation de la correction.
Compromis Capacité/Interprétabilité : L'augmentation du nombre de prototypes améliore la précision mais augmente la charge cognitive pour l'utilisateur, soulignant un compromis classique entre capacité du modèle et interprétabilité.

5. Signification et Impact

Ce travail adresse un problème critique dans l'IA explicable (XAI) : la confiance aveugle dans les concepts appris par les modèles.

Changement de paradigme : Les PGCMs remplacent l'hypothèse non vérifiée de l'alignement des concepts par un mécanisme concret et inspectable.
Opérationnalisation de la sémantique : En liant les symboles abstraits (concepts) à des instances visuelles concrètes (prototypes), les auteurs fournissent une définition formelle et auditable de la sémantique du modèle.
Maintenance des modèles : La capacité à éditer les modèles au niveau des prototypes offre un nouveau levier pour corriger les biais ou les erreurs d'apprentissage sans réentraîner l'ensemble du réseau, rendant les systèmes d'IA plus robustes et plus faciles à maintenir par des experts humains.

En résumé, les PGCMs maintiennent les avantages des CBM (transparence, intervention) tout en résolvant leur faille majeure (manque de preuve visuelle), offrant ainsi une nouvelle voie vers des systèmes d'IA véritablement vérifiables et dignes de confiance.