🤖 machine learning

Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification

Cet article propose HCEP, un cadre d'encodage parcimonieux hiérarchique qui exploite la structure arborescente des concepts pour améliorer la précision et la fiabilité des modèles de classification d'images interprétables par conception.

Auteurs originaux : Nghia Nguyen, Tianjiao Ding, René Vidal

Publié 2026-03-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nghia Nguyen, Tianjiao Ding, René Vidal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'expliquer à un ami pourquoi vous avez reconnu un chat sur une photo. Un modèle d'intelligence artificielle classique (comme une "boîte noire") vous dirait simplement : "C'est un chat", sans pouvoir vous dire pourquoi.

Les chercheurs de cette paper ont voulu créer une IA qui fonctionne comme un humain : elle ne se contente pas de donner la réponse, elle explique son raisonnement en utilisant des concepts que nous comprenons (comme "animal", "poilu", "moustaches").

Voici l'explication de leur méthode, HCEP, avec des analogies simples.

1. Le Problème : L'IA qui perd le fil

Jusqu'à présent, les IA qui tentent d'expliquer leurs décisions utilisaient une méthode un peu désordonnée. Imaginez que vous cherchez un livre dans une immense bibliothèque.

L'ancienne méthode : L'IA regardait tous les livres et disait : "Ah, ce livre est sur le chat, mais il est aussi sur les voitures et les bananes !" C'est techniquement possible (peut-être que le chat est sur une voiture), mais ce n'est pas logique. Cela crée des explications confuses et peu fiables.
Le manque de structure : Ces IA ignoraient la hiérarchie. Elles ne savaient pas que "Chat" est un type de "Mammifère", qui est un type d'"Animal". Elles traitaient tous les mots comme s'ils étaient sur le même niveau, comme des épingles éparpillées sur un tableau.

2. La Solution : Une Pyramide de Concepts

Les auteurs proposent de construire une pyramide (ou un arbre généalogique) pour les concepts.

Le sommet (Racine) : C'est le concept le plus large, comme "Objet" ou "Animal".
Les branches : En descendant, on trouve des catégories plus précises : "Animal" -> "Mammifère" -> "Chat".
La règle d'or : Pour qu'une explication soit vraie, l'IA doit suivre un chemin unique du sommet jusqu'à la feuille (le chat). Elle ne peut pas sauter de "Véhicule" à "Chat" directement, car ce n'est pas logique.

3. Comment ça marche ? (L'analogie du GPS)

Imaginons que l'image du chat est une destination de voyage.

L'ancienne méthode (Recherche classique) : L'IA regarde la carte et dit : "Le chat est proche de 'Véhicule' et de 'Oiseau'". C'est faux et confus.
La nouvelle méthode (HCEP) : L'IA utilise un GPS qui suit strictement les routes autorisées.
1. Elle part du centre-ville (la racine).
2. Elle prend la route "Animal".
3. Ensuite, elle tourne vers "Mammifère".
4. Enfin, elle arrive à "Chat".

Pour faire cela, ils ont créé une carte mathématique spéciale (des "embeddings hiérarchiques"). C'est comme si chaque concept avait une adresse GPS précise :

Les concepts frères (Chat et Chien) sont proches l'un de l'autre, mais loin des concepts d'autres familles (comme les Oiseaux).
La différence entre un "Mammifère" et un "Chat" est une flèche mathématique très précise qui ne se mélange pas avec la flèche "Animal".

4. La Chasse aux Concepts (Le "Pursuit")

Une fois la carte construite, l'IA doit trouver le chemin exact pour une image donnée.

Ils utilisent un algorithme appelé "Orthogonal Matching Pursuit Hiérarchique".
L'analogie du détective : Imaginez un détective qui a une liste de suspects (les concepts). Au lieu de les interroger au hasard, il suit une logique stricte :
- "Si c'est un animal, je ne vais pas chercher un véhicule."
- "Si c'est un mammifère, je ne vais pas chercher un oiseau."
Grâce à cette logique, l'IA élimine les fausses pistes beaucoup plus vite et trouve le bon chemin (le bon chemin de concepts) même si l'image est floue ou si elle a très peu d'exemples pour apprendre.

5. Pourquoi c'est génial ?

Plus fiable : L'IA ne donne pas d'explications contradictoires (elle ne dira pas "C'est un chat et une voiture" en même temps).
Apprend avec peu de données : Comme elle utilise la structure logique (la pyramide), elle n'a pas besoin de voir 10 000 photos de chats pour comprendre. Elle sait déjà qu'un chat est un mammifère, donc elle a une "tête de lecture" en moins.
Transparent : On peut voir exactement quels concepts l'IA a utilisés pour prendre sa décision, ce qui permet aux humains de vérifier si elle a raison.

En résumé :
Cette paper dit : "Arrêtons de faire chercher à l'IA des concepts au hasard dans un tas de sable. Construisons-lui une bibliothèque bien rangée avec des rayons logiques, et apprenons-lui à suivre les allées pour trouver la réponse. Résultat : une IA plus intelligente, plus honnête et plus facile à comprendre."

1. Problématique

Les modèles d'apprentissage automatique en vision par ordinateur, bien que performants, souffrent souvent d'un manque d'interprétabilité, ce qui nuit à leur fiabilité. Les modèles "interprétables par conception" (interpretable-by-design) tentent de résoudre ce problème en extrayant des concepts humains interprétables d'une image pour effectuer la classification.

Cependant, les méthodes existantes de récupération de concepts (comme la récupération par codage parcimonieux ou sparse coding) présentent une limitation majeure : elles ignorent la structure hiérarchique des concepts.

Exemple : Dans une hiérarchie sémantique, un "chat" est un "mammifère", qui est un "animal". Une méthode standard pourrait identifier correctement "chat" mais aussi "véhicule" ou "oiseau" comme concepts présents, créant une explication incohérente avec la logique sémantique (un chat n'est pas un véhicule).
Conséquence : Ces modèles peuvent produire des prédictions correctes avec des explications fausses ou incohérentes par rapport à la hiérarchie des connaissances.

L'objectif de cet article est de développer un cadre qui intègre explicitement la structure hiérarchique des concepts (hyperonymes/hyponymes) dans le processus d'encodage et de récupération pour garantir des explications fidèles et cohérentes.

2. Méthodologie : HCEP

Les auteurs proposent HCEP (Hierarchical Concept Embedding & Pursuit), un cadre en deux étapes combinant des propriétés géométriques des embeddings et un algorithme de poursuite hiérarchique.

A. Modélisation des Embeddings Hiérarchiques (Section 3)

Les auteurs définissent des conditions géométriques idéales pour représenter une hiérarchie de concepts dans un espace vectoriel (latent) afin de faciliter leur récupération :

Regroupement bien structuré (Well-clustered synsets) : Les concepts frères (sibling synsets) doivent être bien séparés dans l'espace d'embedding, tout en restant regroupés autour de leur parent commun. Cela garantit que les sous-arbres de la hiérarchie ne se chevauchent pas.
Orthogonalité Hiérarchique : La différence vectorielle entre un enfant et son parent doit être orthogonale au vecteur du parent. Cela signifie que les caractéristiques qui distinguent un enfant de son parent sont indépendantes du parent lui-même (ex: la différence entre "chien" et "mammifère" ne doit pas altérer la probabilité relative d'être un "chien" vs un "chat").
Structure Simplexe : Les vecteurs de différence entre un parent et ses $b$ enfants doivent former un simplexe régulier de dimension $b-1$ .

Ces conditions théoriques imposent une contrainte sur la dimension de l'espace d'embedding ( $d \ge L + b$ , où $L$ est la profondeur et $b$ le facteur de branchement), ce qui est généralement satisfait par les modèles pré-entraînés modernes comme CLIP ( $d=768$ ).

B. Construction du Dictionnaire Hiérarchique (Section 4.1)

Au lieu d'utiliser directement les embeddings des synsets (concepts globaux), HCEP construit un dictionnaire basé sur les différences :

Le dictionnaire $D$ est composé des vecteurs $a(j) - a(par(j)) $, où$ a(j)$ est l'embedding d'un synset et $a(par(j))$ celui de son parent.
L'embedding d'une image est alors représenté comme une combinaison linéaire parcimonieuse de ces vecteurs de différence le long du chemin racine-feuille.
Cela évite les solutions triviales et force le modèle à identifier les étapes spécifiques de la hiérarchie.

C. Algorithme de Poursuite Hiérarchique (Section 4.2)

Pour récupérer les concepts, les auteurs proposent une variante hiérarchique de l'algorithme OMP (Orthogonal Matching Pursuit) :

Extension contrainte : Au lieu de chercher le meilleur atome dans tout le dictionnaire à chaque étape, l'algorithme n'explore que les enfants du nœud le plus profond actuellement sélectionné.
Recherche par faisceau (Beam Search) : Pour gérer l'incertitude et éviter les erreurs d'accumulation (où une mauvaise décision précoce ruine toute la hiérarchie), l'algorithme maintient un ensemble de $B$ hypothèses (chemins candidats) à chaque niveau.
Élagage : À chaque itération, les hypothèses sont triées par erreur de reconstruction résiduelle, et seules les meilleures sont conservées.

3. Contributions Clés

Cadre Géométrique Théorique : Définition formelle des conditions nécessaires (orthogonalité hiérarchique, structure simplexe, cônes disjoints) pour qu'une hiérarchie de concepts soit identifiable dans un espace vectoriel.
Algorithme HCEP : Développement d'un algorithme de poursuite parcimonieuse qui respecte la structure de l'arbre, démontrant théoriquement qu'il possède une région de succès (ERC) plus large que le codage parcimonieux standard.
Validation Empirique : Démonstration que les embeddings pré-entraînés (CLIP, SigLIP) respectent naturellement ces propriétés géométriques hiérarchiques sur des jeux de données réels (ImageNet, CIFAR-100).
Performance en Few-Shot : Preuve que l'intégration de la hiérarchie améliore significativement la récupération de concepts et la précision de classification lorsque les données d'entraînement sont limitées.

4. Résultats Expérimentaux

Les expériences ont été menées sur des données synthétiques et réelles (ImageNet, ImageNette, CIFAR-100) en comparant HCEP avec des baselines (OMP standard, CBM, Classifieurs de plus proches voisins).

Précision et Rappel des Concepts : HCEP surpasse systématiquement les méthodes de codage parcimonieux standard (OMP) et les modèles de goulot d'étranglement de concepts (CBM) en termes de précision et de rappel de la structure de support (c'est-à-dire la capacité à retrouver le chemin correct dans la hiérarchie).
Précision de Classification : HCEP maintient une précision de classification compétitive, souvent supérieure aux baselines interprétables, tout en fournissant des explications fiables.
Robustesse en Few-Shot : Dans des scénarios avec peu d'exemples par classe (ex: 12, 25, 50 images), HCEP démontre une supériorité marquée, confirmant que l'induction de biais hiérarchique aide à la généralisation.
Généralisation : Les résultats sont cohérents avec différents modèles de vision-langage (CLIP et SigLIP), prouvant que la méthode n'est pas dépendante d'un encodeur spécifique.
Analyse de la Géométrie : Les tests empiriques confirment que les vecteurs de différence enfant-parent sont bien orthogonaux aux parents dans les embeddings réels, validant les hypothèses théoriques.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la théorie des représentations hiérarchiques (souvent étudiée en NLP) et l'apprentissage profond pour la vision par ordinateur.

Fiabilité des Explications : En forçant les explications à suivre un chemin racine-feuille valide, HCEP élimine les explications "hallucinées" ou incohérentes (ex: dire qu'une image de chat contient un "véhicule"), augmentant ainsi la confiance dans le modèle.
Efficacité des Données : La méthode montre que l'incorporation de connaissances structurelles (hiérarchie) est particulièrement puissante lorsque les données sont rares, un défi majeur en apprentissage automatique.
Scalabilité : Bien que la recherche par faisceau ajoute une complexité computationnelle, elle reste gérable (parallélisable sur GPU) et offre un compromis favorable entre coût et gain en interprétabilité.

En conclusion, HCEP propose une approche "interprétable par conception" robuste qui transforme la récupération de concepts en un problème de recherche de chemin dans une hiérarchie structurée, offrant des modèles plus fiables et compréhensibles pour la classification d'images.