🤖 machine learning

Hyperbolic Concept Bottleneck Models

L'article présente les Hyperbolic Concept Bottleneck Models (HypCBM), un cadre a posteriori qui exploite la géométrie hyperbolique pour modéliser les hiérarchies de concepts par le biais d'une inclusion asymétrique, offrant une interprétabilité, une cohérence hiérarchique et une robustesse supérieures aux modèles euclidiens sans nécessiter de supervision supplémentaire ni de pénalités de pré-entraînement.

Auteurs originaux : Daniel Uyterlinde, Swasti Shreya Mishra, Pascal Mettes

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Uyterlinde, Swasti Shreya Mishra, Pascal Mettes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un ordinateur à reconnaître un pingouin.

Dans l'ancienne méthode (appelée « Concept Bottleneck Model » standard), l'ordinateur reçoit une liste plate de caractéristiques, comme un tableur. Il voit « a des ailes », « a des plumes », « vit dans l'eau » et « est un oiseau ». Dans cette liste plate, « oiseau » et « pingouin » sont simplement deux cases séparées côte à côte. L'ordinateur ne sait pas intrinsèquement que le « pingouin » est un type d'« oiseau ». Si vous dites à l'ordinateur : « Ce n'est pas un oiseau », il pourrait quand même penser : « D'accord, mais c'est définitivement un pingouin », car dans cette liste plate, les deux idées ne sont pas connectées. Cela conduit à des erreurs logiques.

Les Concept Bottleneck Models Hyperboliques (HypCBM) résolvent ce problème en changeant la forme de la « pensée » de l'ordinateur.

L'analogie : Un arbre contre une carte plate

Imaginez essayer d'organiser une bibliothèque.

L'ancienne méthode (Espace euclidien) : Vous essayez de faire tenir toute la bibliothèque sur un seul étage plat. Pour tout faire entrer, vous devez écraser les livres les uns contre les autres. Une section « Fiction » et une section « Science-fiction » finissent par se chevaucher ou se déformer. Il est difficile de voir que la « Science-fiction » est une petite branche qui pousse sur le grand arbre de la « Fiction ».
La nouvelle méthode (Espace hyperbolique) : Imaginez que la bibliothèque a la forme d'un arbre géant en expansion ou d'un entonnoir. Le haut de l'entonnoir représente les idées larges et générales (comme « Animal »). À mesure que vous descendez dans l'entonnoir, l'espace s'étend de manière exponentielle, vous permettant d'insérer des idées spécifiques et détaillées (comme « Pingouin », « Pingouin empereur », « Fous à pieds bleus ») sans qu'elles ne se heurtent les unes aux autres.

Dans cette nouvelle forme, l'ordinateur comprend naturellement que le « Pingouin » vit à l'intérieur de la section « Oiseau ». Ce n'est pas juste un voisin ; c'est un enfant du concept parent.

Comment cela fonctionne (Le « Cône d'implication »)

L'article introduit une astuce ingénieuse appelée Cônes d'implication.

Imaginez un concept comme « Oiseau » comme un faisceau de lampe torche descendant du haut de l'entonnoir.

Le faisceau s'élargit à mesure qu'il descend.
Si une image (comme une photo d'un pingouin) tombe à l'intérieur du faisceau « Oiseau », l'ordinateur sait : « Oui, c'est un oiseau ».
Si l'image tombe à l'intérieur du faisceau « Oiseau » mais aussi à l'intérieur d'un faisceau plus étroit et plus spécifique appelé « Pingouin », l'ordinateur sait : « C'est un pingouin ».

La magie réside dans le fait que l'ordinateur n'a pas besoin qu'on lui enseigne explicitement les règles « Les oiseaux contiennent des pingouins ». La forme de l'espace (l'entonnoir) force cette logique à se produire automatiquement. Si vous éteignez le faisceau « Oiseau », le faisceau « Pingouin » s'éteint automatiquement aussi, car le pingouin est piégé à l'intérieur de la lumière de l'oiseau.

Pourquoi cela compte

Les auteurs ont testé cela sur trois points principaux :

Il est plus intelligent avec moins de données :
Imaginez deux étudiants passant un examen. L'étudiant A (l'ancien modèle) a étudié avec un manuel massif (400 millions d'exemples). L'étudiant B (HypCBM) a étudié avec un livre beaucoup plus petit (20 millions d'exemples). Habituellement, l'étudiant A gagne. Mais parce que la méthode d'étude de l'étudiant B (la forme de l'entonnoir) est bien meilleure pour organiser l'information, l'étudiant B a en réalité battu l'étudiant A, même avec 20 fois moins de données.
Il fait moins d'erreurs logiques :
Si vous dites à l'ancien modèle : « Ce n'est pas un chien », il pourrait quand même dire : « Mais c'est un Golden Retriever ! » (une contradiction logique). Le nouveau modèle comprend la hiérarchie. Si vous dites « Pas un chien », il sait automatiquement qu'il ne peut pas être un Golden Retriever non plus. Il maintient ses explications cohérentes.
Il est plus robuste :
Si vous prenez une photo et ajoutez du bruit statique ou la floutez (comme une mauvaise connexion internet), l'ancien modèle se confond et change d'avis sur les concepts présents. Le nouveau modèle reste stable. C'est comme regarder un arbre dans le vent ; les feuilles (les détails spécifiques) peuvent trembler, mais le tronc (la structure principale) reste solide.

Le super-pouvoir de « l'humain dans la boucle »

La meilleure partie est la facilité avec laquelle on peut corriger les erreurs de l'ordinateur.
Si l'ordinateur pense qu'une photo d'un vestiaire est une salle serveurs (car les deux contiennent « du matériel électrique »), vous pouvez simplement dire à l'ordinateur : « Non, ce n'est pas du matériel électrique ».

Ancien modèle : Vous devez vérifier manuellement chaque case liée à « salle serveurs » pour la corriger.
Nouveau modèle : Vous éteignez simplement « matériel électrique ». Grâce à la forme de l'entonnoir, l'ordinateur éteint automatiquement « salle serveurs », « disjoncteur » et « équipement technique » pour vous. Il corrige toute la branche de l'arbre en un seul clic.

Résumé

L'article affirme qu'en passant d'une liste plate et désordonnée d'idées à une forme structurée, arborescente (espace hyperbolique), nous pouvons créer des modèles d'IA qui :

Comprennent comment les concepts sont liés les uns aux autres (parents et enfants).
Apprennent plus vite et avec moins de données.
Font moins d'erreurs logiques.
Sont plus faciles à corriger par les humains lorsqu'ils se trompent.

Les auteurs appellent cela HypCBM, et ils montrent que cela fonctionne mieux que les méthodes précédentes, même lorsque ces méthodes ont été entraînées sur des quantités de données beaucoup plus importantes.

Résumé Technique : Modèles de Goulot d'Étranglement de Concepts Hyperboliques (HypCBM)

1. Énoncé du Problème

Les Modèles de Goulot d'Étranglement de Concepts (CBM) sont devenus une approche de premier plan pour l'apprentissage automatique interprétable, contraignant les modèles à prédire des concepts compréhensibles par l'humain avant de prendre une décision finale. Cette architecture permet la transparence et autorise des interventions humaines dans la boucle pour corriger des prédictions erronées. Cependant, les CBM existants reposent sur un défaut fondamental de représentation : ils incorporent les concepts dans un espace euclidien plat, les traitant comme des dimensions indépendantes et orthogonales.

En réalité, les concepts sont hautement structurés et organisés en hiérarchies sémantiques (par exemple, « Chien » est un sous-ensemble de « Animal »). La géométrie euclidienne peine à représenter ces relations arborescentes sans forcer les concepts parents et enfants à se chevaucher ou à se déformer dans des régions, entraînant des incohérences logiques (par exemple, prédire « Chien » sans « Animal ») et des interventions inefficaces. De plus, les méthodes actuelles qui tentent d'imposer une structure nécessitent souvent un entraînement supervisé supplémentaire ou des modules appris, s'écartant du paradigme souhaitable « a posteriori » où le modèle est interprétable sans réentraîner le modèle de base.

2. Méthodologie

Les auteurs proposent les Modèles de Goulot d'Étranglement de Concepts Hyperboliques (HypCBM), un cadre a posteriori qui ancre le goulot d'étranglement de concepts dans la géométrie hyperbolique pour accommoder naturellement les hiérarchies sémantiques.

2.1 Fondement Géométrique

HypCBM utilise le modèle de Lorentz de l'espace hyperbolique, une variété riemannienne à courbure négative constante. Contrairement à l'espace euclidien, l'espace hyperbolique présente une croissance exponentielle du volume, ce qui en fait le domaine naturel pour l'apprentissage de représentations hiérarchiques. Le cadre exploite des Modèles Vision-Langage (VLM) hyperboliques pré-entraînés, spécifiquement HyCoCLIP, qui aligne les plongements d'images et de textes dans cet espace en utilisant des objectifs de cônes d'implication.

2.2 Génération et Filtrage des Concepts

Suivant un paradigme sans étiquette et a posteriori, HypCBM génère un ensemble de concepts candidats à l'aide d'un Grand Modèle de Langage (LLM) sollicité avec les étiquettes de classes du jeu de données. Ces descriptions textuelles sont encodées dans la variété hyperbolique en utilisant l'encodeur de texte figé du VLM.

Filtrage basé sur la norme : Pour éliminer les concepts trop génériques (par exemple, « objet ») qui manquent de pouvoir discriminant, le cadre filtre les concepts en fonction de leur distance par rapport à l'origine dans l'espace hyperbolique. Les concepts à faible norme (près de l'origine) représentent des catégories larges et génériques et sont élagués, car ils ont tendance à s'activer de manière indiscriminée.

2.3 Activation d'Implication Hyperbolique

L'innovation centrale est la reformulation de l'activation des concepts, passant d'une métrique de distance symétrique (comme la similarité cosinus) à un problème de containment géométrique asymétrique.

Cônes d'Implication : Chaque concept $c_i$ est associé à un cône d'implication défini par un demi-angle d'ouverture $\omega(c_i)$ , inversement proportionnel à la norme spatiale du concept (les concepts spécifiques ont des cônes plus étroits).
Mécanisme d'Activation : Un plongement d'image $z$ active un concept s'il tombe géométriquement à l'intérieur du cône d'implication de ce concept. La valeur d'activation $a_i$ est calculée comme la « marge d'inclusion » — le degré auquel le plongement d'image est contenu dans le cône, normalisé par l'ouverture du cône.
Résultat : Cela produit un vecteur d'activation épars et non négatif qui est hiérarchiquement cohérent par construction. Si une image implique un concept enfant spécifique, elle implique géométriquement le concept parent.

2.4 Interventions Fidèles aux Hiérarchies

Une limitation critique des CBM euclidiens est que l'intervention sur un concept parent (par exemple, définir « Animal » à 0) ne désactive pas automatiquement les concepts enfants (par exemple, « Chien »), conduisant à des paradoxes logiques. HypCBM résout cela grâce à une mise à l'échelle adaptative :

En raison de la croissance exponentielle du volume de l'espace hyperbolique, un seuil fixe pour l'implication est insuffisant à différentes profondeurs de hiérarchie.
Les auteurs dérivent une loi de mise à l'échelle adaptative pour le paramètre de rigueur d'implication $\eta_{text}$ , qui évolue linéairement avec la norme du concept parent.
Lorsqu'un utilisateur supprime un concept parent, le cadre propage automatiquement cette suppression à tous les descendants géométriques satisfaisant la condition d'implication adaptative, assurant des corrections cohérentes dans tout l'arbre de concepts.

3. Contributions Clés

Activation d'Implication Hyperbolique : Un mécanisme qui mappe les représentations d'images vers des activations de concepts éparse et conscientes de la hiérarchie via le containment dans des cônes d'implication, éliminant le besoin de métriques de distance symétriques.
Loi de Mise à l'Échelle Adaptative : Une stratégie novatrice pour les interventions hiérarchiques qui propage les corrections de l'utilisateur de manière cohérente à travers l'arbre de concepts en adaptant la rigueur à la spécificité géométrique des concepts parents.
Goulot d'Étranglement Structuré A Posteriori : HypCBM est le premier cadre à réaliser un goulot d'étranglement structuré entièrement a posteriori sans modules appris ni supervision supplémentaire, reposant uniquement sur les propriétés géométriques des VLM hyperboliques pré-entraînés.

4. Résultats Expérimentaux

Les auteurs ont évalué HypCBM sur CIFAR-100, SUN397 et ImageNet, en le comparant à des bases de référence euclidiennes (LF-CBM) et à des modèles entraînés sur significativement plus de données.

Précision et Efficacité des Données : HypCBM surpasse constamment les modèles a posteriori euclidiens. Notamment, il rivalise avec des modèles euclidiens entraînés sur 20 fois plus de données dans des régimes épars (faibles budgets de concepts). Par exemple, sur ImageNet avec un budget de 10 concepts, HypCBM double plus que la précision de base (34,6 % contre 15,3 %).
Cohérence Hiérarchique : HypCBM démontre une cohérence logique nettement supérieure. Dans des régimes de budget stricts, il réalise plus de 100 % d'amélioration relative en cohérence par rapport aux bases de référence euclidiennes, garantissant que l'activation d'un concept enfant implique l'activation de son parent.
Réactivité aux Interventions : Dans des simulations d'humain dans la boucle, HypCBM montre un déclin de confiance plus abrupt lors de la correction d'erreurs, inversant avec succès les prédictions incorrectes vers la classe correcte pour 19 % d'échantillons supplémentaires par rapport à la base de référence euclidienne.
Robustesse : HypCBM présente une robustesse supérieure aux corruptions d'entrée (bruit, flou, météo). Il maintient une « stabilité des concepts » significativement plus élevée (cohérence sémantique des explications) sous perturbation par rapport aux modèles euclidiens, qui subissent une dégradation rapide de la qualité des explications.

5. Importance et Revendications

L'article revendique que les priors structurels sur l'espace de représentation peuvent servir de puissant substitut à l'échelle dans des régimes épars et interprétables. En incorporant les concepts dans une variété qui reflète leurs relations hiérarchiques, HypCBM produit des explications plus précises, robustes et logiquement cohérentes sans nécessiter d'entraînement supplémentaire ni de supervision.

Les auteurs soulignent que l'interprétabilité n'est pas simplement une propriété des sorties du modèle, mais est fondamentalement façonnée par la géométrie de l'espace de représentation. HypCBM démontre que l'exploitation de la croissance exponentielle naturelle du volume de l'espace hyperbolique permet un désenchevêtrement efficace de l'information sémantique, permettant aux modèles d'atteindre de hautes performances et une interprétabilité avec moins de données que leurs équivalents euclidiens. Le cadre est présenté comme une voie zero-shot vers l'interprétabilité pour la nouvelle classe de modèles fondationnels hyperboliques.