Digging Deeper: Learning Multi-Level Concept Hierarchies

Cet article présente Multi-Level Concept Splitting (MLCS) et Deep-HiCEMs, deux approches capables de découvrir et de modéliser des hiérarchies de concepts multi-niveaux à partir d'une supervision de haut niveau, permettant ainsi des interventions interprétables à plusieurs niveaux d'abstraction tout en maintenant de hautes performances.

L'essentiel

Voici une explication de ce papier de recherche, imagée et simplifiée, pour comprendre comment les chercheurs de Cambridge et d'Oxford améliorent la façon dont les intelligences artificielles "pensent".

🧠 Le Problème : Une IA qui voit le monde en "liste plate"

Imaginez que vous apprenez à un enfant à reconnaître un pomme.

• Les anciennes méthodes lui disent : "C'est une pomme". Point.
• Le problème : Si l'enfant voit une pomme rouge, une pomme verte ou une pomme pourrie, il ne fait pas le lien. Pour l'IA, les concepts sont comme une liste de courses plate : "rouge", "vert", "fruit". Elle ne comprend pas que "pomme rouge" est une sous-catégorie de "pomme", qui est elle-même une sous-catégorie de "fruit".

Les chercheurs veulent que l'IA comprenne cette hiérarchie (comme un arbre généalogique), mais pour cela, il faut normalement étiqueter des milliers d'exemples avec une précision chirurgicale (dire "c'est une pomme", "c'est une pomme rouge", "c'est une pomme verte"). C'est long, cher et fastidieux.

🚀 La Solution : "Creuser plus profond" (Digging Deeper)

Les auteurs proposent deux nouvelles inventions pour résoudre ce problème sans avoir besoin de tout étiqueter manuellement :

1. Le "Détective à plusieurs niveaux" (MLCS)

Imaginez que vous avez une boîte à outils magique (le modèle d'IA) qui a déjà appris à reconnaître les grandes catégories (ex: "Fruit", "Légume") grâce à quelques étiquettes simples.

• L'ancienne méthode (Concept Splitting) : La boîte à outils pouvait dire : "Ah, ce fruit est une pomme". Elle s'arrêtait là.
• La nouvelle méthode (MLCS) : C'est comme un détective qui ne s'arrête pas à la première réponse. Il creuse encore plus profond. Il dit : "Ce fruit est une pomme... et cette pomme est rouge". Et il va encore plus loin : "Et cette pomme rouge est toute petite".

Le système apprend tout seul à organiser les idées en niveaux (Grand père -> Père -> Fils) sans qu'on lui ait donné les étiquettes pour les petits détails. Il découvre la structure cachée du monde.

2. L'Arbre de Pensée Profond (Deep-HiCEM)

Une fois que le détective a trouvé ces niveaux, il faut construire une maison pour les loger. C'est le rôle de Deep-HiCEM.

• Imaginez un immeuble au lieu d'un studio.
• Au rez-de-chaussée, on a les grandes idées ("Fruit").
• Au premier étage, les sous-idées ("Pomme").
• Au deuxième étage, les détails fins ("Pomme rouge").

Ce modèle permet à l'IA de naviguer dans cet immeuble. Si vous lui dites : "Non, ce n'est pas une pomme, c'est une poire", l'IA sait immédiatement que tout l'étage "Pomme" doit être vidé, et elle réajuste sa réponse finale instantanément.

🛠️ À quoi ça sert ? (L'Intervention Humaine)

C'est là que ça devient magique. Grâce à cette structure en "étages", un humain peut intervenir en cours de route pour corriger l'IA.

• Scénario classique : L'IA se trompe et vous ne savez pas pourquoi.
• Scénario avec Deep-HiCEM : Vous voyez que l'IA pense que c'est une "pomme". Vous lui dites : "Attends, regarde bien, c'est une pomme verte".
• Résultat : L'IA met à jour sa compréhension à tous les niveaux (elle passe de "Fruit" -> "Pomme" -> "Pomme verte") et donne une meilleure réponse finale. C'est comme si vous guidiez l'IA pas à pas, comme un professeur qui corrige un élève en temps réel.

📊 Les Résultats (En bref)

Les chercheurs ont testé leur système sur plusieurs jeux de données (reconnaissance d'animaux, de chiffres, d'ingrédients de cuisine) :

1. Ils ont trouvé des détails cachés : Le système a réussi à découvrir des sous-catégories (comme "pomme rouge") qu'il n'avait jamais vues pendant l'entraînement.
2. Il reste intelligent : Même avec cette structure complexe, l'IA reste aussi précise que les modèles classiques pour ses tâches de base.
3. On peut la corriger : En intervenant sur les concepts découverts, on peut souvent améliorer la précision de l'IA, bien que parfois, si le détective se trompe sur un détail, cela puisse créer un petit bug (ce qui reste à améliorer).

💡 En résumé

Ce papier propose une façon de transformer l'IA d'un mémorisateur de listes plates en un organisateur de connaissances en arbre.

• Avant : "C'est un chien."
• Après : "C'est un animal -> un chien -> un Labrador -> un Labrador noir."

Et le plus beau, c'est qu'ils y arrivent en demandant très peu d'aide humaine au début, laissant à l'IA le plaisir de découvrir elle-même les détails fins du monde qui l'entoure. C'est un pas de géant vers des IA plus transparentes, plus compréhensibles et plus faciles à contrôler.

Résumé technique

Voici un résumé technique détaillé du papier "Digging Deeper: Learning Multi-Level Concept Hierarchies", présenté à l'atelier ICLR 2026 sur la conception de l'IA digne de confiance.

1. Problématique

Les modèles basés sur des concepts (Concept-Based Models - CBMs) visent à rendre les réseaux de neurones interprétables en expliquant les prédictions via des concepts humains (ex: "rouge", "grand"). Cependant, la majorité de ces approches souffrent de deux limitations majeures :

• Hypothèse d'indépendance : Elles traitent les concepts comme des entités plates et indépendantes, ignorant les relations hiérarchiques inhérentes à la cognition humaine et aux concepts du monde réel.
• Coût d'annotation : Elles nécessitent généralement des annotations exhaustives pour chaque concept, ce qui est coûteux et peu scalable.

Des travaux récents, comme les HiCEMs (Hierarchical Concept Embedding Models) et le Concept Splitting, ont tenté de résoudre ces problèmes en modélisant des relations parent-enfant et en découvrant des sous-concepts à partir d'annotations grossières. Toutefois, ces méthodes sont limitées à des hiérarchies superficielles (un seul niveau de sous-concepts), empêchant la capture de structures conceptuelles riches et profondes.

2. Méthodologie

Les auteurs proposent une approche en deux volets pour surmonter ces limites :

A. Multi-Level Concept Splitting (MLCS)

Cette méthode vise à découvrir des hiérarchies de concepts à plusieurs niveaux à partir d'une supervision uniquement au niveau supérieur (top-level).

• Architecture clé : MLCS remplace l'Autoencodeur Sparse (SAE) standard utilisé dans le Concept Splitting par un Hierarchical Sparse AutoEncoder (HiSAE).
• Fonctionnement du HiSAE :
  • Il apprend des caractéristiques éparses structurées à plusieurs niveaux simultanément.
  • Un encodeur de niveau supérieur identifie des candidats de sous-concepts (ex: "pomme").
  • Des sous-encodeurs, conditionnés par les latents actifs du niveau supérieur, identifient des raffinements plus fins (ex: "pomme rouge").
  • Le niveau inférieur est "gated" (contrôlé) par le niveau supérieur : les sous-latents ne contribuent que si leur parent est actif.
• Résultat : Cela permet de découvrir des sous-concepts et des sous-sous-concepts sans annotations supplémentaires, en partant d'un espace d'embedding pré-entraîné.

B. Deep-HiCEM (Deep Hierarchical Concept Embedding Models)

C'est une nouvelle architecture conçue pour représenter et exploiter les hiérarchies profondes découvertes par MLCS.

• Structure arborescente : Les concepts sont organisés en arbres où chaque nœud peut avoir des sous-concepts positifs (présents si le parent est présent) et négatifs (présents si le parent est absent).
• Modules de sous-concepts : Pour chaque concept de haut niveau, le modèle apprend des mélanges d'embeddings. Ces embeddings passent à travers des modules de sous-concepts (positifs et négatifs) qui intègrent l'information des descendants (sous-concepts et sous-sous-concepts).
• Interventions : L'architecture permet des interventions humaines à n'importe quel niveau de la hiérarchie. Si un expert corrige un sous-concept, l'impact se propage logiquement aux concepts parents et enfants.

3. Contributions Clés

1. MLCS : Introduction d'une méthode pour découvrir des hiérarchies de concepts multi-niveaux à partir de supervisions de haut niveau uniquement, en utilisant un HiSAE.
2. Deep-HiCEM : Proposition d'une architecture capable de modéliser des hiérarchies de concepts arbitrairement profondes et de permettre des interventions à n'importe quel niveau d'abstraction.
3. Validation Empirique : Démonstration que ces modèles découvrent des hiérarchies interprétables absentes lors de l'entraînement, maintiennent une haute précision de tâche et sont réceptifs aux interventions au moment du test.

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq jeux de données (MNIST-ADD, SHAPES, CUB, AwA2, et un jeu de données synthétique PseudoKitchens-2).

• Interprétabilité (RQ1) : Les concepts découverts par MLCS sont hautement interprétables par les humains. Les scores ROC-AUC moyens pour les concepts découverts sont élevés (ex: 0.94 sur MNIST-ADD, 0.79 sur PseudoKitchens-2), se rapprochant fortement des performances des HiCEMs standards, malgré la découverte de niveaux supplémentaires.
• Précision de Tâche (RQ2) : Les Deep-HiCEM atteignent des précisions de tâche compétitives par rapport aux HiCEMs standards et aux autres modèles de base (CBM, CEM, Black-box). La découverte de hiérarchies plus profondes n'entraîne aucune baisse significative de performance (moins de 1% de différence).
• Interventions (RQ3) :
  • L'intervention sur les concepts découverts peut améliorer la précision de la tâche (comme le montrent les figures 2 et 3).
  • Cependant, certaines interventions sur des concepts découverts peuvent parfois réduire la précision, ce qui suggère des biais ou des imprécisions dans l'étiquetage automatique de certains concepts découverts.
  • Les interventions sur les concepts fournis (top-level) fonctionnent aussi bien dans Deep-HiCEM que dans HiCEM.

5. Signification et Conclusion

Ce travail représente une avancée significative vers une interprétabilité basée sur les concepts plus expressive. En passant de hiérarchies plates ou à un seul niveau à des structures profondes, les auteurs permettent aux modèles de mieux refléter la complexité de la cognition humaine et des relations sémantiques réelles.

• Impact : La capacité à découvrir des structures hiérarchiques sans annotations coûteuses ouvre la voie à des modèles plus robustes et plus faciles à déboguer.
• Limites et Futur : Les auteurs notent que les interventions sur les concepts découverts ne sont pas toujours bénéfiques (parfois néfastes), ce qui nécessite une étude plus approfondie. De plus, la garantie que les SAE découvrent des concepts significatifs reste un défi. Le travail futur visera à passer à l'échelle sur des jeux de données plus complexes et à explorer des hiérarchies encore plus profondes.

En résumé, cette recherche démontre qu'il est possible d'aller "plus profond" dans la structure conceptuelle des modèles d'IA, offrant ainsi un contrôle plus fin et une compréhension plus nuancée des décisions algorithmiques.