Intrinsic Concept Extraction Based on Compositional Interpretability

Cet article présente HyperExpress, une méthode innovante qui exploite l'espace hyperbolique et les modèles de diffusion pour extraire des concepts intrinsèques composables et interprétables à partir d'une seule image, permettant ainsi de reconstruire l'objet original grâce à la combinaison de ses concepts d'objets et d'attributs.

L'essentiel

🎨 Le Problème : La Boîte à Jouets Cassée

Imaginez que vous avez une boîte à jouets magique (une intelligence artificielle) capable de dessiner n'importe quoi. Mais il y a un problème : quand vous lui demandez de dessiner un "robot en or", elle ne comprend pas vraiment ce que sont "robot", "or" ou même "métal" séparément. Elle voit juste une grande tache floue de "robot-or".

Les anciennes méthodes essayaient de décomposer l'image, mais elles faisaient deux erreurs :

1. Elles ne trouvaient que le "robot" (l'objet), mais pas la couleur ou la matière.
2. Même si elles trouvaient les pièces, elles ne savaient pas comment les remonter proprement. C'était comme essayer de reconstruire une voiture avec des pièces qui ne s'emboîtent pas : ça donne un monstre bizarre.

💡 La Solution : HyperExpress (Le Chef d'Orchestre)

Les chercheurs ont créé une nouvelle méthode appelée HyperExpress. Son but est de transformer l'image en un ensemble de pièces détachées (concepts) que l'on peut comprendre, séparer et recombiner à volonté.

Pour y arriver, ils utilisent deux outils magiques, comme dans un atelier de menuiserie très sophistiqué.

1. L'Atelier de Tri (L'Espace Hyperbolique) 🌌

Imaginez que les concepts (les mots comme "chat", "rouge", "velours") sont des objets dans une pièce.

• L'ancienne façon (Espace Euclidien) : C'est comme une pièce carrée et plate. Si vous mettez trop d'objets dedans, ils se bousculent et on ne sait plus qui est proche de qui. C'est difficile de dire que "rouge" est une propriété de "pomme".
• La nouvelle façon (Espace Hyperbolique) : Imaginez une pièce qui ressemble à un entonnoir infini ou à un champignon géant. Au centre, c'est petit (les concepts généraux), et plus on va vers les bords, plus l'espace s'agrandit énormément.
  • Dans cet espace, on peut ranger "l'objet" (le robot) au centre et ses "attributs" (or, métal) sur les bords, tout en gardant un lien invisible fort entre eux. C'est comme si le "robot" tenait la main de "l'or" dans cet espace spécial. Cela permet de bien distinguer ce qui est l'objet de ce qui est sa couleur ou sa matière.

2. Le Plan de Montage (La Projection Horosphère) 📐

Une fois que les pièces sont triées, il faut s'assurer qu'elles peuvent être remises ensemble.

• Le problème : Parfois, même si on a les pièces, elles ne s'assemblent pas bien. C'est comme si vous aviez un moteur et des roues, mais qu'ils ne pouvaient pas être vissés ensemble.
• La solution : Les chercheurs utilisent un "plan de montage" spécial (appelé Horosphere). Imaginez que vous prenez toutes vos pièces détachées et que vous les placez sur une table de travail parfaitement plate (même si l'atelier est courbe).
  • Sur cette table plate, on peut additionner les concepts : Robot + Or = Robot Doré.
  • Grâce à cette projection, l'IA apprend que si on prend le concept "Robot" et qu'on y ajoute le concept "Or", on obtient exactement ce qu'on veut, sans créer de monstre bizarre.

🚀 Ce que ça change pour nous (Les Résultats)

Grâce à HyperExpress, l'IA devient comme un chef cuisinier qui connaît parfaitement ses ingrédients :

1. Elle comprend la recette : Elle sait que "Robot" est l'ingrédient principal, et "Or" est l'assaisonnement.
2. Elle peut mixer : Si vous lui demandez un "Robot en plastique", elle peut prendre le concept "Robot" et le combiner avec "Plastique" pour créer une nouvelle image, car elle a appris à combiner les pièces correctement.
3. C'est transparent : On peut voir exactement pourquoi l'IA a dessiné ce qu'elle a dessiné. On ne devine plus, on comprend.

En Résumé

Imaginez que les anciennes méthodes étaient comme un magicien qui sortait un lapin d'un chapeau, mais personne ne savait comment le lapin était fait à l'intérieur.

HyperExpress, c'est comme démonter le lapin pièce par pièce (oreilles, pattes, fourrure) dans un atelier spécial, et apprendre à l'IA comment remonter n'importe quel lapin (ou robot, ou voiture) en assemblant ces pièces de manière logique.

C'est une avancée majeure pour rendre les intelligences artificielles plus intelligibles et plus contrôlables par les humains.

Résumé technique

1. Problématique et Contexte

L'extraction de concepts non supervisée vise à décomposer une image unique en concepts symboliques interprétables par l'humain (objets, attributs comme la couleur ou le matériau) sans utiliser de connaissances préalables étiquetées.

Bien que des méthodes existantes (comme Break-A-Scene, ConceptExpress, ou ICE) aient fait des progrès, elles souffrent de limitations majeures :

• Manque de compositionnalité : Les concepts extraits ne peuvent pas être facilement recombinés pour reconstruire l'image originale ou générer de nouvelles variations cohérentes.
• Absence de structure hiérarchique : Les méthodes actuelles peinent à distinguer clairement les concepts de niveau objet (ex: "robot") des concepts de niveau attribut (ex: "rouge", "métal") et à modéliser leurs relations d'implication.
• Espace d'embedding inadéquat : L'utilisation d'espaces euclidiens ne capture pas naturellement les structures hiérarchiques complexes, et l'absence de contraintes sur l'espace d'embedding empêche la compositionnalité (la capacité à additionner des vecteurs de concepts pour former un concept complexe).

L'article introduit une nouvelle tâche appelée CI-ICE (Compositional and Interpretable Intrinsic Concept Extraction), qui vise à extraire des concepts intrinsèques composable et interprétables à partir d'une seule image.

2. Méthodologie : HyperExpress

Pour résoudre les défis de la tâche CI-ICE, les auteurs proposent HyperExpress, une méthode exploitant les modèles de diffusion Text-to-Image (T2I) et la géométrie hyperbolique. La méthode se divise en deux volets principaux : l'apprentissage des concepts et l'optimisation des concepts.

A. Apprentissage des Concepts (Concept Learning)

Cette étape vise à désintriquer (disentangle) les concepts complexes en utilisant l'espace hyperbolique, qui possède une capacité naturelle de modélisation hiérarchique.

1. Module d'Apprentissage Contrastif Hyperbolique (HCL) :

   • Utilise un encodeur textuel CLIP projeté dans la boule de Poincaré via une application exponentielle.
   • Applique une perte triplet pour séparer spatialement les concepts de niveau objet des concepts de niveau attribut dans l'espace hyperbolique, exploitant la propriété selon laquelle les points plus éloignés dans cet espace représentent des différences plus grandes.

2. Module d'Apprentissage de l'Implication Hyperbolique (HEL) :

   • Modélise les relations d'implication (ex: un "robot" implique qu'il a une "couleur" et un "matériau").
   • Utilise le modèle de Lorentz pour calculer des cônes d'implication. Si un concept attribut tombe à l'intérieur du cône d'implication d'un concept objet, la relation est validée.
   • Une perte d'implication (entailment loss) est minimisée pour garantir que les attributs sont géométriquement liés à leurs objets parents.

B. Optimisation au niveau des Concepts (Concept-wise Optimization)

Cette étape assure que les concepts appris sont composables, c'est-à-dire que leur combinaison vectorielle peut reconstruire le concept original.

1. Module de Projection sur l'Horosphère (Horosphere Projection - HP) :
   • Les horosphères dans l'espace hyperbolique ont une courbure intrinsèque nulle, se comportant comme des plans euclidiens.
   • Le module projette les embeddings de concepts sur une sous-variété géodésique définie par des points idéaux (ancres).
   • Cela permet d'effectuer des opérations vectorielles natives (comme l'addition) tout en préservant les distances et les relations hiérarchiques établies lors de l'apprentissage.
   • Cela garantit que $R([V_{objet}] \cup [V_{attribut}]) \approx w_1 R([V_{objet}]) + w_2 R([V_{attribut}])$, satisfaisant ainsi la définition de la compositionnalité.

C. Fonction de Perte Globale

L'entraînement combine plusieurs termes :

• $L_{recon}$ : Perte de reconstruction de l'image via le modèle de diffusion.
• $L_{triplet}$ : Perte pour séparer objets et attributs.
• $L_{entail}$ : Perte pour modéliser les relations d'implication.
• $L_{attention}$ : Perte d'alignement (Wasserstein) entre les régions masquées et l'attention du modèle.

3. Contributions Clés

1. Nouvelle Tâche (CI-ICE) : Définition formelle de l'extraction de concepts intrinsèques qui doivent être à la fois interprétables et composable à partir d'une seule image.
2. Méthode HyperExpress : Une architecture innovante combinant l'apprentissage dans l'espace hyperbolique (pour la hiérarchie) et la projection sur l'horosphère (pour la compositionnalité).
3. Modélisation des Relations : Première approche à modéliser explicitement les relations d'implication entre objets et attributs dans un espace non-euclidien pour l'extraction de concepts.
4. Validation Expérimentale : Démonstration que la compositionnalité n'est pas incompatible avec la désintrication, contrairement aux méthodes précédentes.

4. Résultats Expérimentaux

Les auteurs ont évalué HyperExpress sur deux benchmarks : UCEBench et ICBench.

• Performance Quantitative :

  • Sur UCEBench, HyperExpress obtient les meilleures performances en termes de désintrication (ACC1 : 50,4% vs 35,0% pour le précédent meilleur, AutoConcept) et de précision top-3 (ACC3 : 73,6%).
  • Bien que la similarité de reconstruction globale (SIMC) soit légèrement inférieure à celle de ICE (78,6% vs 82,2%), cela s'explique par le fait que ICE sacrifie la compositionnalité pour la reconstruction brute.
  • Sur ICBench, HyperExpress surpasse ICE sur toutes les métriques de similarité sémantique (SIMT-T et SIMT-V) pour les objets, les matériaux et les couleurs.

• Résultats Qualitatifs :

  • Les reconstructions générées par la composition des concepts extraits par HyperExpress sont plus logiques et interprétables (ex: combiner "robot", "métal" et "or" pour former "un robot doré en métal").
  • Contrairement à ICE, dont les chemins de composition sont souvent incohérents, HyperExpress produit des combinaisons sémantiquement correctes grâce à la contrainte de l'espace d'embedding.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre l'extraction de concepts non supervisée et la génération contrôlée.

• Interprétabilité : En rendant les concepts composable, les utilisateurs peuvent mieux comprendre et contrôler le comportement des modèles de diffusion.
• Géométrie pour l'IA : L'article démontre l'efficacité supérieure de la géométrie hyperbolique pour capturer les structures hiérarchiques et relationnelles complexes dans les tâches de vision par ordinateur, là où l'espace euclidien échoue souvent.
• Fondation pour le Contrôle : La méthode ouvre la voie à des systèmes où les concepts visuels peuvent être manipulés de manière modulaire (ajout/suppression d'attributs) sans nécessiter de réentraînement massif ou de données étiquetées multiples.

En résumé, HyperExpress propose une solution robuste pour extraire des concepts visuels qui sont non seulement précis, mais aussi structurés et combinables, répondant ainsi au besoin croissant d'interprétabilité et de contrôle dans les modèles génératifs.