🤖 machine learning

Concept Flow Models: Anchoring Concept-Based Reasoning with Hierarchical Bottlenecks

Cet article introduit les Concept Flow Models (CFMs), un cadre hiérarchique qui remplace les goulots d'étranglement de concepts plats par un arbre de décision différentiable afin d'atténuer la fuite d'informations et d'améliorer l'interprétabilité tout en maintenant des performances prédictives comparables aux modèles de goulot d'étranglement de concepts existants.

Auteurs originaux : Ya Wang, Adrian Paschke

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ya Wang, Adrian Paschke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : L'approche du « Tout déverser dans l'évier »

Imaginez que vous essayiez d'identifier la photo d'un chat.

Les modèles d'IA actuels qui tentent d'être « explicables » (appelés Modèles à Goulot d'Étranglement de Concepts ou CBM) fonctionnent comme un chef qui déverse tous les ingrédients du garde-manger sur le plan de travail avant de tenter de cuisiner un plat. Ils regardent l'image et demandent : « Est-ce qu'il y a des poils ? Est-ce qu'il y a une queue ? Est-ce un véhicule ? Est-ce qu'il y a une porte ? Est-ce un oiseau ? »

Ils vérifient tous ces concepts à la fois, peu importe s'ils sont pertinents ou non.

La faille : Parce que le modèle vérifie tout, il peut obtenir des réponses par « triche ». Il pourrait voir un chat et dire : « Ah, je vois une 'porte' et une 'peinture de carrosserie' (des concepts généralement destinés aux voitures), donc ce doit être un chat ! » Il a trouvé une connexion étrange et accidentelle entre les chats et les voitures dans ses données d'entraînement. C'est ce qu'on appelle la fuite d'information (Information Leakage). Le modèle donne la bonne réponse pour de mauvaises raisons, ce qui le rend peu fiable et difficile à faire confiance.

La solution : Le « Diagramme de flux du détective »

Les auteurs proposent un nouveau modèle appelé Concept Flow Models (CFM). Au lieu de tout déverser sur le plan de travail, les CFM utilisent un arbre de décision hiérarchique. Pensez à un détective résolvant une énigme ou à un médecin diagnostiquant un patient.

L'analogie : La salle d'interrogatoire du détective
Imaginez un détective essayant d'identifier un suspect. Il ne pose pas toutes les questions possibles en même temps. Il suit un chemin spécifique :

Étape 1 (La Racine) : « Est-ce une personne ou un véhicule ? »
- Réponse : Humain.
- Résultat : Le détective arrête immédiatement de poser des questions sur les « roues » ou les « portes ». Ces concepts sont verrouillés dans une autre pièce.
Étape 2 (La Branche) : « Cet humain est-il un adulte ou un enfant ? »
- Réponse : Adulte.
- Résultat : Le détective arrête de poser des questions sur les « sucettes » ou les « uniformes scolaires ».
Étape 3 (La Feuille) : « Cet adulte est-il un médecin, un pompier ou un propriétaire de chat ? »
- Réponse : Propriétaire de chat.

Pourquoi est-ce mieux :

Pas de triche : À la première étape, le modèle ne voit même pas le concept de « portières de voiture » parce qu'il a déjà décidé que le sujet est un humain. Il lui est physiquement impossible d'utiliser les « portières de voiture » pour deviner un « chat ».
Concentration : À chaque étape, le modèle ne regarde qu'une petite liste de indices pertinents (les concepts).
Traçabilité : Vous pouvez regarder le carnet de notes du détective et voir le chemin exact qu'il a suivi : Humain → Adulte → Propriétaire de chat. Vous savez exactement pourquoi il a pris sa décision.

Comment ils l'ont construit (La partie « Magique »)

Le papier explique comment ils ont construit cela sans avoir besoin que des humains écrivent manuellement chaque règle (ce qui est lent et coûteux).

La Carte (La Hiérarchie) : Ils ont utilisé une IA puissante (CLIP) pour observer toutes les images et les regrouper naturellement. L'IA a réalisé que les « Chiens » et les « Chats » sont plus proches l'un de l'autre qu'ils ne le sont des « Avions ». Elle a construit automatiquement un arbre généalogique des classes.
Les Indices (Les Concepts) : Ils ont utilisé une autre IA (un Grand Modèle de Langage ou LLM) pour générer des descriptions pour chaque groupe. Pour le groupe « Animal », elle pourrait suggérer « a des poils » ou « a des moustaches ». Pour le groupe « Véhicule », elle suggère « a des roues ».
L'Entraînement : Ils ont appris au modèle à descendre cet arbre. Si l'image est un chat, le modèle apprend à activer « moustaches » et « poils » à l'étape « Animal », puis « oreilles pointues » à l'étape « Chat ». Il apprend à ignorer complètement les « roues » car ce chemin est bloqué.

Les Résultats : Qu'ont-ils découvert ?

Les auteurs ont testé ce modèle sur de nombreux ensembles de données d'images différents (comme la reconnaissance d'oiseaux, de voitures et d'actions).

Précision : Le nouveau modèle (CFM) était tout aussi performant pour deviner la bonne réponse que les anciens modèles de type « tout déverser dans l'évier ».
Honnêteté : C'est la grande victoire. Lorsqu'ils ont testé les modèles avec des concepts aléatoires et absurdes (comme « ciel bleu » ou « pizza » lors de l'identification d'un oiseau), les anciens modèles obtenaient toujours des scores élevés car ils pouvaient tricher en utilisant des corrélations aléatoires. Le nouveau modèle (CFM) a échoué lamentablement avec les concepts absurdes. Cela prouve qu'il regarde réellement les vraies caractéristiques (comme les « plumes » ou les « becs ») et qu'il ne triche pas.
Efficacité : Le nouveau modèle utilise beaucoup moins de concepts pour prendre une décision. Au lieu de vérifier 500 choses, il n'en vérifie que 10 pertinentes le long de son chemin spécifique.

Résumé

Ce papier introduit une manière plus intelligente de rendre l'IA explicable. Au lieu de demander à l'IA de vérifier tous les faits possibles sur le monde en même temps (ce qui mène à la triche et à la confusion), ils la forcent à suivre un diagramme de flux étape par étape.

Ancienne méthode : Vérifier tout en même temps. Risque élevé de triche. Difficile à tracer.
Nouvelle méthode (CFM) : Vérifier uniquement ce qui est pertinent pour l'étape actuelle. Faible risque de triche. Facile à tracer.

C'est la différence entre un étudiant qui apprend par cœur tout le manuel et devine au hasard, et un étudiant qui utilise un diagramme de flux logique pour résoudre un problème étape par étape. Les deux peuvent trouver la bonne réponse, mais le second comprend réellement pourquoi.

Résumé Technique : Modèles de Flux de Concepts (Concept Flow Models - CFMs)

Énoncé du Problème

Les modèles à goulot d'étranglement conceptuel (Concept Bottleneck Models - CBMs) visent à améliorer l'interprétabilité des réseaux de neurones profonds en projetant les caractéristiques apprises dans un espace de concepts compréhensible par l'humain avant de prendre la décision finale. Bien que les récents CBMs post-hoc exploitent les modèles vision-langage (VLMs) pour éliminer le besoin d'annotation manuelle des concepts, ils souffrent d'une limitation critique connue sous le nom de fuite d'information (information leakage).

À mesure que le nombre d'embeddings de concepts approche la dimensionnalité de l'espace d'embedding des caractéristiques, le modèle peut exploiter des corrélations spécieuses ou sémantiquement non pertinentes pour atteindre une précision élevée. Dans ce scénario, le modèle peut s'appuyer sur des concepts aléatoires ou non pertinents pour la tâche (par exemple, « peinture de la carrosserie du véhicule » pour classifier des chats) plutôt que sur le contenu sémantique prévu. Cela compromet l'interprétabilité du modèle, car une précision élevée ne garantit plus que le raisonnement est ancré dans des concepts significatifs. Les stratégies de mitigation existantes, telles que l'imposition de la parcimonie via la régularisation ou la sélection de sets de concepts compacts, échouent souvent à passer à l'échelle avec la complexité de la tâche ou ne préviennent pas structurellement l'usage de concepts non pertinents.

Méthodologie : Modèles de Flux de Concepts (CFMs)

Les auteurs proposent les Modèles de Flux de Concepts (CFMs), une architecture hiérarchique qui remplace la couche de goulot d'étranglement plate des CBMs traditionnels par un arbre de décision hiérarchique piloté par les concepts. Ce changement structurel impose une « parcimonie structurelle », garantissant que chaque prédiction de classe repose uniquement sur un sous-ensemble localisé de concepts le long d'un chemin de décision spécifique.

Le cadre CFM fonctionne à travers trois phases principales :

Extraction de la Hiérarchie de l'Arbre et Annotation Sémantique :
- Le cadre utilise un VLM pré-entraîné (spécifiquement CLIP) pour générer des embeddings d'images au niveau de la classe.
- Un regroupement agglomératif (liaison de Ward) est appliqué à ces embeddings pour construire une hiérarchie d'arbres sémantiques.
- Les nœuds internes sont élagués en fonction des distances de fusion afin d'éviter des arbres trop profonds avec des nœuds faiblement séparés.
- Des modèles de langage de grande taille (LLMs) sont utilisés pour générer des étiquettes descriptives pour les nœuds internes basées sur les classes feuilles de leurs sous-arbres, créant ainsi une hiérarchie sémantique alignée sur l'humain.
Sélection et Distribution des Concepts :
- Les LLMs génèrent des concepts candidats pour chaque classe feuille, en incorporant des échantillons d'images et le contexte hiérarchique.
- Les concepts sont agrégés aux nœuds internes. Les concepts redondants et ceux contenant des noms de classes sont filtrés.
- Une régression logistique multi-classe avec régularisation Lasso est employée pour sélectionner les concepts les plus discriminants pour chaque nœud interne. Le nombre de concepts alloués à un nœud est déterminé par une stratégie hybride équilibrant le nombre d'enfants du nœud et un budget global de concepts.
Entraînement Différentiable du Flux de Concepts :
- Le modèle est entraîné de bout en bout. Chaque nœud interne $v$ est paramétré par une matrice de concepts $C_v$ (embeddings pré-sélectionnés) et une matrice de poids entraînables $W_v$ .
- Probabilités de Transition : Pour un embedding d'image $\tilde{z}$ , le modèle calcule les activations de concepts, les projette via $W_v$ , et applique un softmax pondéré par la température pour déterminer la probabilité de transition vers les nœuds enfants.
- Agrégation de Chemin : La probabilité d'atteindre un nœud feuille (classe finale) est le produit des probabilités de transition le long du chemin unique racine-feuille, calibré par un terme de biais apprenable.
- Objectif : Le modèle minimise la log-vraisemblance négative du chemin de la classe réelle.

Contributions Clés

Innovation Architecturale : L'introduction des CFMs, qui décompose la classification en une séquence de sous-problèmes localisés et pilotés par les concepts via un goulot d'étranglement hiérarchique. Cette conception isole structurellement les concepts non liés du chemin de décision de toute classe spécifique.
Analyse Théorique : Les auteurs fournissent des preuves théoriques démontrant que les goulots d'étranglement hiérarchiques créent une barrière plus élevée à la fuite d'information. Plus précisément, atteindre une séparabilité globale avec des concepts aléatoires dans un CFM nécessite un budget total de concepts proportionnel à $O(md) $(où$ m$ est le nombre de nœuds internes), alors qu'un CBM plat nécessite seulement $O(d)$ . Cela implique que les CFMs sont nettement plus résistants aux gains de précision provenant de concepts aléatoires et non pertinents pour la tâche.
Efficacité Sémantique : Le cadre démontre que les CFMs peuvent atteindre une précision comparable aux CBMs plats tout en utilisant un nombre nettement inférieur de Concepts Effectifs (NEC) par prédiction. Le nombre de concepts utilisés par prédiction est réduit de $O(R)$ dans les modèles plats à $O(\frac{R}{m} \log_b m)$ dans les CFMs.
Pipeline de Bout en Bout : Un pipeline complet est développé qui construit des hiérarchies de décision à partir d'embeddings visuels, sélectionne des concepts discriminants sans annotation manuelle, et entraîne le modèle avec un parcours d'arbre probabiliste.

Résultats Expérimentaux

Des expériences ont été menées sur cinq benchmarks : CIFAR-10, CIFAR-100, UCF-101, CUB-200 et TinyImageNet.

Résistance aux Concepts Aléatoires : Dans des scénarios utilisant des concepts aléatoires (non sémantiques), les CFMs ont montré une précision nettement inférieure aux CBMs plats à mesure que le budget de concepts augmentait. Par exemple, sur CIFAR-10, alors que la précision du CBM approchait celle de la ligne de base de la sonde linéaire avec 64 concepts aléatoires, la précision du CFM est restée nettement inférieure (75 % contre 90 %), confirmant la barrière structurelle contre la fuite d'information.
Performance avec des Concepts Sémantiques : Lorsqu'ils utilisent des concepts sémantiques curatés, les CFMs égalent ou dépassent la précision des CBMs plats de pointe (PCBM et Labo) tout en utilisant beaucoup moins de concepts effectifs.
- Sur CIFAR-10, le CFM a atteint 91,59 % de précision avec seulement 6,9 concepts effectifs, contre environ 57 pour PCBM et Labo.
- Sur TinyImageNet, le CFM a atteint 70,79 % de précision avec 92 concepts effectifs, surpassant Labo (69,86 %) et égalant PCBM (71,07 %), qui en utilisait plus de 360.
Ratio d'Amélioration Sémantique (SIR) : Les CFMs ont présenté des scores SIR nettement plus élevés, indiquant une dépendance plus forte aux concepts sémantiques significatifs plutôt qu'aux corrélations spécieuses. Par exemple, sur CIFAR-10, le SIR du CFM était de 19,78 %, contre 1,94 % pour Labo.
Études d'Ablation : L'étude a confirmé que la hiérarchie induite par CLIP surpasse les hiérarchies aléatoires ou basées sur les poids. Elle a également souligné qu'élaguer l'arbre pour contrôler le nombre de nœuds internes est crucial pour équilibrer l'interprétabilité (chemins plus parcimonieux) et la précision (capacité de concept suffisante par nœud).

Signification et Revendications

L'article affirme que les CFMs offrent une direction prometteuse pour améliorer l'interprétabilité sans sacrifier la performance prédictive. En ancrant les décisions dans des structures hiérarchiques alignées sur l'humain, les CFMs fournissent des chemins de raisonnement traçables, étape par étape, qui sont auditables et transparents.

Les auteurs soulignent que leur approche traite le compromis fondamental des modèles basés sur les concepts : le risque qu'une précision élevée soit obtenue par une fuite d'information plutôt que par un ancrage sémantique. En limitant structurellement l'espace de concepts disponible pour chaque étape de décision, les CFMs forcent le modèle à s'appuyer sur des concepts pertinents et localisés. Cette isolation structurelle complète les techniques de régularisation existantes et offre un mécanisme robuste pour réduire la fuite d'information, particulièrement dans les tâches de classification complexes et fines. Ce travail suggère que les goulots d'étranglement hiérarchiques peuvent refléter les schémas de raisonnement cognitif humain, rendant les décisions du modèle plus alignées avec les attentes humaines dans les applications critiques pour la sécurité.

Limites Reconnues :
Les auteurs notent que l'interprétabilité reste dépendante de la qualité de l'alignement visuel-langage du VLM et de la génération de concepts par le LLM. Les problèmes tels que les concepts qui ne sont pas fidèlement ancrés dans des régions d'images spécifiques (hallucinations) persistent, particulièrement dans les domaines spécialisés. De plus, la dépendance à une hiérarchie d'arbres fixe suppose que les relations entre classes sont intrinsèquement hiérarchiques, ce qui peut ne pas être vrai pour toutes les tâches. Des travaux futurs sont suggérés pour explorer des structures adaptatives et un meilleur ancrage visuel.