Résumé technique : Sur la fidélité des modèles de goulot d'étranglement conceptuel post-hoc

Énoncé du problème

Les modèles de goulot d'étranglement conceptuel post-hoc (post-hoc CBM) visent à combler le fossé entre les représentations opaques de l'apprentissage profond et la compréhension humaine en projetant les caractéristiques latentes sur des espaces de concepts interprétables. Contrairement aux CBM standards, les variantes post-hoc ne nécessitent pas d'annotations de concepts denses pour la tâche cible ; elles s'appuient plutôt sur (1) des jeux de données de concepts auxiliaires (ex. : Broden) ou (2) des étiquettes de concepts de substitution générées par des modèles de vision-langage (VLM).

Le problème central abordé est que les pratiques d'évaluation actuelles reposent lourdement sur la précision de la tâche en aval pour juger du succès de ces modèles. Les auteurs soutiennent qu'une précision élevée est une métrique insuffisante pour la fidélité conceptuelle — le degré auquel la projection apprise $\pi_\theta$ extrait réellement les concepts sémantiques prévus. Des preuves empiriques suggèrent que des projections aléatoires, dépourvues de sens sémantique, peuvent atteindre une précision en aval compétitive en raison des propriétés de préservation de l'information (liées au lemme de Johnson-Lindenstrauss), masquant ainsi si le modèle raisonne réellement via des concepts ou s'il exploite simplement des artefacts prédictifs.

Méthodologie

Cadre théorique

Le document formalise la fidélité comme la minimisation du risque attendu sur la véritable distribution de la tâche $P_{task}(x, c)$, où la projection $\pi_\theta$ récupère les concepts réels $c$ à partir des activations $f(x)$. Les auteurs identifient deux sources primaires d'infidélité :

1. Décalage de covariable dans les jeux de données auxiliaires : Lorsque l'on entraîne $\pi_\theta$ sur un jeu de données auxiliaire $X_{aux}$ distinct de la tâche cible $X_{task}$, un décalage géométrique dans l'espace des caractéristiques peut invalider la projection. Les auteurs dérivent une borne supérieure sur l'erreur de généralisation cible basée sur la théorie de l'adaptation de domaine [8] :
   $$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$$
   Ils proposent d'utiliser la divergence empirique $\mathcal{H}\Delta\mathcal{H}$ (approximée via un discriminateur de domaine) comme une métrique pratique de fidélité, en supposant un décalage de covariable (où $P(c|x)$ reste constant mais $P(x)$ change).

2. Bruit d'étiquetage systématique dans la supervision de substitution : Lors de l'utilisation de VLM pour générer des étiquettes de substitution $\tilde{c}$, l'infidélité ne provient pas seulement de l'ampleur des erreurs, mais d'erreurs systématiques. En modélisant la projection comme un Modèle Linéaire Généralisé (GLM) multivarié, les auteurs montrent que le gradient de l'objectif réel au niveau de l'optimum de substitution est proportionnel au produit extérieur de l'erreur de substitution $\delta(x) = \tilde{c}(x) - c^*(x)$ et des activations du backbone $f(x)$.

   • Condition de fidélité : Le modèle reste fidèle si les erreurs de substitution sont soit précises ($\delta \approx 0$), soit orthogonales à l'espace d'activation en espérance ($\mathbb{E}[\delta(x) \otimes f(x)] = 0$).
   • Mode de défaillance : Les erreurs systématiques (par exemple, un VLM prédisant systématiquement « ciel » dès que des « nuages » sont présents) créent des composantes d'erreur non orthogonales, menant à des projections infidèles même si les étiquettes de substitution semblent précises en moyenne.

Métriques proposées

Pour découpler la fidélité de la précision prédictive, les auteurs introduisent :

• Divergence $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ : Un proxy pour l'erreur introduite par les décalages de covariable lors de l'utilisation de jeux de données auxiliaires.
• Orthogonalité de l'erreur de substitution : La corrélation de Pearson absolue $|\rho|$ entre les erreurs d'étiquettes de substitution et les activations du backbone. Une corrélation élevée indique un échec systématique.

Configuration expérimentale

Les auteurs valident leurs conclusions sur :

• Benchmarks du monde réel : CUB-200 (oiseaux) et CIFAR-10/100.
• Jeu de données synthétique : Elements [48], qui fournit des annotations de concepts de vérité terrain (forme, couleur, texture) pour mesurer directement l'alignement.
• Modèles : Diverses implémentations de CBM post-hoc, incluant PCBM (données auxiliaires), LFCBM (embeddings textuels de VLM) et VLG-CBM (détection d'objets ancrée).

Résultats clés

1. La précision est trompeuse : Les expériences confirment que des projections de concepts aléatoires peuvent atteindre une précision en aval comparable à celle de modèles entraînés sur des sources de concepts significatives (ex. : Broden, CLIP). À mesure que la dimension du goulot d'étranglement $K$ augmente, les projections aléatoires préservent suffisamment d'informations géométriques pour permettre au classificateur en aval de reconstruire les activations originales, rendant la précision peu fiable comme proxy d'alignement sémantique.
2. Impact du décalage de covariable : Les modèles entraînés sur des données auxiliaires hors distribution (ex. : motifs abstraits) présentent une fidélité conceptuelle nettement inférieure (mesurée par la similitude cosinus avec la vérité terrain) par rapport à un entraînement in-domain, malgré le maintien d'une précision élevée en aval. La métrique $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ proposée est fortement corrélée à cette chute de fidélité.
3. Bruit systématique vs Bruit aléatoire :
   • Bruit aléatoire : L'ajout de 25 % de bruit d'étiquette aléatoire aux données de vérité terrain produit des projections fidèles car les erreurs se compensent (l'orthogonalité est respectée).
   • Bruit systématique : Les VLM (CLIP, DINOv3, Grounding DINO) introduisent des erreurs systématiques corrélées à des caractéristiques spécifiques. Par exemple, Grounding DINO peine avec les formes géométriques sur fond blanc, créant des erreurs corrélées qui mènent à des projections infidèles. La métrique de corrélation proposée identifie avec succès ces défaillances là où les métriques de précision standard échouent.

Signification et affirmations

Le papier affirme fournir le premier cadre théorique et empirique rigoureux pour évaluer la fidélité des CBM post-hoc indépendamment de la performance prédictive.

• Contribution théorique : Il formalise les conditions sous lesquelles les projections aléatoires peuvent imiter le raisonnement sémantique (via le lemme de Johnson-Lindenstrauss sur les variétés) et dérive les conditions spécifiques (orthogonalité de l'erreur) sous lesquelles la supervision de substitution échoue.
• Contribution pratique : Il introduit de nouvelles métriques permettant aux praticiens de détecter les comportements infidèles — spécifiquement les décalages de covariable et les biais systématiques des VLM — qui sont invisibles pour une évaluation standard basée sur la précision.
• Implication : Les auteurs soutiennent que se fier uniquement à la précision en aval crée une « illusion » d'interprétabilité. La véritable interprétabilité nécessite une inspection directe de la projection conceptuelle $\pi_\theta$ pour s'assurer qu'elle s'aligne sur la sémantique humaine, nécessitant l'usage des métriques de fidélité proposées.

Le travail ne propose pas de nouveaux algorithmes d'entraînement, mais plutôt un cadre d'évaluation critique pour garantir que le « goulot d'étranglement » dans les modèles de goulot d'étranglement conceptuel est véritablement un goulot d'étranglement de concepts compréhensibles par l'humain, et non une représentation compressée de caractéristiques brutes.