Who Guards the Guardians? The Challenges of Evaluating Identifiability of Learned Representations

Cet article démontre que les métriques standards d'évaluabilité des représentations apprises reposent sur des hypothèses implicites concernant le processus de génération de données et la géométrie de l'encodeur, dont la violation fausse les résultats, et propose une taxonomie ainsi qu'une suite d'évaluation pour mieux caractériser et tester la validité de ces métriques.

L'essentiel

🕵️‍♂️ Le Problème : Qui vérifie les vérificateurs ?

Imaginez que vous êtes un chef d'orchestre (l'ordinateur) qui apprend à jouer une symphonie complexe (les données du monde réel). Votre but est d'apprendre à séparer les instruments : les violons, les cuivres, les percussions. En intelligence artificielle, on appelle cela "l'apprentissage de représentations identifiables". L'idée est que l'IA doit réussir à isoler chaque "facteur" caché (comme la température, la vitesse, la couleur) pour mieux comprendre le monde.

Mais comment savez-vous si l'IA a bien fait son travail ?
Actuellement, les chercheurs utilisent des métriques (des notes sur 100, comme le MCC, le $R^2$ ou le DCI) pour donner une note à l'IA. Si la note est haute, on dit : "Bravo, l'IA a bien compris !"

Le problème ? Cet article dit : "Attendez une minute ! Qui vérifie les notes que donnent ces métriques ?"
Les auteurs montrent que ces "examinateurs" (les métriques) sont souvent très mauvais. Ils peuvent donner un 10/10 à un élève qui a triché, ou un 0/10 à un élève qui a pourtant tout compris, simplement parce que les règles du jeu (les hypothèses) ne correspondaient pas à la réalité.

---

🧪 Les 4 Pièges Principaux (Les "Trucs" des Examinateurs)

Les auteurs ont créé un laboratoire de tests pour voir comment ces métriques réagissent. Voici les quatre situations où elles échouent, expliquées avec des analogies :

1. Le Piège de la Corrélation (La "Fausse Amie")

• La situation : Imaginez que vous essayez d'enseigner à un robot à distinguer la température et l'humidité. Mais dans votre maison, il fait toujours chaud quand il est humide (elles sont corrélées).
• Ce qui se passe : La métrique MCC (l'examinateur le plus populaire) pense que le robot a tout compris. En réalité, le robot a juste appris que "Chaud = Humide". Il n'a pas séparé les deux concepts, mais comme ils bougent ensemble, la métrique lui donne un 10/10.
• La leçon : Parfois, une haute note ne signifie pas que l'IA a compris, mais juste qu'elle a remarqué une coïncidence.

2. Le Piège de la Redondance (Le "Copier-Coller")

• La situation : Imaginez que vous avez un code secret composé de 10 chiffres. Mais en réalité, le 10ème chiffre est juste la somme des 9 premiers. Il est inutile (redondant).
• Ce qui se passe : Si l'IA oublie le 10ème chiffre (parce qu'il est inutile), elle a en fait fait un travail parfait (elle a gardé l'information essentielle). Mais certaines métriques (DCI) vont dire : "Oups ! Tu as oublié un chiffre, c'est un échec !" Elles ne comprennent pas que ce chiffre était une copie inutile.
• La leçon : Omettre une information inutile ne devrait pas être puni, mais les métriques actuelles le font souvent.

3. Le Piège de l'Excès de Dimensions (Le "Trop de Trous")

• La situation : Vous avez 5 facteurs à trouver, mais vous donnez à l'IA 50 cases pour les noter (c'est ce qu'on appelle un modèle "surcomplet"). C'est comme essayer de ranger 5 livres dans une bibliothèque de 50 étagères.
• Ce qui se passe : Si les livres sont éparpillés sur plusieurs étagères (l'information est "distribuée"), certaines métriques (MCC) disent : "C'est nul, je ne trouve pas le livre sur l'étagère 1 !" alors qu'il est juste caché sur l'étagère 2 et 3. D'autres métriques (DCI) disent : "C'est génial !" alors que l'IA a mélangé les livres de manière illisible.
• La leçon : Quand il y a trop de cases vides, les métriques se trompent sur la qualité du rangement.

4. Le Piège du Hasard (La "Loterie")

• La situation : Vous avez très peu de données (peu d'élèves) mais un test très long (beaucoup de questions).
• Ce qui se passe : Si vous donnez un test à un élève qui ne sait rien et qui répond au hasard, mais que le test est très long par rapport au nombre d'élèves, il y a de fortes chances qu'il ait de la chance et tombe sur les bonnes réponses par pur hasard.
• La leçon : Les métriques MCC donnent souvent de bonnes notes à des IA qui ne savent rien, simplement parce qu'il y a trop de questions par rapport au nombre d'exemples. C'est comme si un élève trichait en devinant les réponses.

---

🛠️ La Solution : Un Nouveau Guide pour les Praticiens

Les auteurs ne disent pas juste "c'est nul". Ils proposent une boîte à outils pour savoir quel examen utiliser selon la situation :

1. Vérifiez le contexte : Avant de regarder la note, demandez-vous : "Mes données sont-elles corrélées ?" "Ai-je trop de variables ?" "Ai-je assez de données ?"
2. Choisissez le bon examinateur :
   • Si vos données sont corrélées, évitez le MCC, préférez le $R^2$.
   • Si vous avez peu de données, méfiez-vous de tout ce qui donne des notes trop hautes.
   • Si vous avez beaucoup de variables inutiles, aucune métrique actuelle n'est parfaite, il faut en utiliser plusieurs.
3. Le test de la "Nullité" : Avant de faire confiance à une note, demandez à l'IA de deviner au hasard. Si elle obtient une bonne note au hasard, c'est que le test est cassé !

🎯 En Résumé

Cet article est un appel à la prudence. Dans le monde de l'IA, nous sommes souvent trop confiants dans nos notes de performance. Les auteurs nous disent : "Ne faites pas confiance aveuglément aux métriques. Elles ont des angles morts. Comprenez d'abord comment elles fonctionnent, sinon vous risquez de croire que votre IA est un génie alors qu'elle ne fait que deviner ou tricher."

C'est un peu comme si un professeur donnait un 20/20 à un élève parce qu'il a répondu "Oui" à toutes les questions, sans vérifier si les questions portaient sur le bon sujet. Il faut réformer l'évaluation pour qu'elle soit vraiment juste.

Résumé technique

1. Problématique

L'apprentissage de représentations identifiables vise à récupérer les facteurs de génération sous-jacents (ground-truth) à partir de données observées, à une classe d'équivalence près (par exemple, permutation et mise à l'échelle). Bien que des garanties théoriques d'identifiabilité existent pour divers modèles (avec informations auxiliaires, structure temporelle, parcimonie des mécanismes, etc.), leur validation empirique repose presque exclusivement sur des métriques standard (MCC, $R^2$, DCI) appliquées sur des benchmarks synthétiques.

Le problème central identifié par les auteurs est que ces métriques sont souvent mal spécifiées (misspecified). Elles font des hypothèses structurelles implicites sur la distribution des facteurs latents (DGP) et la géométrie de l'encodeur, qui ne sont pas toujours vérifiées dans les scénarios réels. Lorsque ces hypothèses sont violées, les métriques produisent systématiquement des faux positifs (attribuer un bon score à une représentation non identifiable) ou des faux négatifs (sous-estimer une bonne représentation), rendant l'évaluation peu fiable. La question fondamentale est : "Qui garde les gardiens ?" (c'est-à-dire, comment valider les outils de validation eux-mêmes ?).

2. Méthodologie

Les auteurs proposent une approche rigoureuse pour isoler les défaillances des métriques des artefacts d'optimisation (comme la convergence du modèle).

• Encodage Synthétique Contrôlé : Au lieu d'entraîner des réseaux de neurones, ils construisent des encodeurs déterministes (transformations mathématiques) appliqués à des facteurs de vérité terrain connus. Cela permet d'isoler le comportement intrinsèque de la métrique.
• Taxonomie à Deux Axes : Ils classifient les scénarios d'évaluation selon deux axes orthogonaux :
  1. Structure des Facteurs Latents (DGP) :
     • Indépendance ($D_\perp$).
     • Corrélation statistique ($D_\rho$).
     • Contraintes fonctionnelles déterministes réduisant la dimension effective ($D_f$ pour une contrainte à un facteur, $D_F$ pour des contraintes multi-facteurs).
  2. Géométrie de l'Encodeur :
     • Classe d'équivalence (linéaire élémentaire, non-linéaire, entrelacée linéairement).
     • Ratio de dimensionnalité ($m/d$) : sous-complet ($m < d$), complet ($m=d$), ou sur-complet ($m > d$).
     • Distribution de l'information (codage distribué vs codage localisé).
• Analyse Théorique et Empirique : Ils dérivent des expressions analytiques fermées pour le comportement attendu des métriques (notamment MCC) sous différentes conditions et valident ces prédictions via des expériences systématiques sur une large gamme de paramètres (taille d'échantillon $n$, dimensions $m, d$, corrélations $\rho$).

3. Contributions Clés

1. Taxonomie des Failles : Une classification formelle séparant les hypothèses sur la distribution des données de celles sur la géométrie de l'encodeur, permettant de définir les domaines de validité de chaque métrique.
2. Quatre Propriétés de Fiabilité : Définition de critères que toute métrique d'identifiabilité devrait respecter :
   • P1 : Invariance à la corrélation latente.
   • P2 : Fidélité à la dimension effective (distinguer la compression sans perte de l'omission d'information).
   • P3 : Invariance à la sur-paramétrisation (overcompleteness).
   • P4 : Insensibilité aux encodeurs non-informatifs (taux de faux positifs).
3. Analyse des Métriques Courantes :
   • MCC (Mean Correlation Coefficient) : Conflue la corrélation avec l'identifiabilité. Sous des facteurs corrélés ou avec un encodeur entrelacé, il surestime l'identifiabilité (faux positifs). De plus, son score de base sur un encodeur aléatoire augmente avec le ratio $m/n$ (faux positifs systématiques).
   • DCI-D (Disentanglement) : Très sensible à l'entrelacement linéaire et aux contraintes fonctionnelles. Il pénalise injustement les encodeurs qui préservent l'information mais la distribuent, et ne détecte pas la redondance multi-facteurs.
   • $R^2$ : Plus robuste, mais échoue à distinguer la compression sans perte de l'omission d'information dans certains cas de redondance complexe.
4. Outils de Validation : Publication d'une suite d'évaluation pour tester systématiquement les métriques et un "checklist" pour les praticiens.

4. Résultats Principaux

• Aucune métrique n'est universelle : Chaque métrique échoue sous au moins un scénario d'évaluation courant (voir Figure 1 de l'article).
• Le piège de la Corrélation ($D_\rho$) : Le MCC approche 1 (score parfait) même lorsque l'encodeur reste fortement entrelacé, si les facteurs latents sont fortement corrélés. Cela rend le MCC inutilisable pour comparer des modèles entraînés sur des données corrélées.
• Le problème de la Dimension Effective ($D_f, D_F$) : Les métriques basées sur la régression ($R^2$, DCI) peuvent pénaliser un encodeur qui a correctement compressé l'information (en omettant un facteur redondant déterministe), le traitant à tort comme une perte d'information. Aucune métrique actuelle ne détecte correctement la redondance multi-facteurs ($D_F$).
• Le danger de la Sur-paramétrisation ($m > d$) : Dans les contextes d'interprétabilité mécanistique (ex: Sparse Autoencoders), où $m \gg d$, les métriques comme DCI-D peuvent attribuer des scores élevés à des représentations entrelacées simplement parce que le nombre de codes est élevé.
• Le plancher des Faux Positifs ($m/n$) : Pour les métriques basées sur la corrélation (MCC), le score attendu sur un encodeur aléatoire (sans information) ne tend pas vers 0, mais vers $\sqrt{2 \log(m/n)}$. Si le ratio $m/n$ dépasse 0.1 (fréquent dans les LLMs), le MCC indique une "identifiabilité" même pour du bruit pur.

5. Signification et Implications

Ce travail remet en cause la pratique actuelle de l'évaluation de l'identifiabilité en apprentissage automatique. Il démontre que les scores élevés ne garantissent pas l'identifiabilité si les conditions structurelles (indépendance, dimensionnalité, absence de redondance) ne sont pas vérifiées.

• Pour la recherche : Il est impératif de ne plus se fier à une seule métrique. Les auteurs recommandent d'utiliser plusieurs métriques complémentaires et de toujours inclure des baselines avec des encodeurs aléatoires (null encoders).
• Pour l'interprétabilité mécanistique : Les résultats sont critiques pour l'analyse des modèles pré-entraînés (LLMs) où les représentations sont sur-complètes et les échantillons limités. Les métriques actuelles peuvent faussement valider des features interprétables qui sont en réalité des artefacts statistiques.
• Guide pratique : L'article fournit une "checklist" pour les praticiens : vérifier le ratio $m/n$, connaître la nature des dépendances des facteurs (indépendants vs corrélés vs redondants), et choisir la métrique en conséquence (ex: privilégier $R^2$ pour les facteurs corrélés, éviter MCC si $m/n$ est élevé).

En résumé, l'article établit que les "gardiens" (les métriques) ont besoin d'être surveillés eux-mêmes, car leur fiabilité est conditionnelle à des hypothèses souvent ignorées dans la pratique.