🤖 machine learning

Comparing Linear Probes with Mahalanobis Cosine Similarity

Ce document prouve théoriquement et valide empiriquement que la similitude cosinus de Mahalanobis par rapport à une sonde de référence hors distribution prédit linéairement l'AUROC hors distribution d'une sonde linéaire sous des hypothèses gaussiennes, offrant ainsi une alternative supérieure à la similitude cosinus standard pour comparer les sondes.

Auteurs originaux : Zhuofan Josh Ying, Peter Hase, Nikolaus Kriegeskorte

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhuofan Josh Ying, Peter Hase, Nikolaus Kriegeskorte

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Pourquoi certaines « sondes » fonctionnent-elles et d'autres non ?

Imaginez que vous avez une machine géante et complexe (comme un grand modèle de langage) qui pense dans un langage de nombres et de motifs que nous ne pouvons pas facilement voir. Les chercheurs utilisent des « sondes linéaires » pour jeter un coup d'œil à l'intérieur de cette machine. Considérez une sonde comme un faisceau de lampe torche. Vous projetez ce faisceau dans une direction spécifique pour voir si la machine est en train de « penser » à un concept précis, comme « Est-ce que cette phrase est vraie ? » ou « Est-ce que cette personne est de sexe masculin ? ».

Le problème est que ces lampes torche sont fragiles. Un faisceau qui fonctionne parfaitement dans une pièce (les données d'entraînement) peut s'éteindre dès que vous entrez dans une pièce légèrement différente (nouvelles données). Les chercheurs cherchent un moyen de prédire si une lampe torche fonctionnera dans une nouvelle pièce simplement en regardant comment elle a été construite.

L'ancienne méthode vs la nouvelle méthode

Pour comparer deux lampes torche (sondes), les chercheurs mesurent généralement l'angle entre elles en utilisant la similitude cosinus euclidienne.

L'analogie : Imaginez que vous comparez deux aiguilles de boussole. L'ancienne méthode regarde simplement l'angle entre les aiguilles, traitant chaque direction sur la carte comme étant d'égale importance.
Le défaut : C'est comme comparer des boussoles sur une carte où certaines directions sont « collantes » (difficiles à traverser) et d'autres sont « glissantes » (faciles à traverser). Si vous ignorez les parties collantes, votre comparaison est fausse.

Les auteurs proposent une nouvelle méthode appelée Similitude Cosinus de Mahalanobis (MCS).

L'analogie : C'est comme comparer des aiguilles de boussole en portant des lunettes spéciales qui tiennent compte de la « collantité » du terrain. Elle sait que certaines directions dans les données sont plus importantes (là où les données varient réellement) et d'autres ne sont que du bruit. Elle pondère la comparaison en fonction de la forme des données elles-mêmes.

La grande découverte : Une ligne parfaite

Les auteurs ont découvert quelque chose de surprenant :
Lorsqu'ils ont comparé une sonde entraînée sur d'anciennes données à une sonde entraînée sur de nouvelles données en utilisant cette nouvelle méthode « sensible au terrain » (MCS), le résultat était une ligne parfaitement droite.

L'analogie : Imaginez que vous avez une règle (MCS) qui mesure à quel point deux lampes torche sont similaires. Si vous utilisez cette règle, vous pouvez prédire exactement comment la lampe torche performera dans la nouvelle pièce (sa « performance de généralisation »).
Le résultat : L'article montre que si le score MCS est élevé, la performance est élevée. Si le score MCS est faible, la performance est faible. Cette relation est si forte qu'elle ressemble à une ligne droite tracée avec une règle (mathématiquement, un $R^2$ de 0,98, ce qui est presque parfait).
Le contraste : S'ils avaient utilisé l'ancienne méthode de l'« angle seul » (euclidienne), les points seraient éparpillés partout, comme un nuage désordonné, rendant la prédiction de la performance impossible.

Pourquoi cela se produit-il ? (La magie des « courbes en S »)

L'article explique pourquoi cette ligne droite existe en utilisant un peu de mathématiques, mais voici la version simple :

Le rapport signal/bruit (SNR) : Considérez cela comme la force du « signal vrai » par rapport au « bruit » dans les données.
Deux formes différentes :
- La Performance (la façon dont la sonde fonctionne) suit une forme en S (une courbe sigmoïde). Elle commence lentement, s'accélère, puis se stabilise.
- Le Score MCS suit également une forme en S, mais c'est un type de courbe légèrement différent.
L'annulation : Lorsque vous combinez ces deux formes en S, elles s'annulent ! La « courbure » de l'une compense parfaitement la « courbure » de l'autre.
- L'analogie : Imaginez que vous marchez sur une colline qui courbe vers la gauche, mais que vous marchez aussi sur un tapis roulant qui courbe vers la droite au même rythme exact. Le résultat est que vous avancez en une ligne parfaitement droite.

À cause de cette « annulation » mathématique, la relation entre le score de similitude et la performance réelle devient une ligne droite.

Quand la règle se brise-t-elle ?

Les auteurs ont également testé quand cette ligne parfaite se brise, ce qui nous aide à comprendre les limites de la règle :

Mauvaise carte (Mauvaise covariance) : Si vous utilisez l'ancienne méthode de l'« angle seul » (en ignorant le terrain), la ligne disparaît. Vous devez utiliser la carte « sensible au terrain ».
Mauvais compas (Sondes non-Fisher) : Si la sonde n'est pas construite selon la méthode mathématique optimale (comme une simple « différence de moyennes » au lieu d'une méthode plus sophistiquée), la ligne devient désordonnée.
Signal minuscule (Petite distance de Fisher) : Si le signal est si faible que les « courbes en S » n'ont pas encore commencé à s'incurver, la relation n'est pas linéaire. (Cependant, dans les modèles testés, le signal était suffisamment fort pour que cela ne se produise pas).
Équipes déséquilibrées : Si un groupe de données est énorme et l'autre est minuscule (comme 99 % de chats et 1 % de chiens), la ligne s'incline et se brise.

Résumé

Le Problème : Il est difficile de savoir si un outil (sonde) fonctionnera sur de nouvelles données simplement en l'observant.
La Solution : Utiliser la Similitude Cosinus de Mahalanobis, qui tient compte de la forme et de la « collantité » des données.
Le Résultat : Cette méthode crée une ligne droite presque parfaite entre le score de similitude et la performance réelle.
À retenir : Vous n'avez pas besoin de tester la sonde sur de nouvelles données pour savoir si elle fonctionnera. Il vous suffit de mesurer sa similitude avec une sonde de référence en utilisant cette règle spécifique « sensible au terrain ».

L'article prouve cela mathématiquement et montre que cela fonctionne à travers différents modèles d'IA, différentes couches à l'intérieur de ces modèles, et de nombreuses tâches différentes (comme vérifier la véracité ou le genre). Il transforme un problème désordonné et imprévisible en une ligne propre et prévisible.

Résumé technique : Comparaison des sondes linéaires avec la similitude cosinus de Mahalanobis

Énoncé du problème

Les sondes linéaires sont des outils standards dans la recherche en interprétabilité pour extraire des concepts des représentations de réseaux neuronaux. Cependant, leur comportement de transfert est notoirement fragile ; les sondes entraînées sur des données de distribution interne (ID) échouent souvent à se généraliser aux scénarios de distribution externe (OOD), même lors de changements subtils comme la négation ou les changements de format de prompt. Un défi critique consiste à déterminer quelles sondes vont se généraliser et à comprendre pourquoi des sondes qui semblent similaires sur une distribution divergent sur une autre.

Les méthodes actuelles pour comparer les sondes reposent généralement sur la similitude cosinus euclidienne (ECS). Cependant, l'ECS traite toutes les dimensions de manière égale, ignorant le fait que seules les dimensions où les données varient significativement impactent la performance de la sonde. Bien que Ying et al. (2026) aient observé empiriquement que la similitude cosinus de Mahalanobis (MCS) — qui repondère le produit scalaire par la covariance des données OOD — prédit linéairement l'AUROC OOD ( $R^2=0,98$ ) pour les jeux de données de véracité, cette observation manquait d'une explication théorique et n'avait pas été validée à travers divers modèles, couches ou domaines de concepts.

Méthodologie

Les auteurs proposent un cadre théorique et empirique pour expliquer et valider la relation entre la MCS et la performance de généralisation OOD.

Cadre théorique

L'article dérive une relation sous forme fermée entre l'AUROC OOD d'une sonde et sa MCS par rapport à une sonde de référence entraînée sur des données OOD. La dérivation repose sur trois hypothèses statistiques standards :

Classes équilibrées : $Pr(Y=0) = Pr(Y=1) = 0,5$.
Gaussianité de la projection : La projection du vecteur de caractéristiques sur n'importe quelle direction de sonde suit une distribution gaussienne pour chaque classe.
Structure de covariance : La covariance totale ( $\Sigma_{tot}$ ) est décomposée en la covariance intra-classe agrégée ( $\Sigma_{pool}$ ) et la composante inter-classe.

Sous ces hypothèses, les auteurs prouvent que :

L'AUROC est une fonction de forme sigmoïde de le rapport signal sur bruit (SNR) de la sonde, $s$ : $AUROC = \Phi(s/\sqrt{2})$ .
La MCS (spécifiquement contre la direction du discriminant de Fisher) est une fonction de forme "soft-sign" de $s$ : $MCS \approx s/\sqrt{4+s^2}$ (dans la limite d'une grande distance de Fisher $z_{max}$ ).

L'intuition théorique centrale est que la composition de ces deux fonctions annule leurs non-linéarités respectives (la sigmoïde et la soft-sign), résultant en une relation quasi linéaire entre l'AUROC et la MCS. La pente de cette droite est théoriquement prédite comme étant approximativement $1/\sqrt{\pi}$ lorsque la distance de Fisher est grande.

Évaluation empirique

Les auteurs étendent la validation empirique de cette relation à travers :

Modèles : Llama-3.3-70B, Llama-3.1-8B, et Qwen2.5-7B.
Couches : Diverses couches (ex. 20, 33, 50, 65) au sein de Llama-70B.
Domaines : 24 jeux de données couvrant la véracité, la classification de genre et des benchmarks NLP généraux.
Baselines : Comparaison avec la similitude cosinus euclidienne (ECS) standard et utilisation de différentes estimations de covariance (totale vs agrégée).

Principales contributions

Preuve théorique de la linéarité : L'article fournit une preuve en forme fermée démontrant que, pour des classes équilibrées et à projection gaussienne, l'AUROC OOD et la MCS sont linéairement liées. Cela explique la corrélation quasi parfaite ( $R^2 \approx 0,98$ ) observée précédemment.
Caractérisation des modes de défaillance : La théorie prédit explicitement les conditions dans lesquelles cette linéarité se brise, ce qui est vérifié empiriquement :
- L'utilisation de la covariance agrégée ( $\Sigma_{pool}$ ) au lieu de la covariance totale ( $\Sigma_{tot}$ ) détruit la linéarité.
- Les petites distances de Fisher ( $z_{max}$ ) entraînent des pentes spécifiques à la tâche plutôt qu'une ligne universelle.
- Le déséquilibre des classes accentue la pente.
- Les sondes qui s'écartent significativement de la direction de Fisher (ex. les sondes simples de différence de moyennes) présentent une linéarité dégradée.
Généralisation empirique : L'étude valide la linéarité MCS-AUROC à travers un large éventail de modèles, de couches et de domaines de concepts, atteignant un $R^2 > 0,93$ dans toutes les conditions testées. En revanche, la performance de l'ECS chute considérablement, avec un $R^2$ aussi bas que 0,06 dans les benchmarks NLP généraux.
Robustesse aux estimateurs : Les auteurs démontrent que le résultat tient pour la covariance d'échantillon complète, le rétrécissement de Ledoit-Wolf, mais échoue avec les approximations diagonales, confirmant la nécessité de la structure de covariance hors-diagonale.

Résultats

Pouvoir prédictif élevé : À travers les 8 conditions expérimentales (variations de modèles, couches et domaines), l'ajustement linéaire de l'AUROC OOD contre la MCS produit un $R^2 \geq 0,93$ .
Supériorité de la MCS sur l'ECS : L'ECS est systématiquement moins performante, avec des valeurs de $R^2$ allant de 0,057 (NLP général) à 0,723 (Genre), tandis que la MCS maintient un haut pouvoir prédictif.
Alignement théorique : Les pentes empiriques des courbes AUROC-MCS s'alignent étroitement avec la pente centrale théorique de $1/\sqrt{\pi} \approx 0,564$ . Les écarts se produisent principalement aux queues de saturation (valeurs élevées d'AUROC/MCS), ce qui est cohérent avec la théorie.
Vérification des modes de défaillance : Les simulations et les expériences sur données réelles confirment que la linéarité se dégrade lorsque les hypothèses sont violées (ex. l'utilisation de $\Sigma_{pool}$ réduit le $R^2$ de 0,98 à 0,83 ; l'utilisation de sondes de différence de moyennes le réduit à 0,79).

Signification et affirmations

L'article affirme que la similitude cosinus de Mahalanobis offre une alternative théoriquement fondée et sensible à la tâche à la similitude cosinus euclidienne pour comparer les sondes linéaires.

Mécanisme : Contra-rément à l'ECS, qui traite toutes les dimensions de manière égale, la MCS repondère le produit scalaire par la covariance des données OOD, comparant ainsi efficacement les sondes dans le sous-espace qui importe réellement pour la tâche spécifique.
Utilité prédictive : La relation linéaire permet aux chercheurs de prédire la performance de généralisation (AUROC OOD) d'une sonde entraînée sur des données ID simplement en mesurant sa MCS par rapport à une sonde de référence entraînée sur des données OOD (ou un proxy de la direction de Fisher).
Implications plus larges : Les auteurs suggèrent que cette approche pourrait bénéficier à d'autres méthodes d'interprétabilité dépendant actuellement de la similitude cosinus, telles que la comparaison de vecteurs de pilotage (steering-vectors), l'alignement de caractéristiques SAE et le clustering de directions de concepts.
Limites : Les auteurs notent que la méthode nécessite des données OOD étiquetées pour estimer la covariance et la direction de référence (elle n'est pas exempte d'étiquettes pour la distribution cible). De plus, la théorie est calibrée pour les sondes de type Fisher (Régression Logistique, LDA) ; la performance se dégrade pour les sondes de différence de moyennes. L'évaluation est actuellement confinée à la classification binaire sur les caractéristiques de flux résiduel (residual-stream) des LLM autorégressifs.

En résumé, ce travail établit que le succès de la MCS pour prédire la généralisation des sondes n'est pas une coïncidence, mais une conséquence de l'interaction géométrique entre les rapports signal sur bruit, les projections gaussiennes et les mesures de similitude sensibles à la covariance.