💬 NLP

Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift

Ce papier présente l'Explorateur Adaptatif à la Géométrie (GAE), une méthode sans gradient qui réaligne les outils d'interprétabilité basés sur des dictionnaires avec les sous-espaces d'activation hors distribution afin d'améliorer significativement la fidélité causale dans des conditions de dérive de distribution.

Auteurs originaux : Sungjun Lim, Heedong Kim, Andrew Lee, Kyungwoo Song

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sungjun Lim, Heedong Kim, Andrew Lee, Kyungwoo Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un traducteur hautement qualifié ayant passé des années à apprendre un dialecte spécifique d'une langue. Il excelle dans la traduction d'histoires écrites dans ce dialecte. Cependant, un jour, on lui demande de traduire une histoire écrite dans un dialecte légèrement différent, où les règles grammaticales et l'ordre des mots ont subtilement changé.

Parce que ce traducteur est tellement habitué aux anciennes règles, il tente de forcer la nouvelle histoire à s'insérer dans l'ancienne structure. Le résultat ? La traduction est confuse, inexacte et ne capture pas le véritable sens de la nouvelle histoire.

C'est exactement le problème que l'article « Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift » (Explorateur adaptatif géométrique pour une interprétabilité fidèle basée sur dictionnaire sous décalage de distribution) aborde, mais au lieu d'un traducteur humain, il s'agit de modèles d'IA et des outils que nous utilisons pour comprendre comment ils pensent.

Voici une décomposition des idées de l'article à l'aide d'analogies simples :

1. Le Problème : La « Carte Rigide »

Les chercheurs en IA utilisent des outils appelés Explorateurs basés sur dictionnaire (comme les Autoencodeurs parcimonieux) pour comprendre ce qui se passe à l'intérieur d'un réseau de neurones. Considérez ces explorateurs comme un dictionnaire ou une carte.

Comment ils fonctionnent : La carte est dessinée en fonction du comportement de l'IA lorsqu'elle voit des données « normales » (comme des phrases standard en anglais). La carte nous dit : « Lorsque l'IA voit ce motif, elle active cette fonctionnalité spécifique. »
Le Problème : Lorsque l'IA rencontre des données hors distribution (OOD) (comme un nouveau terme d'argot, un sujet différent ou une phrase étrangement formulée), la « géométrie » interne de l'IA change. C'est comme si le paysage lui-même avait tourné.
Le Résultat : L'ancienne carte ne correspond plus au nouveau paysage. L'IA utilise de différentes « directions » pour penser, mais l'explorateur tente toujours de lire la carte selon l'ancienne orientation. Cela crée un « Écart de Fidélité ». L'explication n'est plus fidèle à ce que l'IA fait réellement.

2. La Découverte : C'est un Problème de Géométrie

Les auteurs ont réalisé qu'il ne s'agit pas d'une erreur aléatoire, mais d'un désalignement géométrique.

L'Analogie : Imaginez que les pensées internes de l'IA soient un nuage de points flottant dans un espace tridimensionnel. Lorsque les données changent, tout le nuage tourne.
L'ancien explorateur est un cadre rigide construit pour s'adapter au nuage dans sa position d'origine.
Lorsque le nuage tourne, le cadre ne capture plus correctement les points. L'article prouve que plus le nuage tourne (le « décalage du second moment »), plus l'écart entre le cadre et le nuage devient grand, et plus l'explication se dégrade.

3. La Solution : GAE (Le « Cadre Rotatif »)

Les auteurs proposent une nouvelle méthode appelée GAE (Explorateur Adaptatif Géométrique). Au lieu de jeter l'ancienne carte et d'en dessiner une toute nouvelle à partir de zéro (ce qui prend beaucoup de temps et de puissance de calcul), GAE fait quelque chose d'intelligent :

Étape 1 : La Rotation. Il prend l'ancienne carte et la tourne physiquement pour correspondre à la nouvelle orientation des pensées de l'IA. Il utilise une astuce mathématique (Procrusté orthogonal) pour trouver l'angle parfait afin d'aligner l'ancien cadre avec le nouveau nuage de données.
Étape 2 : Le Réglage Fin. Une fois le cadre tourné, il effectue de minuscules ajustements sur les « règles » individuelles à l'intérieur du cadre afin qu'elles correspondent parfaitement aux points spécifiques des nouvelles données, sans briser la structure originale de la carte.

La Meilleure Partie : GAE fait cela sans aucun entraînement.

Les méthodes traditionnelles sont comme essayer d'apprendre une nouvelle langue en lisant un million de livres (prenant des heures ou des jours de temps informatique).
GAE est comme regarder quelques phrases, réaliser que la grammaire a changé, et tourner instantanément votre carte mentale pour correspondre. Cela prend quelques secondes et ne nécessite aucune mise à jour de gradient (aucun entraînement mathématique lourd).

4. Les Résultats : Rapide et Précis

L'article a testé GAE sur de grands modèles de langage (comme GPT-2 et Pythia) avec différents types de « décalages » (nouvelles périodes temporelles, documents financiers et astuces adversariales).

Vitesse : Alors que d'autres méthodes prenaient des minutes ou des heures pour s'adapter, GAE a terminé en moins de 3 secondes.
Précision : Même sans « entraînement » au sens traditionnel, GAE a produit des explications plus fidèles (plus précises par rapport au comportement réel de l'IA) que des méthodes ayant passé des heures à réentraîner le modèle.
Le Test du « Circuit » : Dans une expérience, ils ont examiné comment l'IA décidait de prédire le mot « American » (Américain). L'ancienne carte (Fixe) pointait l'IA dans la mauvaise direction. GAE a tourné la carte, et soudain, l'explication pointait correctement vers le concept de nationalité, même si les « fonctionnalités » sous-jacentes (les mots que l'IA a remarqués) sont restées exactement les mêmes.

Résumé

L'article soutient que lorsque les modèles d'IA sont confrontés à de nouveaux types de données, leur « espace de pensée » interne tourne. Nos anciens outils pour les comprendre restent bloqués dans l'ancienne orientation.

GAE est une solution rapide, basée sur les mathématiques, qui tourne simplement nos outils de compréhension pour correspondre à la nouvelle réalité. C'est un moyen de maintenir nos explications précises et dignes de confiance sans avoir besoin de passer des jours à réentraîner les outils, ce qui en fait une solution pratique pour maintenir l'interprétabilité de l'IA dans un monde en mutation.

Résumé Technique : Explorateur Adaptatif Géométrique pour une Interprétabilité Fidèle Basée sur des Dictionnaires sous Déplacement de Distribution

Énoncé du Problème

L'interprétabilité mécaniste repose sur des explorateurs basés sur des dictionnaires, tels que les Autoencodeurs Creux (SAE) et les Transcodeurs, pour décomposer les activations cachées des réseaux de neurones en directions de caractéristiques parcimonieuses et interprétables. Une exigence critique pour ces explications est la fidélité : l'explorateur doit refléter avec précision les calculs que le modèle effectue réellement.

Cependant, les explorateurs existants sont généralement entraînés sur des données in-distribution (ID). Lorsqu'un modèle rencontre des entrées out-of-distribution (OOD), la structure géométrique de ses activations cachées change. L'article identifie que le déplacement de distribution fait pivoter le sous-espace actif OOD (les directions que le modèle utilise activement) loin du sous-espace de l'explorateur entraîné ID. Ce désalignement, qualifié de fossé de fidélité, provoque l'échec des dictionnaires entraînés ID à reconstruire fidèlement les activations OOD. Les travaux antérieurs ont abordé ce problème par un réentraînement heuristique ou des modules résiduels, mais manquent d'un diagnostic principiel du désalignement géométrique sous-jacent ou d'une méthode pour le corriger sans réentraînement complet.

Méthodologie : Explorateur Adaptatif Géométrique (GAE)

Les auteurs proposent l'Explorateur Adaptatif Géométrique (GAE), une méthode post-hoc sous forme fermée qui réaligne un explorateur entraîné ID avec le sous-espace actif OOD en utilisant uniquement des activations OOD non étiquetées. Le GAE fonctionne sans mises à jour de gradient ni entraînement itératif.

Fondement Théorique

L'article formalise le problème en utilisant la matrice du second moment des activations cachées, $M_e = \mathbb{E}[h(X)h(X)^\top]$ .

Fossé de Fidélité ( $\Delta$ ) : Défini comme la distance de Frobenius entre le sous-espace de l'explorateur ( $\Pi_{dec}$ ) et le sous-espace actif OOD ( $\Pi_{OOD}$ ).
Mécanisme Géométrique : Les auteurs prouvent (Proposition 1) que le fossé de fidélité d'un explorateur entraîné ID est majoré par l'amplitude du déplacement du second moment ( $\|M_{OOD} - M_{ID}\|_F$ ).
Contrôle de la Dégradation : Ils prouvent en outre (Proposition 2) que la composante dépendante de l'explorateur de la perte de fidélité OOD est étroitement contrôlée par le carré du fossé de fidélité. Ainsi, réduire le fossé est nécessaire et suffisant pour améliorer la fidélité OOD.

Algorithme

Le GAE adapte le dictionnaire en deux étapes :

Étape 1 : Rotation du Sous-espace (Procrustée Orthogonale) :
Le dictionnaire entraîné ID $W_{dec}^{ID}$ est tourné pour aligner son espace colonne avec le sous-espace actif OOD estimé $\hat{\Pi}_{OOD}$ (dérivé des $r$ premiers vecteurs propres de la matrice du second moment OOD). La matrice de rotation $T^\star$ est choisie pour minimiser la distance au dictionnaire original, préservant la structure des caractéristiques originale autant que possible. Cette étape élimine le fossé de fidélité ( $\Delta = 0$ ) par construction.
Étape 2 : Réajustement Contraint du Décodeur :
Bien que l'Étape 1 aligne le sous-espace, elle n'optimise pas la reconstruction au niveau de l'échantillon. L'Étape 2 réajuste les poids du décodeur via une régression ridge contrainte sous forme fermée. Cette étape minimise l'erreur de reconstruction sur les activations OOD tout en pénalisant les écarts par rapport au dictionnaire tourné de l'Étape 1 et en s'assurant que le décodeur reste dans le sous-espace actif OOD.

L'ensemble du pipeline est analytique, ne nécessitant aucune rétropropagation.

Contributions Clés

Diagnostic Géométrique : L'article identifie le fossé de fidélité comme le mécanisme géométrique entraînant la dégradation de la fidélité OOD dans les explorateurs basés sur des dictionnaires. Il fournit des bornes théoriques montrant que ce fossé croît avec le déplacement du second moment et contrôle directement la partie réductible de la perte de fidélité OOD.
Algorithme GAE : Une méthode sans entraînement, sous forme fermée, qui réaligne le dictionnaire de l'explorateur avec le sous-espace actif OOD. Elle offre une garantie théorique (Théorème 1) que l'explorateur adapté améliore strictement l'explorateur ID non adapté, l'amélioration croissant de manière quadratique avec le désalignement initial.
Supériorité Empirique : Le GAE égale ou surpasse toutes les bases de référence basées sur l'entraînement (y compris le réentraînement complet à partir de zéro et le fine-tuning) en matière de fidélité causale sur plusieurs modèles et configurations OOD, malgré l'exigence de zéro calcul de gradient et seulement $\sim2\,000$ échantillons OOD non étiquetés.

Résultats Expérimentaux

Les auteurs ont évalué le GAE sur GPT-2 Small et Pythia-1.4B en utilisant à la fois des Transcodeurs et des SAE Top-K. L'évaluation a couvert trois types de déplacements de distribution :

Temporel : Texte web collecté après la date de coupure du pré-entraînement du modèle (FineWeb).
Domaine : Dossiers financiers avec un vocabulaire spécialisé (Edgar).
Adversarial : Prompts induisant des hallucinations (HaluEval).

Métriques de Performance :

Fidélité Causale : Mesurée via le nAOPC (Normalized AOPC) et la nComp (Normalized Comprehensiveness).
Qualité de Reconstruction : Mesurée via la Delta Cross-Entropy ( $|\Delta CE|$ ).

Constats Principaux :

GAE vs. Bases de Référence Basées sur l'Entraînement : Le GAE a surpassé des méthodes comme Retrain (entraînement à partir de zéro sur des données OOD) et Finetune (fine-tuning avec démarrage à chaud) dans la majorité des configurations. Par exemple, sur les Transcodeurs GPT-2 sous déplacement adversarial, le GAE a amélioré la nComp de 4,6 % par rapport à la base de référence la plus forte (SAEBoost) et réduit l'erreur de reconstruction ( $|\Delta CE|$ ) de 93 %.
Efficacité : Alors que les bases de référence basées sur l'entraînement nécessitaient le traitement de millions de tokens et plusieurs heures de temps GPU, le GAE a achevé l'adaptation en moins de 3 secondes (0,5 s pour GPT-2, 2,9 s pour Pythia-1.4B) en utilisant uniquement un seul passage avant sur 2 048 échantillons.
Validation du Mécanisme : Des études d'ablation ont confirmé que l'Étape 1 (rotation du sous-espace) a réussi à combler le fossé de fidélité, tandis que l'Étape 2 était nécessaire pour restaurer la cohérence causale (attribution de caractéristiques) sans sacrifier l'alignement géométrique.
Études de Cas : Dans des tâches d'attribution de circuits (par exemple, prédire "American" ou "Henry"), le GAE a corrigé la directionnalité du décodeur, garantissant que les caractéristiques identifiées poussaient le modèle vers la classe sémantique correcte, alors que l'explorateur ID fixe pointait souvent loin de la classe cible.

Signification et Revendications

L'article revendique que le GAE fournit une solution principielle, efficace et théoriquement fondée au problème de la fidélité OOD dans l'interprétabilité mécaniste. En présentant la question comme un désalignement géométrique plutôt que comme un problème de couverture des données, les auteurs démontrent que des explications fidèles peuvent être restaurées sans le coût computationnel du réentraînement.

Les auteurs notent que le GAE est particulièrement significatif pour les scénarios d'adaptation en temps réel où les distributions de déploiement changent dynamiquement et où le réentraînement est irréalisable. Ils reconnaissent modestement les limites, spécifiquement que la méthode repose sur une troncature SVD top- $r$ (éliminant les informations de caractéristiques résiduelles) et n'a pas encore été évaluée sur des modèles à plus grande échelle. Cependant, les résultats suggèrent que le réalignement géométrique est un levier puissant et sous-utilisé pour maintenir la robustesse de l'interprétabilité.