🤖 machine learning

IG-Lens: Exact Additive Probability Attribution Across Transformer Layers via Telescoping Integrated Gradients

Cet article présente IG-Lens, une nouvelle méthode qui parvient à une attribution de probabilité exacte et additive à travers les couches de transformeurs en appliquant des gradients intégrés télescopiques le long d'un chemin unique, surmontant ainsi les limitations de non-linéarité et de biais des outils de lecture existants basés sur les logits ou non additifs, tout en garantissant l'exhaustivité sans erreur de discrétisation.

Auteurs originaux : Duc Anh Nguyen

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Duc Anh Nguyen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme celui qui alimente cette discussion) comme une usine à plusieurs étages où une idée brute entre au rez-de-chaussée et où un produit fini (le mot prédit) sort au sommet.

Pendant longtemps, les chercheurs ont tenté de répondre à une question simple : « À quel étage exactement de cette usine la décision de dire "Hanoi" est-elle réellement prise ? »

Les outils existants ont essayé de répondre, mais ils étaient comme de mauvais comptables :

Certains outils examinent chaque étage et tentent de deviner à quel point l'usine est « confiante », mais leurs estimations ne totalisent pas 100 %. C'est comme dire que l'étage 1 est sûr à 40 %, l'étage 2 à 60 % et l'étage 3 à 80 % — ce qui fait un total de 180 %, ce qui n'a aucun sens.
D'autres outils examinent les chiffres bruts (les logits) avant qu'ils ne soient transformés en pourcentages. Mais transformer des chiffres bruts en probabilités, c'est comme cuisiner un gâteau ; on ne peut pas simplement additionner la farine et les œufs séparément et s'attendre à obtenir le poids du gâteau fini. La « cuisson » (l'opération mathématique appelée softmax) change tout.
Un troisième groupe d'outils tente de mesurer le travail effectué sur chaque étage, mais ils mesurent chaque étage par rapport à un point de départ différent, de sorte que leurs chiffres ne s'additionnent pas pour indiquer le travail total accompli.

Entrée en scène : IG-Lens, le comptable parfait

L'article présente IG-Lens, une nouvelle méthode qui agit comme un comptable parfait pour cette usine. Il résout le problème en utilisant un truc de « télescopage » (pensez à un télescope pliable qui se déploie et se rétracte).

Voici comment cela fonctionne en termes simples :

1. La règle du « cliché instantané »
Au lieu de laisser le mot voyager à travers toute l'usine et de se mélanger avec d'autres mots à chaque tournant, IG-Lens prend un « cliché instantané » (snapshot) de l'état du mot à des étages spécifiques. Il demande ensuite : « Si nous prenions l'état de l'étage 10 et que nous le faisions passer uniquement par la machine de "finition" finale (la partie qui transforme les données brutes en probabilité), quel serait le résultat ? »

2. La somme télescopique
IG-Lens décompose le voyage en segments (par exemple, de l'étage 10 à 11, de 11 à 12, etc.).

Il calcule la probabilité du mot à l'étage 10.
Il calcule la probabilité à l'étage 11.
La différence entre les deux est la quantité exacte de travail effectué sur ce segment spécifique.
Parce qu'il mesure le changement à chaque étape, lorsque vous additionnez tous les changements du bas vers le haut, ils égalisent parfaitement le changement total du début à la fin. Il n'y a pas d'erreur mathématique, pas d'« erreur de cuisson », et pas de problèmes d'arrondi.

3. Le filtre « conscient de la prédiction »
La plupart des méthodes observent à quel point les chiffres oscillent (gradients) pour deviner l'importance. Mais parfois, les chiffres oscillent beaucoup sans pour autant changer la décision finale.
IG-Lens est plus intelligent. Il ne crédite un étage de travail que si la probabilité réelle du mot a changé. Si les chiffres oscillent mais que la prédiction reste la même, IG-Lens ignore cette oscillation. C'est comme un gestionnaire qui ne paie les travailleurs que pour les jours où ils ont réellement terminé une tâche, et non pour les jours où ils étaient simplement occupés à déplacer des boîtes.

Pourquoi cela importe (selon l'article)

C'est exact : Contrairement aux outils précédents qui vous donnent une approximation, IG-Lens garantit que si vous additionnez les contributions de chaque couche, vous obtenez exactement la probabilité finale. C'est mathématiquement parfait (jusqu'aux limites du calcul informatique).
Il trouve l'« onset » (le moment de l'apparition) : Il peut vous indiquer la couche exacte où le modèle a « décidé » d'un mot. Par exemple, il pourrait montrer que pour le mot « capital », la décision a été principalement prise par la couche 12, mais que pour « Hanoi », la décision s'est produite bien plus tard, vers la couche 15 ou 16.
Il est honnête sur ses limites : L'article admet un compromis. Parce qu'IG-Lens observe le « cliché » d'un mot à une couche spécifique, il ne compte pas le travail que cette couche pourrait effectuer plus tard alors que le mot remonte vers le sommet. Il mesure : « À quel point cette couche a contribué à la réponse finale, étant donné notre point de départ ? » plutôt que : « Quel a été l'effet total de cette couche sur l'ensemble du système ? »

L'essentiel

IG-Lens est une nouvelle façon de regarder à l'intérieur des modèles d'IA qui répond enfin à la question : « Quand le modèle a-t-il décidé ? » avec un « reçu » mathématiquement parfait qui arrive à 100 %. Il ne devine pas ; il calcule le changement exact de probabilité couche par couche, filtrant le bruit pour vous montrer exactement où la décision a eu lieu.

Les auteurs prévoient de tester cela en « cassant » le modèle aux couches identifiées par IG-Lens pour voir si le modèle cesse réellement de fonctionner correctement à ces endroits, ce qui prouverait que la méthode trouve bien les véritables points de décision.

Résumé Technique : IG-Lens

Énoncé du Problème

Les transformeurs de type "decoder-only" sont souvent conceptualisés comme des processus d'inférence itératifs où le flux résiduel affine une estimation progressive du prochain jeton (token). Une question d'interprétabilité critique se pose : à quelle couche spécifique la probabilité d'un jeton prédit est-elle réellement décidée ?

Les outils existants pour la lecture par couche (layer-wise readout) ne parviennent pas à répondre précisément dans l'espace des probabilités :

Logit Lens & Tuned Lens : Ils rapportent le niveau de probabilité à chaque couche mais ne fournissent pas de décomposition additive. Leurs estimations sont biaisées et non monotones à travers la profondeur, ce qui signifie que la somme des probabilités par couche n'a aucune signification mathématique.
Attribution Directe des Logits (DLA) & Méthodes d'Embedding : Ces méthodes sont additives mais opèrent dans l'espace des logits. Comme la fonction softmax est hautement non linéaire, une décomposition additive des logits ne se traduit pas par une décomposition additive des probabilités, qui est pourtant la quantité d'intérêt pratique.
Conductance de Couche & Integrated Gradients (IG) de Couche : Ces méthodes intègrent les gradients par couche, mais attribuent chaque couche à sa propre ligne de base (baseline) indépendante. Par conséquent, les termes par couche ne "télescopent" pas (ne s'additionnent pas) pour atteindre la variation totale de la probabilité de prédiction.

Méthodologie : IG-Lens

Les auteurs introduisent IG-Lens, une méthode qui fournit une décomposition additive exacte de la probabilité à travers les couches du transformeur.

Concept Central

IG-Lens applique une application télescopique des Integrated Gradients (IG) le long d'un chemin unique à travers les états cachés, d'une ligne de base jusqu'à la couche finale.

Définition du Chemin : La méthode sélectionne une séquence de couches $0 = L_0 < L_1 < \dots < L_k = n$ et définit un chemin d'états cachés $h_{L_0} \to h_{L_1} \to \dots \to h_{final}$ .
Lecture "Head-Once" : Crucialement, la fonction de lecture $f(h)$ est définie comme l'unembedding final appliqué une seule fois à un vecteur caché unique : $f(h) = \text{softmax}(\text{head}(\text{norm}(h)))_{y_t}$ . Cette fonction ne contient ni attention ni MLP ; toute la fusion entre les jetons est supposée avoir eu lieu lors de la passe avant (forward pass) ayant produit les états cachés détachés.
Attribution Télescopique : La contribution de la couche $L_j$ est définie comme le segment IG de $f$ le long de la ligne droite de $h_{L_{j-1}}$ à $h_{L_j}$ . Par le théorème du gradient, l'intégrale du gradient sur un segment est égale à la différence des valeurs des points finaux. La somme de ces segments produit une somme télescopique :
$\sum_{j=1}^k IGL_j = f(h_{final}) - f(h_{base}) = \Delta p$
Cela garantit que la somme des attributions est exactement la variation de la probabilité cible, le softmax et la LayerNorm étant intégrés plutôt que linéarisés ou figés.

Estimateur Sensible à la Prédiction (Prediction-Aware)

Bien que l'intégrale soit exacte, les estimateurs à étapes finies introduisent généralement une erreur de discrétisation. IG-Lens adopte un estimateur sensible à la prédiction (inspiré par l'IDGI) comme méthode par défaut :

Au lieu de créditer les étapes basées sur les gradients bruts, il crédite chaque étape par son changement observé de la probabilité cible ( $f(h^{(s)}) - f(h^{(s-1)})$ ).
Pour une lecture de probabilité scalaire, cela réduit chaque segment en une somme télescopique de valeurs de points finaux.
Résultat : La complétude est respectée à la précision de la virgule flottante pour n'importe quel nombre d'étapes ( $m \ge 1$ ). Les étapes où le modèle montre une sensibilité de gradient mais aucun changement de sortie sont naturellement filtrées, éliminant ainsi l'erreur de discrétisation de Riemann.

Implémentation

La méthode utilise un algorithme par lot en un seul passage qui calcule la carte complète jeton par couche sans nécessendre d'un passage arrière (backward pass/autograd).

En empilant tous les points d'interpolation dans un seul tenseur et en évaluant la fonction ponctuelle $f$ en une seule passe avant, la méthode évite la surcharge du calcul de gradient.
Cette efficacité est possible spécifiquement grâce à la conception "head-once", qui garantit l'indépendance entre les points de jetons dans le batch.

Contributions Clés

Décomposition Additive Exacte : IG-Lens est la première méthode à fournir une décomposition additive exacte de la probabilité (et non des logits) à travers les couches, où la somme des attributions est égale à $\Delta p$ .
Identité Télescopique : L'article fournit une preuve formelle (Proposition 1) que les intégrales de segment se télescopent pour atteindre la variation totale de la prédiction, en maintenant le softmax à l'intérieur du chemin d'intégration.
Estimation Sensible à la Prédiction : L'estimateur par défaut garantit une complétude à la précision machine quel que soit le nombre d'étapes et filtre les étapes de "sensibilité sans réponse".
Implémentation Efficace : Une évaluation en un seul passage calcule la carte d'attribution complète sans appels de rétropropagation, ce qui rend la méthode efficace sur le plan computationnel.
Positionnement : Les auteurs délimitent clairement pourquoi les méthodes existantes échouent dans l'espace des probabilités (additivité de l'espace des logits, biais ou absence de télescopage) et positionnent IG-Lens comme le pendant de l'espace des probabilités des méthodes de l'espace des logits.

Résultats et Plan d'Évaluation

Vérification Numérique : Sur des tests contrôlés et un modèle réel (Llama-3.2-1B-Instruct), l'estimateur par défaut reproduit les différences de points finaux par segment à environ $10^{-7}$ (précision float32). La somme télescopique est exacte à la précision de la virgule flottante, indépendamment du nombre d'étapes $m$ .
Sortie Illustrative : Dans les expériences avec le prompt "What is the capital of Vietnam?", la méthode concentre avec succès la masse d'attribution dans les segments de couche spécifiques où la valeur du logit-lens passe de faible à élevée. La somme des attributions pour chaque jeton correspond à $\Delta p$ avec une précision de virgule flottante.
Stratégie d'Évaluation : Les auteurs reconnaissent que l'« onset » (début) n'a pas de vérité terrain intrinsèque. Par conséquent, ils proposent de valider la méthode via une ablation causale : si IG-Lens identifie la couche $L$ comme l'onset, l'ablation de $L$ devrait réduire la probabilité cible davantage que l'ablation des couches ayant des scores d'onset inférieurs. Ce test est conçu pour être peu coûteux à exécuter et capable de falsifier la thèse.

Signification et Revendications

L'article positionne IG-Lens comme un affinement quantitatif de la vue de l'inférence itérative. Contrairement au Logit Lens, qui demande "quelle est la prédiction en cours à cette couche ?", IG-Lens demande "quelle part de la probabilité finale est la responsabilité de chaque couche ?" et garantit que ces responsabilités somment le tout.

Revendications Modestes et Limites :

Marginale Conditionnelle : Les auteurs déclarent explicitement qu'IG-Lens mesure une marginale conditionnelle : la probabilité supplémentaire que le norm+head puisse lire à partir de $h_L$ étant donné $h_{L-1}$ . Elle écarte l'effet de $h_L$ acheminé à travers les blocs d'attention et de MLP supérieurs.
Compromis : La méthode choisit "somme = $\Delta p$ " plutôt que "effet causal total via le passage avant complet". Pour les effets causaux totaux, la décomposition par composante (comme DLA) reste l'outil approprié.
Non-Monotonie : La méthode gère les trajectoires de probabilité non monotones (où la probabilité est construite puis partiellement annulée) en utilisant des attributions signées, offrant une vision plus fidèle des contributions de couche que les méthodes basées sur les valeurs absolues.

La question centrale reste empirique : l'onset identifié par IG-Lens prédit-il la couche pour laquelle l'ablation causale réduit le plus la prédiction, particulièrement pour les jetons ayant des trajectoires non monotones ?