💬 NLP

Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information

Cet article présente le cadre d'évaluation $\pi$ -Soft-NC et $\pi$ -Soft-NS pour contrôler les comptes de mots conservés lors de l'évaluation de la fidélité de l'attribution dans les LLM uniquement décodeurs, ainsi que la méthode Grad-ELLM qui combine efficacement les signaux de gradient et d'attention pour obtenir des performances orientées vers la compréhension.

Auteurs originaux : Xin Huang, Antoni B. Chan

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xin Huang, Antoni B. Chan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Comparer des Pommes et des Oranges

Imaginez que vous êtes un juge essayant de décider quel détective est meilleur pour résoudre un mystère. Vous avez deux détectives, Détective A et Détective B.

Détective A trouve 5 indices, mais ils sont tous très importants.
Détective B trouve 50 indices, mais seulement 5 sont réellement utiles ; le reste n'est que du bruit.

Par le passé, les chercheurs tentaient de mesurer la « fidélité » (la capacité d'une IA à expliquer sa propre réflexion) en observant dans quelle mesure la réponse de l'IA changeait lorsque l'on retirait les indices sur lesquels le détective avait mis l'accent.

Le Défaut : L'ancienne méthode de mesure fonctionnait ainsi : si Détective B vous donnait une liste de 50 indices et que vous en retiriez 45, la réponse de l'IA pourrait changer considérablement simplement parce que vous avez retiré tant de mots, et non parce que les indices étaient mauvais. Si Détective A vous donnait une courte liste de 5 indices, les retirer pourrait changer moins la réponse, simplement parce qu'il y avait moins de mots au départ.

Les anciennes métriques étaient injustes. Elles comparaient un détective qui conservait beaucoup d'informations à un autre qui en conservait très peu, donnant l'impression que celui qui conservait plus d'informations était « meilleur » pour expliquer les choses, même si sa logique était désordonnée.

La Solution : La Règle de « Conservation Égale »

Les auteurs de ce document proposent une nouvelle règle pour le jeu : Tout le monde doit conserver exactement la même quantité d'informations.

Ils introduisent une nouvelle méthode appelée $\pi$ -Soft-NC et $\pi$ -Soft-NS. Considérez $\pi$ (Pi) comme un « bouton de volume » pour l'information.

Si vous réglez le bouton sur 0,5, tant Détective A que Détective B doivent conserver exactement 50 % des mots de la phrase.
Si vous le réglez sur 0,1, tous deux doivent conserver seulement 10 %.

En forçant les deux méthodes à « conserver » la même quantité d'informations, vous pouvez enfin voir qui a réellement choisi les bons mots pour expliquer la décision de l'IA, plutôt que celui qui a simplement choisi le plus grand nombre de mots.

Le Nouveau Détective : Grad-ELLM

Les auteurs ont également construit une nouvelle méthode de détective appelée Grad-ELLM pour tester cette nouvelle règle.

Comment cela fonctionne : Imaginez une IA écrivant une histoire mot par mot (comme une réaction en chaîne). Pour comprendre pourquoi l'IA a choisi le mot suivant, Grad-ELLM examine deux choses simultanément :
1. La carte de « l'Attention » : Quels mots l'IA a-t-elle regardés ? (Comme qui l'IA fixe du regard dans une pièce).
2. La carte du « Gradient » : Dans quelle mesure le fait de modifier ces mots a-t-il réellement changé le résultat ? (Comme la mesure dans laquelle la température de la pièce change si vous déplacez un chauffage spécifique).

Grad-ELLM combine ces deux points de vue. Il ne choisit pas simplement le seul mot « le plus important » ; il crée une carte continue et lisse de l'importance sur toute la phrase. C'est comme une carte thermique montrant exactement où se trouve la « chaleur » (l'importance), plutôt que de simplement pointer un doigt vers un seul endroit.

Ce Qu'ils Ont Découvert

Les auteurs ont testé leur nouvelle règle et leur nouveau détective sur des modèles d'IA célèbres (Llama et Mistral) en utilisant des tâches telles que :

Analyse de Sentiment : Décider si un avis de film est positif ou négatif.
Génération Ouverte : Écrire des réponses à des questions ou poursuivre une histoire.

Les Résultats :

L'Ancienne Règle était Biaisée : Lorsqu'ils utilisaient les anciennes métriques, les méthodes qui conservaient beaucoup de mots semblaient artificiellement bonnes.
La Nouvelle Règle Révèle la Vérité : Sous la nouvelle règle de « Conservation Égale », Grad-ELLM s'est avéré excellent pour trouver des preuves larges. Il a montré que la décision de l'IA était soutenue par une large gamme de mots travaillant ensemble (comme un chœur de voix).
Pas de Seul Gagnant : Fait intéressant, aucune méthode unique n'était la meilleure en tout.
- Certaines méthodes étaient excellentes pour trouver le un ou deux mots les plus critiques (comme trouver le « coupable »).
- Grad-ELLM était excellent pour montrer l'image complète de la manière dont de nombreux mots contribuaient à la réponse.

L'Essentiel

Ce document est comme un nouvel ensemble de balances pour une boulangerie. Auparavant, si vous pesiez un gâteau avec un plateau lourd et un biscuit avec un plateau léger, vous ne pouviez pas dire quel dessert était réellement plus lourd. Les auteurs ont ajouté un plateau standard des deux côtés.

Ils ont également cuit un nouveau type de gâteau (Grad-ELLM) qui diffuse sa saveur uniformément partout, plutôt que d'avoir seulement quelques points sucrés. Leurs nouvelles balances montrent que si certaines méthodes sont bonnes pour trouver les « points sucrés », leur nouveau gâteau est meilleur pour montrer comment l'ensemble du dessert est assemblé.

En bref : Ils ont corrigé la façon dont nous testons les explications de l'IA afin que nous ne soyons pas trompés par la quantité de mots, et ils ont introduit une nouvelle méthode qui offre une image plus complète et honnête de la façon dont l'IA pense.

Résumé Technique : Évaluation de la Fidélité pour les Attributions de LLM Décodeurs Uniquement avec Information Conservée Contrôlée

Énoncé du Problème

Les Grands Modèles de Langage (LLM), en particulier les architectures décodeurs uniquement comme Llama et Mistral, sont de plus en plus évalués à l'aide de méthodes d'attribution d'entrée pour expliquer leurs processus de prise de décision. Cependant, comparer la « fidélité » (fiabilité) de ces explications reste un défi.

Les métriques existantes de fidélité par perturbation douce, spécifiquement Soft-NC (Comprehensiveness Doux Normalisé) et Soft-NS (Suffisance Douce Normalisée), souffrent d'un biais critique. Ces métriques évaluent la qualité de l'attribution en perturbant les entrées sur la base des scores d'attribution. Cependant, différentes méthodes d'attribution produisent souvent des distributions de scores avec des moyennes différentes. Par conséquent, les méthodes avec des scores moyens plus élevés conservent plus de mots lors de la perturbation douce, gonflant artificiellement leurs scores de fidélité simplement parce que l'entrée perturbée contient plus d'informations, et non parce que l'attribution est plus précise. Ce problème est particulièrement prononcé dans les LLM décodeurs uniquement autoregressifs, où les distributions de scores d'attribution peuvent varier considérablement d'une étape de génération à l'autre.

Méthodologie

1. $\pi$ -Soft-NC et $\pi$ -Soft-NS

Pour remédier au biais des métriques existantes, les auteurs proposent $\pi$ -Soft-NC et $\pi$ -Soft-NS. Ce sont des cadres d'évaluation qui comparent les méthodes d'attribution sous une probabilité cible de conservation contrôlée ( $\pi$ ).

Mécanisme : Au lieu de comparer les scores bruts d'attribution, le cadre transforme chaque distribution d'attribution en utilisant une transformation alpha ( $\tilde{s}_i = s_i^\alpha$ ). Le paramètre $\alpha$ est résolu numériquement (par exemple, via une recherche par dichotomie) de telle sorte que la probabilité de conservation attendue des scores transformés corresponde à une cible spécifique $\pi \in [0, 1]$ .
Comparaison Équitable : En forçant différentes méthodes à conserver la même quantité attendue d'informations (même $\pi$ ), l'évaluation isole la qualité et l'étalonnage de la distribution d'attribution des différences de force de perturbation.
Protocoles d'Évaluation : Les auteurs introduisent deux protocoles pour évaluer différents aspects de l'attribution :
- Routage Dynamique : L'attention du transformateur est recalculée dynamiquement en fonction de l'entrée perturbée. Cela mesure comment les attributions identifient les mots utiles dans des conditions de modèle changeantes.
- Routage Fixe : Les cartes d'attention sont mises en cache à partir de l'entrée originale non perturbée et réutilisées pendant la perturbation. Cela isole la contribution causale du contenu du jeton de la réallocation de l'attention.
Visualisation : Balayer $\pi$ de 0 à 1 génère une courbe ( $\pi$ -Soft-NC/NS par rapport à $\pi$ ). La surface sous la courbe (AUC) résume les performances. Des scores élevés à faible $\pi$ indiquent une preuve suffisante compacte, tandis qu'une forte performance sur des $\pi$ élevés indique une exhaustivité large.

2. Grad-ELLM

Les auteurs introduisent Grad-ELLM, une méthode d'attribution basée sur le gradient conçue spécifiquement pour les LLM décodeurs uniquement autoregressifs.

Inspiration : Elle adapte le concept d'agrégation gradient-attention de Grad-ECLIP (conçu pour les modèles vision-langage à double encodeur) à la génération de texte séquentielle.
Mécanisme :
- Pour chaque étape de décodage, elle calcule l'attribution par rapport au logit du prochain jeton.
- Elle combine l'importance des canaux dérivée du gradient (sensibilité du logit aux canaux de sortie de l'attention) avec l'importance des jetons dérivée de l'attention (poids des jetons).
- Pour éviter des poids softmax « pointus » trop clairsemés, elle emploie une normalisation « assouplie » (normalisation min-max) sur les similarités requête-clé, résultant en une distribution d'attribution continue.
- Les scores d'attribution sont agrégés sur les couches de décodeur sélectionnées pour former la carte thermique finale.

Contributions Clés

Identification du Biais : L'article identifie que les métriques Soft-NC/NS existantes comparent injustement des méthodes avec des moyennes de scores différentes, car elles évaluent intrinsèquement des quantités différentes d'informations conservées.
Nouvelles Métriques d'Évaluation : La proposition de $\pi$ -Soft-NC et $\pi$ -Soft-NS, qui normalisent les comparaisons en contrôlant l'information conservée attendue via une probabilité cible $\pi$ .
Nouvelle Méthode d'Attribution : L'introduction de Grad-ELLM, qui intègre les signaux de gradient et d'attention spécifiquement pour la nature séquentielle des LLM décodeurs uniquement.
Analyse Empirique Complète : Une comparaison rigoureuse de méthodes d'attribution représentatives (incluant Attention, Saliency, Integrated Gradients, DeepLIFT, Value Zeroing et ReAGent) à travers des tâches de classification et de génération ouverte.

Résultats Expérimentaux

Des expériences ont été menées sur Llama-3.1-8B et Mistral-7B (avec des résultats supplémentaires sur 70B) à travers cinq jeux de données (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

Diagnostic des Métriques Originales : L'analyse des Soft-NC/NS bruts a confirmé le biais ; des méthodes comme Random et Grad-ELLM conservaient significativement plus de jetons (plus haut $\pi$ ) que des méthodes clairsemées comme DeepLIFT, conduisant à des scores incomparables.
Performance sous $\pi$ -Soft-NC : Grad-ELLM a obtenu la fidélité orientée exhaustivité la plus forte (AUC moyenne la plus élevée) sur Llama et Mistral. Cela suggère que Grad-ELLM identifie efficacement une couverture large des preuves.
Performance sous $\pi$ -Soft-NS : Aucune méthode unique n'a dominé l'évaluation orientée suffisance ( $\pi$ -Soft-NS). Des méthodes clairsemées comme Input $\times$ Gradient ont bien performé dans le top-3, indiquant qu'elles peuvent identifier plus précisément les mots les plus critiques, mais aucune méthode n'était universellement supérieure.
Comparaison avec Random : La plupart des méthodes n'ont montré un avantage par rapport aux attributions Random que lorsque la probabilité de conservation $\pi > 0.5$ . Cela suggère que pour ces tâches, des informations contextuelles significatives (plus que de simples jetons classés en tête) sont requises, ou que les méthodes actuelles peinent avec l'ordre précis des attributions de tête.
Analyse Qualitative : Dans des exemples de classification de sentiments, Grad-ELLM a mis en évidence avec succès des phrases compositionnelles (par exemple, « très peu positif ») plutôt que des jetons isolés (par exemple, « positif »), capturant mieux la nuance de la négation que les références.

Signification et Revendications

L'article revendique que son cadre d'évaluation proposé fournit une norme rigoureuse pour comparer les méthodes d'IA explicable (XAI) pour les LLM. En contrôlant l'information conservée, $\pi$ -Soft-NC/NS permet aux chercheurs de distinguer entre les méthodes qui offrent des preuves suffisantes compactes et celles qui fournissent des preuves exhaustives orientées exhaustivité.

Les auteurs soulignent que Grad-ELLM est conçu pour produire des distributions d'attribution denses et étalonnées plutôt que des classements extrêmement clairsemés. Par conséquent, bien que Grad-ELLM excelle sous les métriques de perturbation douce proposées, il peut ne pas être optimal pour les métriques de classement de perturbation dure (comme Insertion/Suppression) où l'ordre de quelques jetons de tête domine. L'article conclut que l'attribution fidèle doit être évaluée le long de multiples axes (suffisance vs exhaustivité) plutôt que de s'appuyer sur une seule métrique, et que les métriques proposées soutiennent les progrès dans la compréhension de la manière dont les preuves d'attribution sont organisées dans les modèles autoregressifs.

Limitations reconnues par les auteurs :

Grad-ELLM nécessite l'accès aux états internes du modèle (gradients, attention), ce qui le limite aux modèles open-source.
L'étude se concentre sur la fidélité, et non sur la plausibilité (interprétabilité humaine), qui reste difficile à quantifier objectivement.
Les métriques reposent toujours sur des perturbations au niveau des embeddings, qui peuvent ne pas s'aligner parfaitement avec les distributions de texte naturel.