💻 computer science

Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models

Cet article présente le premier cadre d'évaluation de référence pour évaluer les explications de mise en évidence de l'utilisation du contexte dans les modèles de langage, révélant que, bien que la méthode d'interprétabilité mécaniste adaptée MechLight surpasse les techniques existantes, toutes les méthodes peinent avec des contextes plus longs et présentent des biais positionnels.

Auteurs originaux : Jingyi Sun, Pepa Atanasova, Sagnik Ray Choudhury, Sekh Mainul Islam, Isabelle Augenstein

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingyi Sun, Pepa Atanasova, Sagnik Ray Choudhury, Sekh Mainul Islam, Isabelle Augenstein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent (un Modèle de Langage) qui connaît de nombreux faits issus de sa propre mémoire, comme une bibliothèque qu'il a construite dans son cerveau. Parfois, vous donnez à ce robot un nouveau morceau de papier contenant des informations et lui posez une question. Le robot peut répondre en utilisant ce qu'il sait déjà, ou il peut consulter votre nouveau papier.

Le problème est que le robot ne vous indique pas quelle source il a utilisée. A-t-il lu votre papier, ou a-t-il simplement deviné à partir de sa mémoire ?

Ce papier présente une nouvelle méthode pour tester les « Explications par Surlignage ». Considérez ces explications comme un surligneur que le robot utilise pour marquer les mots exacts de votre papier qu'il a lus pour formuler sa réponse. L'objectif est de vérifier si ce surligneur pointe réellement vers les bons mots, ou s'il fait simplement des gribouillis au hasard.

Voici un résumé simple de ce que les chercheurs ont fait et découvert :

1. Le Problème : La « Boîte Noire »

Actuellement, il est difficile de déterminer si le robot lit votre papier ou s'il se fie simplement à sa mémoire. Les outils existants qui tentent de nous montrer « ce à quoi le robot pense » (appelés Explications par Surlignage) n'ont jamais été correctement testés pour vérifier leur exactitude. C'est comme avoir un GPS qui prétend vous montrer l'itinéraire, mais dont personne n'a jamais vérifié s'il pointe réellement vers les bonnes rues.

2. La Solution : Un Test « Référence Or »

Les chercheurs ont construit un laboratoire d'essai spécial pour vérifier ces surligneurs. Ils ont créé quatre scénarios spécifiques, comme un jeu de détective :

Le Conflit : Le papier indique « La capitale est Ankara », mais la mémoire du robot dit « La capitale est Londres ». Si le robot répond « Ankara », il doit avoir lu le papier. Le surligneur devrait pointer vers « Ankara ».
La Distraction : Le papier contient beaucoup de non-sens ou d'informations sans rapport. Le surligneur ne devrait pas pointer vers le non-sens.
Le Double Problème : Vous donnez au robot deux papiers différents qui contredisent tous deux sa mémoire. Le surligneur doit pointer vers le papier spécifique que le robot a choisi.

Ils ont créé une « Référence Or » (la clé de réponse correcte) pour ces tests afin de pouvoir noter objectivement les surligneurs.

3. Les Concurrents

Ils ont testé quatre types différents de surligneurs :

Le « Bloqueur » (Ablation de Caractéristiques) : Cette méthode tente de masquer un mot à la fois pour voir si la réponse change. C'est comme couvrir un mot avec votre doigt pour voir si la phrase garde encore du sens.
Le « Magicien des Mathématiques » (Gradients Intégrés) : Il utilise des mathématiques complexes pour calculer dans quelle mesure chaque mot a contribué à la réponse.
Le « Suiveur de Regard » (Attention) : Il observe où les « yeux » internes du robot étaient dirigés lorsqu'il a parlé.
Le « Mécanicien » (MechLight) : Il s'agit d'une nouvelle méthode créée par les auteurs. Au lieu de deviner, ils ont regardé à l'intérieur du cerveau du robot (ses mécanismes internes) pour trouver l'engrenage ou l'interrupteur spécifique qui a décidé d'utiliser le papier, puis ont retracé cela jusqu'aux mots.

4. Les Résultats : Qui a gagné ?

Le Gagnant : Le « Mécanicien » (MechLight) était le meilleur pour pointer vers les bons mots. C'était le détective le plus fiable.
Les Finalistes : La méthode « Bloqueur » était correcte mais très inconstante. Parfois, elle fonctionnait très bien ; d'autres fois, elle se perdait.
Les Perdants : Étonnamment, le « Magicien des Mathématiques » et le « Suiveur de Regard » — qui sont très populaires et utilisés dans de nombreux autres outils — étaient terribles pour ce travail spécifique. Ils pointaient souvent vers les mauvais mots ou ne pouvaient pas dire quel papier le robot avait utilisé.

5. Les Grosses Failles (Les « Pièges »)

Même le meilleur surligneur présentait deux faiblesses majeures :

Le Problème du « Long Papier » : À mesure que le texte s'allongeait, tous les surligneurs se sont dégradés. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin ; plus la botte de foin est grande, plus il est difficile pour le surligneur de trouver l'aiguille.
Le « Biais de Position » : Les surligneurs avaient l'habitude étrange de favoriser des mots en fonction de leur emplacement, et non de leur signification.
- Certaines méthodes aimaient toujours les mots à la fin du texte (biais de « récence »).
- D'autres aimaient toujours les mots au début (biais de « primauté »).
- Cela signifie que si vous déplacez une phrase du début vers la fin, le surligneur pourrait changer d'avis sur le fait que cette phrase était importante, même si le sens reste identique.

6. La Conclusion

Le papier conclut que bien que nous disposions d'outils pour expliquer comment les robots utilisent le contexte, la plupart d'entre eux sont actuellement peu fiables pour cette tâche spécifique. Ils échouent souvent à nous montrer exactement quelle partie du texte le robot a utilisée, en particulier lorsque le texte est long ou lorsqu'il y a plusieurs documents.

Le nouveau cadre des auteurs (le laboratoire d'essai) est désormais disponible pour que d'autres puissent l'utiliser afin de construire de meilleurs surligneurs, plus précis, à l'avenir. Ils ont également publié leur code et leurs données afin que d'autres scientifiques puissent tenter de résoudre ces problèmes.

En résumé : Nous disposons d'une nouvelle méthode rigoureuse pour tester si les explications de l'IA disent la vérité. Le test a montré que les explications actuelles mentent souvent (ou du moins, sont très confuses), mais nous avons désormais un plan pour en construire qui disent la vérité.

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus utilisés dans des applications nécessitant l'intégration d'un contexte externe (Connaissance Contextuelle, CK) avec des connaissances paramétriques internes (PK), telles que la génération augmentée par récupération (RAG) et la vérification des faits. Cependant, un fossé critique en matière de transparence existe :

Opacité : Les utilisateurs ne peuvent pas déterminer si la sortie d'un modèle repose sur le contexte fourni ou sur ses données d'entraînement internes.
Absence de vérité terrain : Les méthodes existantes pour évaluer les « Explications de Mise en Évidence » (HE), qui pointent vers des tokens d'entrée spécifiques responsables d'une sortie, reposent sur des métriques de fidélité (par exemple, la exhaustivité et la suffisance). Ces métriques utilisent des proxys de perturbation (masquage/suppression de tokens) qui créent des artefacts hors distribution et manquent d'une référence de vérité (vérité terrain) pour vérifier si l'explication reflète réellement la véritable source d'information du modèle.
Le fossé : Il n'existe aucun cadre pour évaluer si les HE identifient avec précision quelles pièces de contexte ou quels tokens spécifiques ont influencé la décision du modèle, en particulier lorsque le contexte contredit la mémoire paramétrique du modèle.

2. Méthodologie

Les auteurs proposent le premier cadre d'évaluation de référence pour l'attribution de contexte, utilisant des cas de test contrôlés où l'utilisation du contexte de vérité terrain est prédéterminée.

A. Régimes d'entrée contrôlés

Le cadre construit quatre scénarios spécifiques pour tester différents aspects de l'utilisation du contexte, en s'assurant que le modèle doit utiliser le contexte (en rendant la réponse du contexte contradictoire avec les connaissances paramétriques du modèle) :

Conflit (Simple) : Un passage de contexte contredit les PK du modèle.
Non pertinent (Simple) : Un passage de contexte est non pertinent mais contient un token de réponse distracteur (incorrect).
Double Conflit (Dual) : Deux passages de contexte contredisent tous deux les PK.
Mixte (Dual) : Un passage non pertinent et un passage en conflit.

Note : Les auteurs créent également des versions « Échange » des configurations à double contexte pour tester les biais de position.

B. Métriques d'évaluation

Le cadre évalue les HE selon trois axes alignés sur trois questions de recherche (RQ) :

Précision de l'attribution au niveau du document (RQ1 & RQ2) :
- $\Delta$ Rank@k : Mesure la marge de rang des tokens du document « utilisé » par rapport au document « non utilisé » (ou contexte vs mémoire). Une marge positive indique que la HE priorise correctement la source pertinente.
- Simulabilité : Utilise l'Information Mutuelle Normalisée (NMutInf) et la Longueur Minimale de Description (MDL-Bits) pour déterminer si les tokens mis en évidence en top- $k$ peuvent prédire le choix de source du modèle (CK vs PK, ou Passage 1 vs Passage 2).
Précision de l'attribution au niveau du token (RQ3) :
- Réciproque Moyenne du Rang (MRR) : Évalue à quel rang élevé la HE place le ou les tokens de réponse exacte de vérité terrain trouvés dans le contexte.

C. Méthodes évaluées

Le cadre teste quatre techniques de HE :

Ablation de caractéristiques (FA) : Masque les tokens pour mesurer l'impact sur la probabilité de réponse.
Gradients Intégrés (IG) : Utilise les magnitudes des gradients le long d'un chemin allant d'une base de référence à l'entrée.
Visualisation de l'attention (ATTN) : Utilise les poids d'attention de la tête d'attention la plus influente.
MechLight (Nouveau) : Une approche d'interprétabilité mécaniste. Elle identifie la tête d'attention spécifique qui entraîne le plus fortement la différence de logit entre les réponses concurrentes (par exemple, CK vs PK) et projette les poids d'attention de cette tête sur les tokens d'entrée comme explication.

D. Configuration expérimentale

Ensembles de données : FAKEPEDIA, WORLDCAPITAL, COUNTERFACT et CONFLICTQA.
Modèles : Cinq LLMs allant de 1,5 à 7 milliards de paramètres (GPT2-XL, Pythia-2.8B/6.9B, Qwen2.5-3B/7B).

3. Contributions clés

Cadre de référence : Introduction du premier benchmark d'évaluation pour les HE dans l'utilisation du contexte, reposant sur l'utilisation de contexte de vérité terrain plutôt que sur des proxys de perturbation indirects.
Méthode MechLight : Proposition d'une nouvelle méthode d'interprétabilité mécaniste légère qui convertit les signaux internes du modèle (têtes d'attention entraînant les écarts de logit) en explications de mise en évidence au niveau des tokens.
Évaluation comparative complète : Évaluation des méthodes établies (FA, IG, ATTN) et de la nouvelle méthode MechLight à travers divers modèles, ensembles de données et scénarios de contexte (simple/dual, conflit/non pertinent).
Publication publique : Mise à disposition du code et de l'ensemble de données reconstruit pour faciliter les recherches futures.

4. Résultats

Comparaison des performances

Meilleur performant : MechLight surpasse systématiquement toutes les autres méthodes dans tous les scénarios, ensembles de données et modèles. Il affiche la plus grande précision pour distinguer l'utilisation de CK et de PK et identifier le bon document dans les configurations à double contexte.
Deuxième meilleur : L'ablation de caractéristiques (FA) montre des promesses mais présente une variance élevée et une instabilité, en particulier dans les scénarios à contexte long.
Mauvais performants : Les Gradients Intégrés (IG) et la Visualisation de l'attention (ATTN) ont mal performé, donnant souvent des marges proches de zéro ou négatives. De manière surprenante, malgré de bons scores sur les métriques de fidélité traditionnelles, ils ont apporté peu de valeur pour révéler les véritables schémas d'utilisation du contexte.

Échecs systématiques et limites

Sensibilité à la longueur du contexte : La précision des explications se dégrade considérablement à mesure que la longueur du contexte augmente. Toutes les méthodes peinent à identifier le token de réponse correct dans des contextes longs (par exemple, CONFLICTQA).
Biais de position : Dans les configurations à double document, toutes les méthodes ont présenté de forts biais de position :
- FA et IG tendaient à favoriser les passages plus tardifs (biais de récence).
- ATTN et MechLight tendaient à favoriser les passages plus précoces (biais de primauté).
- Ce biais persistait même lorsque l'ordre des documents était inversé, suggérant qu'il s'agit d'un artefact de la méthode ou de l'architecture du modèle plutôt que de la pertinence du contenu.
Erreurs de localisation des tokens : Des études de cas qualitatives ont révélé que même lorsque les modèles copient des réponses depuis le contexte, les HE mettent souvent en évidence :
- Des tokens génériques (mots de stop, ponctuation).
- Des descripteurs ou entités voisins adjacents à la réponse.
- La phrase de la question elle-même (par exemple, « Quoi », « Qui »).

5. Signification

Remise en question des pratiques actuelles : Les résultats remettent en cause l'utilité des méthodes basées sur les gradients (IG) et sur l'attention (ATTN) largement utilisées pour les applications RAG et de vérification des faits, suggérant qu'elles peuvent être trompeuses en matière d'attribution de source.
Fondation pour le développement futur : Le cadre fournit une base rigoureuse, fondée sur la vérité terrain, pour développer la prochaine génération de méthodes d'attribution de contexte qui doivent surmonter la sensibilité à la longueur et le biais de position.
Validation de l'interprétabilité mécaniste : Le succès de MechLight met en évidence le potentiel de l'interprétabilité mécaniste (analyse des composants internes du modèle) par rapport aux méthodes de perturbation post-hoc standard pour comprendre le comportement du modèle dans des scénarios de récupération complexes.

En conclusion, l'article établit que si les méthodes HE actuelles offrent certains aperçus, elles sont actuellement insuffisantes pour une attribution de contexte fiable dans des applications réelles à contexte long. Le cadre proposé et la méthode MechLight offrent une voie à suivre pour construire des systèmes LLM plus transparents et dignes de confiance.