💬 NLP

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

Cette étude propose une analyse d'attribution contrastive basée sur LRP pour examiner les échecs des grands modèles de langage dans des contextes réalistes, révélant que cette méthode offre des signaux informatifs dans certains cas mais présente des limites pour une applicabilité universelle sur les benchmarks standards.

Auteurs originaux : Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚗 Le Problème : La voiture qui rate le virage

Imaginez que vous avez une voiture de course ultra-performante (une IA ou LLM). Elle est capable de faire des choses incroyables, comme écrire des poèmes, coder des logiciels ou résoudre des énigmes. Mais parfois, elle fait une erreur bête : elle rate un virage, elle sort de la route, ou elle donne une réponse complètement fausse.

Jusqu'à présent, les mécaniciens (les chercheurs) regardaient surtout ce qui se passait à l'extérieur :

"La voiture a dérapé à gauche."
"Elle a accéléré au mauvais moment."

C'est utile pour dire quand ça a raté, mais pas pour comprendre pourquoi. C'est comme regarder un accident de voiture sans jamais ouvrir le capot pour voir le moteur.

🔍 La Solution : Le "Scanner de Mécanique" (L'Interprétabilité)

Les auteurs de cet article ont décidé d'ouvrir le capot. Ils utilisent un outil spécial appelé Attribution Contrastive (basé sur une méthode appelée LRP).

L'analogie du "Pourquoi pas l'autre ?"
Au lieu de juste regarder pourquoi la voiture a pris la mauvaise route, ils se demandent : "Pourquoi la voiture a-t-elle choisi de tourner à gauche (l'erreur) plutôt qu'à droite (la bonne réponse) ?"

Ils comparent les deux choix à chaque étape du voyage pour voir quels éléments de la route (les mots de la phrase) ont poussé la voiture vers la gauche.

🛠️ Ce qu'ils ont découvert (Les 3 grandes leçons)

1. Parfois, le moteur écoute les mauvaises instructions

Dans certains cas, l'IA ignore les consignes importantes.

L'image : Imaginez un chef cuisinier (l'IA) à qui on dit : "Fais une salade, mais sans mettre de tomates."
L'erreur : Le chef met plein de tomates.
Ce que le scanner révèle : Le scanner montre que le chef a écouté le mot "salade" et "tomates" (qu'il aime beaucoup), mais il a complètement ignoré le mot "sans". C'est ce qu'ils appellent "sous-pondérer les tokens pertinents". L'IA a trop écouté le bruit et pas assez le signal important.

2. Parfois, le moteur s'emballe tout seul

Dans d'autres cas, l'IA se fie à ses propres habitudes, même si elles sont fausses.

L'image : C'est comme un élève qui, au lieu de lire l'énoncé du problème de maths, répond automatiquement "42" parce que c'est la réponse qu'il a vue mille fois dans ses devoirs précédents.
Ce que le scanner révèle : Le scanner montre que l'IA ne regarde même pas les chiffres de l'énoncé. Elle est guidée par une "mémoire interne" ou un biais (comme un réflexe conditionné). C'est ce qu'ils appellent "sur-pondérer les tokens non pertinents".

3. Plus la voiture est grosse, mieux elle conduit (mais pas toujours)

Les chercheurs ont comparé des petites voitures (modèles de 0,6 milliard de paramètres) avec des gros camions (modèles de 4 ou 8 milliards).

Résultat : Les gros modèles font beaucoup moins d'erreurs.
La découverte clé : Ce n'est pas juste de la chance. Le scanner montre que les gros modèles réorganisent leur moteur. Ils apprennent à écouter les instructions importantes et à ignorer les distractions. C'est une amélioration réelle de la logique, pas juste de la mémorisation.

🧩 Le défi des longs voyages (Contexte long)

La plupart des outils d'analyse précédents ne pouvaient pas regarder au-delà de quelques mètres de route (des phrases courtes). Mais les IA d'aujourd'hui doivent lire des livres entiers ou des conversations de plusieurs heures.

Les auteurs ont créé un nouvel outil de scanner capable de suivre le moteur sur des milliers de kilomètres sans se bloquer. Ils ont pu voir comment l'information voyage à travers les différentes couches du cerveau de l'IA, comme des relais dans une course de haies.

🎯 Pourquoi c'est important pour nous ?

On peut réparer les erreurs : En sachant exactement quel mot a causé le problème, on peut réécrire les instructions (le "prompt") pour que l'IA comprenne mieux. C'est comme dire au chef : "Non, je parlais de tomates, mais je voulais dire 'sans tomates' !"
On peut surveiller l'apprentissage : On peut voir en temps réel si l'IA apprend vraiment à raisonner ou si elle apprend juste à tricher.
On comprend les limites : L'article montre aussi que cet outil n'est pas magique. Parfois, même avec le scanner, on ne comprend pas pourquoi l'IA a fait une erreur (surtout en maths complexes). Cela nous dit qu'il reste du travail à faire pour rendre les IA totalement transparentes.

En résumé

Cet article dit : "Arrêtons de deviner pourquoi les IA échouent. Utilisons un scanner pour voir exactement quelles pièces du cerveau de l'IA ont pris la mauvaise décision, et voyons comment les modèles plus gros apprennent à mieux faire."

C'est un pas de géant pour passer de "L'IA a raté" à "Voici exactement comment nous pouvons aider l'IA à réussir la prochaine fois".

1. Problématique

Bien que les outils d'interprétabilité soient de plus en plus utilisés pour analyser les défaillances des Grands Modèles de Langage (LLM), les travaux antérieurs se concentrent majoritairement sur des prompts courts, des environnements factices ("toy settings") ou des modèles de templates hautement contraints. Il existe un vide significatif concernant le comportement de ces outils sur des benchmarks réalistes et des contextes longs (parfois plusieurs milliers de tokens), où les échecs des modèles sont souvent complexes et ouverts.

Les analyses comportementales traditionnelles (observation des entrées/sorties) identifient ce qui échoue, mais rarement pourquoi (mécanismes internes). De plus, les méthodes d'interprétabilité existantes peinent à s'adapter à la complexité et à la longueur des contextes réels, limitant leur utilité pratique pour le débogage de modèles déployés.

2. Méthodologie

Les auteurs proposent un cadre d'analyse basé sur l'attribution contrastive et la Propagation de la Pertinence par Couches (LRP - Layer-wise Relevance Propagation).

A. Formulation de l'Attribution Contrastive

Au lieu d'analyser simplement la probabilité d'un token, l'approche formule l'analyse d'échec comme un problème d'attribution de la différence de logit entre :

Un token cible incorrect ( $t_{tgt}$ ) généré par le modèle.
Un token alternatif correct ( $t_{con}$ ) qui aurait permis une trajectoire de réponse juste.

L'objectif est d'attribuer cette différence de logit ( $\Delta \ell$ ) aux tokens d'entrée et aux états internes du modèle (hidden states) à travers les couches. Cela permet d'isoler les calculs spécifiques responsables de la préférence erronée du modèle.

B. Extension Efficace pour les Contextes Longs

Pour surmonter les limitations computationnelles de l'attribution sur des séquences longues (ex: 10k+ tokens) :

Les auteurs utilisent une variante de LRP appelée AttnLRP, connue pour sa fidélité dans les modèles Transformer.
Ils introduisent une méthode de "batch-packing" (regroupement par lots) pour la rétropropagation multi-cibles. Au lieu de lancer une rétropropagation distincte pour chaque token cible (ce qui serait prohibitif), ils exploitent la dimension de lot des GPU pour calculer simultanément les graphes d'attribution entre plusieurs cibles.
Cela permet de construire des graphes d'attribution inter-couches (cross-layer attribution graphs) reliant les états cachés de différentes couches, tout en restant efficace.

C. Analyse Coarse-to-Fine (Du grossier au fin)

Niveau grossier : Agrégation de la pertinence au niveau des tokens d'entrée (heatmaps) pour identifier les patterns globaux.
Niveau fin : Construction de graphes d'attribution pour les cas non expliqués par les heatmaps, permettant de visualiser la propagation de la pertinence à travers les couches et les neurones spécifiques.

3. Contributions Clés

Formalisation de l'analyse d'échec : Transformation de l'analyse d'échec des LLM en un problème d'attribution contrastive au niveau du token, applicable à des scénarios réalistes.
Innovation algorithmique : Développement d'une extension efficace de l'attribution basée sur LRP permettant la construction de graphes d'attribution pour des entrées à contexte long.
Étude empirique systématique : Analyse de centaines de cas d'échec sur plusieurs benchmarks (IFEval, GAIA2, MATH, EvalPlus) en comparant les patterns d'attribution selon les jeux de données, la taille des modèles et les points de contrôle d'entraînement (checkpoints).
Outils et Code : Mise à disposition d'un pipeline de débogage interprétable (disponible sur GitHub).

4. Résultats Principaux

A. Patterns de Défaillance Identifiés

L'analyse révèle deux modes de défaillance dominants :

Sous-peser les tokens pertinents (URT - Underweight Relevant Tokens) : Le modèle ne donne pas assez de poids aux tokens d'instruction ou de contexte critiques (ex: ignorer une contrainte "pas de virgules"). C'est le mode d'échec le plus fréquent.
Sur-peser les tokens non pertinents (OIT - Overweight Irrelevant Tokens) : Le modèle accorde une importance excessive à des tokens distracteurs ou sémantiquement vides.

B. Efficacité de l'Interprétabilité

Cas explicables : Pour la majorité des échecs (surtout sur IFEval, GAIA2, EvalPlus), l'attribution au niveau des tokens d'entrée suffit à révéler la cause (heatmaps claires).
Cas complexes : Pour une fraction significative des échecs (notamment en raisonnement mathématique sur MATH), l'attribution d'entrée est insuffisante. L'analyse des graphes d'attribution est nécessaire pour révéler des dynamiques internes complexes (ex: accumulation de biais dans les dernières couches qui annulent les signaux contextuels).

C. Impact de la Mise à l'Échelle (Scaling)

En comparant des modèles de tailles différentes (Qwen3 0.6B vs 1.7B vs 4B) sur les mêmes échecs :

Les modèles plus grands corrigent souvent les erreurs des modèles plus petits.
L'interprétabilité montre que cette correction n'est pas aléatoire : elle s'accompagne d'un changement systématique et interprétable des scores de pertinence. Les modèles plus grands deviennent plus attentifs aux contraintes de l'instruction (devenant négativement pertinents pour les tokens de violation) et moins dépendants de la continuation superficielle de tokens précédents.

D. Évolution durant l'Entraînement

L'analyse des checkpoints d'entraînement (Olmo-3-7B-Think) montre que :

Les corrections d'échec se produisent principalement durant le SFT (Supervised Fine-Tuning) précoce, où le modèle apprend à ignorer les continuations de tokens superficiels.
Les phases ultérieures (DPO, RLVR) apportent des ajustements plus fins, mais les changements structurels majeurs dans l'attribution ont lieu tôt.

5. Signification et Implications

Validation Pratique : L'étude démontre que l'interprétabilité n'est pas seulement théorique mais offre une valeur diagnostique concrète pour les échecs réels des LLM.
Limites : Une partie non négligeable des échecs (surtout en mathématiques) reste inexpliquée par les méthodes actuelles, soulignant la nécessité d'outils plus expressifs ou d'une granularité neuronale plus fine.
Applications Futures :
- Prompt Tuning Ciblé : Utiliser les heatmaps pour identifier et modifier les tokens d'entrée spécifiques qui provoquent les erreurs.
- Surveillance de l'Entraînement : Utiliser les graphes d'attribution pour vérifier si l'amélioration des performances provient d'un véritable changement de raisonnement ou d'un simple "bruit" statistique.
- Alignement Token-Level : Intégrer les scores d'attribution dans les algorithmes d'optimisation de préférence (comme DPO) pour pénaliser ou récompenser spécifiquement les tokens responsables des erreurs, plutôt que l'ensemble de la réponse.

En conclusion, cet article établit un pont crucial entre l'interprétabilité mécaniste et l'analyse pratique des défaillances des LLM sur des benchmarks réalistes, tout en fournissant des outils scalables pour explorer ces phénomènes.