Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations

Cette étude propose un pipeline qui relie l'analyse des circuits causaux aux explications en langage naturel pour les LLM, démontrant sur la tâche d'identification d'objet indirect dans GPT-2 Small que les explications générées par LLM surpassent les modèles basés sur des templates, tout en révélant un manque de corrélation entre la confiance du modèle et la fidélité des explications.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tous, même sans expertise technique.

🕵️‍♂️ Le Grand Mystère : Comment l'IA "Pense-t-elle" ?

Imaginez que les grands modèles de langage (comme ceux qui écrivent des textes ou répondent à vos questions) soient des géants très intelligents mais silencieux. Ils donnent d'excellentes réponses, mais personne ne sait exactement comment ils arrivent à ces conclusions. C'est comme si un cuisinier vous servait un plat délicieux, mais refusait de vous donner la recette.

Les chercheurs veulent comprendre la "recette" interne de ces géants. Jusqu'à présent, il y avait deux écoles de pensée qui ne se parlaient pas :

1. Les mécaniciens : Ils regardent les engrenages internes (les circuits du cerveau de l'IA) en utilisant un langage très technique et froid.
2. Les conteurs : Ils essaient d'expliquer les décisions de l'IA en langage courant, mais souvent en se basant sur des indices superficiels (comme "où l'IA regarde", ce qui peut être trompeur).

Le but de ce papier ? Réunir ces deux mondes. L'auteur, Ajay, veut créer un pont pour transformer la compréhension technique des "engrenages" en explications claires et vraies (fidèles) en langage naturel.

---

🧪 L'Expérience : Le Jeu du "Qui est qui ?"

Pour tester son idée, l'auteur a utilisé un jeu simple appelé IOI (Identification de l'Objet Indirect).

• La phrase : "Quand Marie et Jean sont allés au magasin, Jean a donné une boisson à..."
• La réponse attendue : "Marie".

C'est un jeu de logique où le modèle doit comprendre que "Jean" a donné quelque chose à "Marie", et non à lui-même. C'est un excellent terrain d'essai car on sait déjà, grâce à des recherches précédentes, quels sont les "engrenages" (les têtes d'attention) qui devraient faire le travail.

🔍 La Méthode : L'Autopsie Numérique

L'auteur a utilisé une technique appelée "patching d'activation". Imaginez que le cerveau du modèle est une ville remplie de milliers de petits ouvriers (les têtes d'attention).

1. L'expérience : L'auteur prend un ouvrier spécifique, le met dans une boîte (il l'empêche de travailler), et voit si la réponse de l'IA change.
2. Le résultat : Il a découvert que seulement 6 ouvriers sur des milliers sont responsables de 61 % de la décision finale. C'est comme si, dans une usine de voitures, 6 personnes clés faisaient tout le travail de serrage des vis.

🗣️ Le Défi : Expliquer sans Mentir

Une fois les 6 ouvriers clés identifiés, comment les présenter au public ? L'auteur a testé deux méthodes pour écrire l'explication :

1. Le Modèle "Moule à Gâteau" (Template) : Une phrase toute faite que l'on remplit avec les données.
   • Résultat : C'est correct, mais un peu robotique et générique.
2. Le Modèle "Traducteur Intelligent" (LLM) : On donne les données techniques à une autre IA et on lui demande : "Explique ça simplement".
   • Résultat : Gagnant ! Ces explications étaient 66 % meilleures. Elles étaient plus précises, mentionnaient les pourcentages exacts et racontaient une histoire cohérente.

⚠️ La Surprise : Le Piège de la Confiance

C'est ici que ça devient fascinant. L'auteur a découvert deux choses importantes :

1. Le mythe de la certitude : On pensait que si le modèle était très confiant (disant "Je suis sûr à 100 %"), son explication serait parfaite. Faux. Il n'y a aucun lien entre la confiance du modèle et la qualité de l'explication. Un modèle peut être très confiant tout en ayant une explication incomplète.
2. Le secret des "Sauvegardes" : L'explication était parfaite pour prédire la réponse (100 % de succès), mais si on enlevait ces 6 ouvriers, le modèle ne s'effondrait pas complètement ! Il y avait d'autres ouvriers cachés qui prenaient le relais.
   • L'analogie : C'est comme un avion. L'explication dit : "Ce sont les 6 moteurs principaux qui font voler l'avion". C'est vrai. Mais si on coupe ces 6 moteurs, l'avion ne tombe pas tout de suite grâce aux moteurs de secours cachés. L'explication est donc vraie, mais incomplète.

💡 Les Leçons à Retenir

Ce papier nous apprend trois choses essentielles pour l'avenir de l'IA :

• La vérité a un prix : Pour avoir de vraies explications, il faut aller chercher la cause profonde (les circuits), pas juste regarder ce qui brille à la surface.
• Les IA sont redondantes : Elles ont des systèmes de secours cachés. Cela les rend solides, mais très difficiles à expliquer simplement.
• Ne faites pas confiance aux apparences : Le fait qu'une IA semble sûre d'elle ne garantit pas que son explication est complète. Il faut toujours vérifier les "moteurs de secours".

En résumé : L'auteur a créé un outil qui traduit le langage complexe des circuits d'IA en histoires humaines compréhensibles. C'est un pas de géant vers des IA plus transparentes, même si nous devons encore apprendre à accepter que certaines explications ne seront jamais 100 % complètes à cause de la complexité cachée de ces géants numériques.

Résumé technique

Voici un résumé technique détaillé de l'article « Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations » (Interprétabilité mécaniste ancrée causalement pour les LLM avec des explications en langage naturel fidèles), rédigé par Ajay Pravin Mahale.

1. Problématique

Bien que les grands modèles de langage (LLM) excellent dans diverses tâches, leurs processus décisionnels internes restent opaques. Deux approches principales tentent de résoudre ce problème, mais elles évoluent souvent en silos :

• L'interprétabilité mécaniste : Elle identifie les circuits internes (groupes de têtes d'attention et de couches) responsables des comportements du modèle. Cependant, ses résultats sont souvent exprimés en termes techniques (ex: « La tête L9H9 contribue à 17,4 % ») et ne sont pas directement compréhensibles par les humains.
• L'IA explicable (XAI) : Elle génère des rationnels en langage naturel, mais repose souvent sur des signaux corrélés (comme les poids d'attention) qui ne reflètent pas nécessairement les mécanismes causaux.

Le défi central abordé par cet article est de traduire automatiquement l'analyse de circuits mécanistes en explications en langage naturel (NL) qui soient causalement fidèles, c'est-à-dire qu'elles reflètent véritablement la cause interne de la décision du modèle.

2. Méthodologie

L'auteur propose un pipeline en trois étapes pour combler le fossé entre l'analyse de bas niveau et les explications de haut niveau :

A. Identification du Circuit (Par Patching d'Activation)

• Tâche : Identification des objets indirects (IOI) sur le modèle GPT-2 Small (124M paramètres). La tâche consiste à compléter la phrase « Quand [IO] et [S] sont allés au magasin, [S] a donné une boisson à... » par le nom de l'objet indirect ([IO]).
• Technique : Utilisation du patching d'activation. L'auteur corrompt les entrées (en échangeant les positions des noms) et mesure l'impact de la restauration des activations originales sur la différence de logit (logit(IO) - logit(S)).
• Résultat intermédiaire : Identification des têtes d'attention causalement importantes. Les six têtes principales (L9H9, L8H10, L7H3, L10H6, L9H6, L10H0) expliquent 61,4 % de la différence de logit.

B. Génération d'Explications

Deux méthodes sont comparées pour transformer les données du circuit en langage naturel :

1. Méthode basée sur des modèles (Templates) : Remplissage de phrases fixes avec les données extraites (ex: « Le modèle prédit 'X' car la tête Y atténue à Z %... »).
2. Méthode générée par LLM : Un grand modèle de langage est invité à générer des explications contextuelles de 1 à 2 phrases en se basant sur les données structurées du circuit (noms des têtes, pourcentages d'attention, rôle).

C. Évaluation de la Fidélité

L'article adapte les métriques ERASER (initialement pour les rationnels de tokens) au niveau des composants de circuits :

• Suffisance (Sufficiency) : Les têtes citées suffisent-elles à reproduire la prédiction ?
• Exhaustivité (Comprehensiveness) : L'ablation (suppression) des têtes citées dégrade-t-elle la prédiction ?
• Qualité : Évaluation de la clarté, de la concision et de l'inclusion de détails spécifiques (pourcentages, noms).

3. Contributions Clés

1. Pipeline d'intégration : Une méthode pour traduire les découvertes de circuits mécanistes en explications en langage naturel.
2. Adaptation des métriques : Application des métriques de fidélité (ERASER) aux composants de circuits d'attention plutôt qu'aux tokens.
3. Comparaison innovante : Première comparaison systématique entre les explications générées par des modèles (LLM) et les modèles basés sur des templates pour l'interprétabilité mécaniste.
4. Taxonomie des échecs : Identification de trois catégories de divergence entre les explications et les mécanismes réels.

4. Résultats Principaux

Identification et Fidélité

• Suffisance Parfaite : La méthode basée sur le circuit atteint 100 % de suffisance. Les têtes identifiées sont suffisantes pour expliquer la prédiction.
• Exhaustivité Faible : Le score d'exhaustivité n'est que de 22 %. Cela signifie que l'ablation de ces têtes ne fait pas échouer le modèle complètement, révélant l'existence de mécanismes de secours distribués (redondance computationnelle).
• Supériorité sur les bases d'attention : La méthode proposée surpasse la méthode basée uniquement sur les poids d'attention (qui atteint seulement 16,7 % de suffisance) avec un score F1 de 36,0 % contre 20,6 %.

Qualité des Explications

• Les explications générées par un LLM surpassent les templates de 66 % en qualité globale.
• Les LLM incluent systématiquement les pourcentages d'attention spécifiques et contextualisent les noms, tandis que les templates produisent du texte générique.
• Exemple : Le LLM précise « L9H9 atténue à 66,5 % vers Mary », tandis que le template dit simplement « atténue avec une forte attention ».

Analyse des Échecs (RQ3)

L'analyse des cas où l'exhaustivité est faible révèle trois causes de divergence :

1. Calcul Distribué : Le comportement émerge de nombreuses têtes avec des contributions modérées, sans qu'un petit sous-ensemble ne domine.
2. Têtes Citées Manquantes : Pour certains prompts, les contributeurs principaux ne font pas partie du circuit fixe (top-6) défini globalement.
3. Activité Redondante : L'ajout de têtes supplémentaires n'augmente pas la couverture causale.

Corrélation Confiance-Fidélité : Il n'y a aucune corrélation (r = 0,009) entre la confiance du modèle et la fidélité de l'explication. Une prédiction à haute confiance peut reposer sur des mécanismes distribués mal capturés par une explication concise.

5. Signification et Implications

• Au-delà de l'attention : Ce travail démontre que les explications fidèles nécessitent une ancre causale (patching) au-delà des simples motifs d'attention, qui peuvent être trompeurs.
• Redondance et Robustesse : Le faible score d'exhaustivité (22 %) met en lumière une propriété fondamentale des transformateurs : ils implémentent une redondance computationnelle qui les rend robustes à l'ablation, mais difficilement explicables de manière concise.
• Confiance Utilisateur : L'absence de corrélation entre la confiance du modèle et la qualité de l'explication signifie que les utilisateurs ne peuvent pas déduire la fiabilité d'une explication à partir du score de confiance du modèle. Les systèmes devraient rapporter des métriques d'exhaustivité.
• Limites : L'étude se limite à une seule tâche (IOI) et un seul modèle (GPT-2 Small). Elle ne comprend pas d'évaluation humaine de l'utilité des explications et dépend d'un LLM pour la génération, ce qui ajoute un coût computationnel.

En conclusion, cette thèse propose une approche rigoureuse pour rendre l'interprétabilité mécaniste accessible aux humains, tout en révélant les limites inhérentes à la compression des mécanismes complexes de réseaux de neurones en explications linéaires.