💬 NLP

Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

Cet article soutient que la recherche en interprétabilité mécanistique confond fréquemment les métriques de validation avec l'identification causale en omettant d'énoncer explicitement les hypothèses nécessaires, et il propose une nouvelle norme de divulgation exigeant que les auteurs exposent clairement leurs stratégies d'identification et la robustesse de leurs affirmations causales.

Auteurs originaux : Zezheng Lin, Fengming Liu

Publié 2026-05-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zezheng Lin, Fengming Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de comprendre pourquoi une machine complexe (une IA) fait ce qu'elle fait. Vous soupçonnez qu'un engrenage spécifique (un « circuit » ou une « fonctionnalité ») est la cause d'une action particulière. Vous retirez cet engrenage, et la machine cesse de fonctionner. Vous déclarez : « Aha ! Cet engrenage était la cause ! »

Ce papier soutient que dans le domaine de l'« interprétabilité mécaniste » de l'IA, les chercheurs font de telles déclarations beaucoup trop souvent sans suivre les règles de la preuve. Ils prétendent avoir trouvé la cause, mais ils n'expliquent pas pourquoi leur expérience prouve qu'il s'agit de la cause et non d'une simple coïncidence.

Voici la décomposition de l'argument du papier en utilisant des analogies simples :

1. Le Problème Central : La « Validation » n'est pas l'« Identification »

Le papier établit une distinction cruciale entre deux choses :

Validation (Le « Quoi ») : « J'ai retiré l'engrenage, et la machine s'est arrêtée. » C'est un fait. C'est un test réussi.
Identification (Le « Pourquoi ») : « Je sais pour un fait certain que seul cet engrenage a provoqué l'arrêt de la machine, et non un engrenage de secours caché ou un effet secondaire de mon retrait. »

L'Analogie :
Imaginez que vous êtes médecin. Vous donnez un comprimé à un patient, et sa fièvre diminue.

Validation : « La fièvre a diminué après le comprimé. » (C'est vrai).
Identification : « Le comprimé a provoqué la baisse de la fièvre. » (Cela nécessite des hypothèses).

Peut-être que la fièvre a diminué parce qu'il était l'heure de la journée où la fièvre retombe naturellement. Peut-être que le patient a bu de l'eau en même temps. Peut-être que le comprimé n'a pas fonctionné, mais que la fièvre était en train de passer de toute façon.

Dans la recherche sur l'IA, les articles disent souvent : « Nous avons modifié cette partie de l'IA, et le comportement a changé, donc cette partie est la cause. » Le papier soutient qu'ils sautent l'étape consistant à prouver qu'aucune autre explication n'aurait pu provoquer ce changement. Ils traitent la « baisse de la fièvre » (validation) comme une preuve du « fonctionnement du comprimé » (identification) sans vérifier si le patient avait un cycle de fièvre naturel.

2. Le Piège des « Hypothèses Cachées »

Chaque fois qu'un chercheur prétend avoir trouvé une cause, il se tient sur un ensemble d'hypothèses invisibles. Le papier indique que ces hypothèses sont actuellement cachées.

L'Analogie :
Imaginez un magicien qui prétend : « J'ai fait disparaître le lapin parce que j'ai agité ma baguette. »

L'Hypothèse Cachée : « Le lapin n'a pas sauté par la porte arrière. »
L'Hypothèse Cachée : « Le lapin n'était pas déjà parti avant que j'agite la baguette. »

Dans les articles sur l'IA, les « tours de magie » sont des choses comme :

Le Patching d'Activation : « Nous avons remplacé cette partie du cerveau de l'IA. Le comportement a changé. »
- Hypothèse Cachée : « Nous n'avons pas accidentellement réveillé un système de secours endormi qui fait aussi ce travail. »
Les Auto-encodeurs Creux (SAE) : « Nous avons trouvé une « fonctionnalité » spécifique dans l'IA qui représente le concept de « l'honnêteté ». »
- Hypothèse Cachée : « Cette fonctionnalité est un bloc de construction unique et autonome, et non simplement un mélange désordonné d'autres choses qui ressemble fort à « l'honnêteté ». »

Le papier examine 10 articles majeurs (et vérifie 30 autres) et constate que zéro d'entre eux possède une section dédiée où ils énumèrent ces hypothèses cachées. Ils montrent simplement le tour de magie (le résultat) et disent « Regardez, ça marche ! » sans admettre quelles règles ils supposent que l'univers suit.

3. L'Erreur de « Substitution »

Le papier qualifie l'habitude actuelle de « Substitution de Métrique de Validation ».

L'Analogie :
Imaginez un mécanicien de voiture qui dit : « J'ai réparé votre moteur parce que la voiture a démarré. »

L'Erreur : Le mécanicien substitue le résultat (la voiture a démarré) à la preuve (je sais exactement quelle pièce j'ai réparée et que rien d'autre n'aurait pu faire démarrer la voiture).
La Réalité : La voiture aurait pu démarrer parce que la batterie s'est rechargée toute seule, ou parce que le mécanicien a heurté la clé, ou parce que le moteur était en ordre depuis le début.

Dans les articles sur l'IA, les chercheurs rapportent des métriques comme la « fidélité » (l'explication correspond-elle au modèle ?) ou la « complétude » (avons-nous trouvé toutes les pièces ?). Le papier soutient que ce sont simplement des moments « la voiture a démarré ». Ils sont bons à avoir, mais ils ne constituent pas une preuve de causalité à moins d'énoncer les hypothèses qui en font une preuve.

4. La Solution Proposée : Le « Protocole de Divulgation »

L'auteur suggère que le domaine devrait emprunter une règle de l'Économétrie (l'étude des données économiques). En économie, si vous affirmez que « X cause Y », vous devez énoncer explicitement :

Ce que vous affirmez : « Nous affirmons que X cause Y. »
La Stratégie : « Nous utilisons la méthode Z pour le prouver. »
Les Hypothèses : « Nous supposons que [Condition A] et [Condition B] sont vraies. »
Le Test de Contrainte : « Si [Condition A] est fausse, notre conclusion s'effondre. Voici comment nous avons testé si elle est vraie. »

L'Analogie :
Au lieu de simplement dire « Le comprimé a fonctionné », le médecin doit rédiger un rapport :

« Nous affirmons que le comprimé a fait baisser la fièvre. »
« Nous supposons que le patient n'a pas pris d'autres médicaments. »
« Nous supposons que la fièvre ne touchait pas à sa fin naturellement. »
« Si le patient avait pris d'autres médicaments, notre conclusion serait fausse. Voici les données montrant qu'il ne l'a pas fait. »

5. Ce que l'Audit a Révélé

L'auteur a examiné 10 articles clés dans le domaine (couvrant différentes méthodes comme la découverte de circuits et les auto-encodeurs) puis en a vérifié 30 autres.

Résultat : 0 sur 30 articles possédaient une section dédiée listant leurs hypothèses d'identification.
Résultat : La plupart des articles (environ 19 à 26 sur 30, selon la rigueur de votre critère) utilisaient des « métriques de validation » (comme « l'IA s'est comportée comme prévu ») comme substitut pour prouver que leurs hypothèses étaient vraies.
Résultat : Même les articles les plus prudents, qui ont trouvé des erreurs dans le travail des autres, n'ont pas explicitement listé les hypothèses qu'ils utilisaient pour trouver ces erreurs.

Résumé

Le papier est un appel à l'honnêteté et à la clarté. Il ne dit pas que la recherche sur l'IA est fausse ; il dit que la recherche sur l'IA est incomplète.

Actuellement, les chercheurs disent : « Regardez, nous avons trouvé la cause ! »
Le papier dit : « S'il vous plaît, arrêtez-vous et dites-nous quelles règles vous supposez pour faire cette affirmation. Si vous ne nous dites pas les règles, nous ne savons pas si votre « cause » est réelle ou juste une chance. »

Il demande au domaine de passer de « Regardez à quel point notre tour de magie est cool » à « Voici exactement comment le tour fonctionne, et voici pourquoi nous savons que ce n'est pas un tour. »

Résumé technique : L'interprétabilité mécanistique doit divulguer les hypothèses d'identification pour les affirmations causales

Énoncé du problème
La recherche en interprétabilité mécanistique (IM) emploie de plus en plus un vocabulaire causal — tel que « circuits », « médiateurs », « abstraction causale » et « monosémanticité » — pour décrire les comportements des modèles. Cependant, l'article soutient que ces affirmations causales manquent fréquemment d'hypothèses d'identification explicites. En inférence causale, une affirmation n'est valide que si les conditions selon lesquelles la quantité causale est identifiée à partir de données observables sont énoncées. L'article identifie un schéma récurrent où les chercheurs substituent des métriques de validation (par exemple, la fidélité, l'exhaustivité, la monosémanticité, l'alignement ou les effets d'ablation) aux hypothèses d'identification. Bien que ces métriques démontrent qu'une description est cohérente avec le modèle ou les données, elles n'établissent pas que le mécanisme proposé est la cause plutôt qu'un corrélat. L'article postule que, sans énoncer les hypothèses sous lesquelles une affirmation est identifiée, l'affirmation causale reste non identifiée, indépendamment des scores de validation élevés.

Méthodologie
L'article utilise un audit ciblé de la littérature sur l'IM pour documenter l'absence de divulgation des hypothèses d'identification.

Audit principal (n=10) : Un audit par un seul codeur de dix articles influents couvrant quatre courants méthodologiques : découverte de circuits, autoencodeurs parcimonieux (SAE), abstraction causale et sondage (probing). L'échantillon comprend des travaux issus de NeurIPS, ICLR, CLeaR, BlackboxNLP et du fil de discussion Anthropic Transformer Circuits.
Audit d'extension (n=30) : Un audit à deux codeurs humains sur un ensemble élargi de 30 articles pour tester la robustesse et estimer la fiabilité inter-codeurs.
Dimensions de codage :
- Dim A : Type d'affirmation abstraite (causale explicite avec/sans base d'identification, causale implicite, ou association uniquement).
- Dim B : Présence d'une section dédiée « Hypothèses d'identification » dans le corps du texte.
- Dim C : Présence de tests de falsifiabilité ou d'analyses de sensibilité.
- Dim D : « Substitution par une métrique de validation » (rapporter une métrique de validation comme soutien causal sans la distinguer des hypothèses d'identification).
Validation : L'étude inclut un re-codage par un deuxième codeur humain d'un sous-ensemble pour mesurer l'accord ( $\kappa$ ) et un audit par un seul codeur sur un sous-échantillon stratifié pour vérifier les résultats structurels.

Contributions clés

Distinction conceptuelle : L'article distingue formellement entre validation (répondant à « Qu'est-ce qui a changé lorsque nous avons intervenu ? ») et identification (répondant à « Pourquoi ce changement identifie-t-il ce mécanisme ? »). Il soutient que les métriques de validation sont nécessaires mais insuffisantes pour les affirmations causales.
Documentation du fossé : L'audit révèle un manque systémique de divulgation des hypothèses. Parmi les articles échantillonnés, aucun ne contenait de section dédiée aux hypothèses d'identification. La majorité des articles faisaient implicitement des affirmations causales et substituaient des métriques de validation aux déclarations d'identification.
Énumération des hypothèses spécifiques aux méthodes : L'article énumère les hypothèses d'identification spécifiques, souvent implicites, requises pour les méthodes courantes d'IM :
- Patchage d'activation : Suppose l'exhaustivité du circuit (les composants ciblés rendent compte de tous les chemins) et l'exclusivité des chemins (le patchage n'active pas de circuits parallèles dormants).
- Autoencodeurs parcimonieux : Suppose la récupérabilité de la base du dictionnaire (les caractéristiques correspondent à une vraie base, et non à une rotation arbitraire) et l'atomicité/monosémanticité des caractéristiques.
- Abstraction causale : Suppose la fidélité de l'alignement et la validité de l'optimisation.
- Sondage (Probing) : Suppose la localité causale et l'exhaustivité de l'intervention.
Protocole de divulgation proposé : L'article propose une norme en cinq étapes pour les articles d'IM faisant des affirmations causales :
- Indiquer dans le résumé si l'affirmation est causale ou associative.
- Nommer la stratégie d'identification.
- Inclure une section numérotée « Hypothèses d'identification » dans le corps du texte.
- Fournir un test de falsifiabilité, une analyse de sensibilité ou une déclaration claire de contre-preuve pour au moins une hypothèse centrale.
- Discuter de la manière dont les conclusions changent si les hypothèses clés échouent.

Résultats

Absence de sections dédiées : Dans les audits n=10 et n=30, 0/30 articles contenaient une section dédiée aux hypothèses d'identification selon toute règle de codage ou tout codeur.
Prévalence de la substitution : Dans l'audit n=30, 19/30 articles (sous une adjudication stricte) ou 26/30 (sous des règles permissives) ont été codés comme substituant une métrique de validation à une déclaration d'identification.
Hétérogénéité des courants : Le schéma de substitution était le plus concentré dans les courants des autoencodeurs parcimonieux et de l'abstraction causale (6/6 et 3/3 articles respectivement dans l'échantillon n=30 ont montré une substitution complète). Le patchage d'activation a montré un taux de substitution plus faible, potentiellement dû à l'existence de littérature sur les « illusions et modes de défaillance » (par exemple, Makelov et al., 2024) offrant une protection partielle.
Fiabilité inter-codeurs : L'accord sur la présence d'une section dédiée (Dim B) était faible ( $\kappa = 0,26$ ), indiquant que les articles actuels ne fournissent pas de déclarations d'hypothèses stables et facilement identifiables. Cependant, le résultat structurel de zéro section dédiée était robuste pour tous les codeurs et toutes les règles.

Signification et affirmations
L'article affirme que la pratique actuelle en interprétabilité mécanistique traite les métriques de validation comme un proxy pour l'identification causale, conduisant à des « illusions d'interprétabilité » où des scores élevés coexistent avec une identification échouée (comme démontré par des travaux antérieurs tels que Makelov et al., 2024, et Leask et al., 2025).

Pas d'imposition de cadre : L'article n'importe pas de cadres économétriques spécifiques (par exemple, variables instrumentales, do-calcul) dans l'IM. Il importe plutôt la méta-pratique de l'inférence causale : l'exigence que les affirmations causales soient évaluées par le biais d'hypothèses énoncées.
Nécessité logique : Les auteurs soutiennent que la divulgation est une exigence logique de toute affirmation causale, et non un simple choix stylistique. Sans hypothèses énoncées, la communauté scientifique ne peut pas évaluer si un résultat reflète une structure causale réelle ou un artefact de conditions non déclarées.
Norme communautaire : L'audit sert de preuve que l'écart est suffisamment répandu dans les principaux forums pour justifier une norme communautaire. Le protocole proposé est conçu pour être génératif plutôt que restrictif, permettant une critique cumulative en rendant les hypothèses explicites et falsifiables.

L'article conclut que, bien que l'échantillon d'audit soit petit et ciblé (et non une estimation de prévalence pour l'ensemble de la littérature), la cohérence du schéma à travers les courants et les années suggère que le domaine n'a pas encore adopté la pratique de base de la divulgation des hypothèses, malgré l'utilisation croissante du langage causal.