💬 NLP

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

Cet article remet en question la vision des modèles de langage comme bases de connaissances unifiées en démontrant, par des analyses comportementales et mécanistes, que les connaissances factuelles sont encodées de manière spécifique à la tâche, où des sous-ensembles de paramètres distincts sont activés selon le contexte de la requête, remettant ainsi en cause la cohérence et la fiabilité de l'extraction factuelle.

Auteurs originaux : Amit Elhelo, Amir Globerson, Mor Geva

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amit Elhelo, Amir Globerson, Mor Geva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une encyclopédie géante et super intelligente qui a lu presque tout sur Internet. Vous pourriez considérer cette encyclopédie comme une bibliothèque parfaite et unique où chaque fait est stocké à un endroit précis. Si vous demandez : « Quelle est la capitale de la France ? » ou « Est-ce que Paris est la capitale de la France ? », vous vous attendez à ce que la bibliothèque tire exactement le même fichier du même rayon et donne la même réponse à chaque fois. C'est ainsi que fonctionnent les bases de données traditionnelles : une vérité, une source.

Cet article examine si les modèles de langage étendus (LLM) — les cerveaux d'IA derrière des outils comme les chatbots — fonctionnent comme cette bibliothèque parfaite. Les chercheurs, Amit Elhelo, Amir Globerson et Mor Geva, ont découvert que ce n'est pas le cas.

Au lieu d'une bibliothèque unique et unifiée, la « connaissance » de l'IA ressemble davantage à une collection de boîtes à outils spécialisées et spécifiques à chaque tâche. Voici une décomposition de leurs découvertes en utilisant des analogies simples :

1. L'analogie des « Différentes Boîtes à Outils »

Imaginez que vous avez un couteau suisse. Il possède un tournevis, une lame et un tire-bouchon.

Vision traditionnelle : Vous pourriez penser que le « savoir » de comment ouvrir une bouteille est stocké dans une partie centrale du couteau.
Découverte de l'article : L'IA est en réalité comme une boîte à outils où le « savoir » de comment ouvrir une bouteille est stocké dans le tire-bouchon uniquement lorsque l'on vous demande d'ouvrir une bouteille. Mais si vous demandez : « Est-ce un tire-bouchon ? » (un type de question différent), l'IA utilise un ensemble d'outils complètement différent pour répondre, même si la question porte sur le même objet.

Les chercheurs ont testé cela en posant la même question à l'IA (ex : « Paris est la capitale de la France ») de différentes manières :

Génération : « Quelle est la capitale de la France ? » (L'IA doit écrire la réponse).
Discrimination : « Est-ce que Paris est la capitale de la France ? Oui ou Non. » (L'IA doit choisir une option).

Ils ont constaté que l'IA apprend souvent le fait pour la tâche de « Rédaction », mais échoue à le « savoir » pour la tâche de « Choix », et vice versa. C'est comme si l'IA possédait un « Cerveau de Rédaction » et un « Cerveau de Choix » qui ne communiquent pas toujours entre eux.

2. L'observation du « Camp d'Entraînement »

Les chercheurs ont observé l'IA apprendre au fil du temps, tel un entraîneur observant un étudiant étudier pour différents examens.

L'attente : Si l'étudiant apprend que « Paris est la capitale » pour un examen de rédaction, il devrait immédiatement le savoir pour un test à choix multiples également, car c'est le même fait.
La réalité : L'étudiant réussit souvent le test de rédaction mais échoue encore au test à choix multiples plusieurs jours plus tard. La connaissance ne s'est pas « co-émergée » (apparue en même même temps) à travers différents formats. Cela suggère que l'IA ne stocke pas le fait dans un endroit central unique ; elle apprend une manière spécifique de gérer ce fait pour ce type de question précis.

3. L'expérience de la « Chirurgie » (Analyse Mécaniste)

Pour prouver cela, les chercheurs ont pratiqué une « chirurgie » sur le cerveau de l'IA (ses paramètres internes). Ils ont tenté de trouver le groupe minuscule et spécifique de neurones responsable du fait de savoir que « Paris est la capitale » lorsqu'on pose la question d'une certaine manière.

Le résultat : Ils ont trouvé des groupes de neurones distincts et séparés pour chaque tâche.
- S'ils « éteignaient » les neurones utilisés pour la tâche de « Rédaction », l'IA oubliait la réponse à la question de rédaction mais pouvait toujours répondre parfaitement à la question « Oui/Non ».
- S'ils éteignaient les neurones du « Oui/Non », l'IA échouait à ce test mais pouvait toujours écrire la réponse.
La métaphore : C'est comme avoir deux clés différentes pour la même porte. Une clé ouvre la porte quand on pousse depuis la gauche ; l'autre l'ouvre quand on tire depuis la droite. Si vous perdez la clé de « poussée », la porte est verrouillée pour cette action, même si la clé de « traction » fonctionne toujours.

4. La surprise du « Chaîne de Pensée » (Chain of Thought)

L'article examine également le raisonnement par « Chaîne de Pensée » (CoT), où l'on demande à l'IA de « réfléchir étape par étape » avant de répondre.

La découverte : Lorsqu'on demande à l'IA de réfléchir à voix haute, elle semble utiliser un mélange de ces différentes boîtes à outils. Si vous supprimez les neurones spécifiques de la réponse finale, l'IA peut souvent quand même trouver la bonne réponse en « réfléchissant » au problème, car elle emprunte des connaissances à d'autres boîtes à outils spécifiques aux tâches qu'elle n'utiliserait pas normalement pour une réponse directe.
L'analogie : C'est comme un détective qui résout habituellement une affaire en regardant un indice unique (réponse directe). Mais si vous le forcez à rédiger un rapport complet (Chaîne de Pensée), il commence à vérifier d'autres dossiers et à croiser différentes boîtes à outils, ce qui l'aide à résoudre l'affaire même si l'indice principal est manquant.

La Grande Conclusion

L'article conclut que l'idée d'une IA en tant que « Base de Connaissances » (une source de vérité unique) est un mythe. Au lieu de cela, ce que l'IA sait et la manière dont vous posez la question sont entremêlés.

Risque de Fiabilité : Si vous modifiez l'IA pour qu'elle « oublie » un fait pour un type de question (comme un quiz à choix multiples), elle pourrait encore se souvenir de ce fait pour une consigne de rédaction.
Risque d'Évaluation : Si vous testez une IA sur un seul type de question, vous pourriez penser qu'elle connaît un fait, mais elle pourrait être totalement démunie si on lui pose la question sous un format différent.

En bref, l'IA n'a pas une mémoire unique et unifiée. Elle possède un assemblage de mémoires spécialisées, chacune ajustée à une manière spécifique de poser des questions.

Résumé technique : Les LM comme bases de connaissances spécifiques aux tâches : Une analyse d'interprétabilité

Problématique

Les modèles de langage (LM) sont fréquemment conceptualisés comme des bases de connaissances, où les paramètres stockent des informations factuelles accessibles via diverses requêtes. Une propriété fondamentale des bases de connaissances bien conçues est l'invariance par rapport à la tâche : différentes requêtes pour un même fait doivent extraire des résultats cohérents à partir d'une source de vérité unique. Par exemple, une base de données traditionnelle devrait renvoyer « Paris » aussi bien pour « Quelle est la capitale de la France ? » que pour « La capitale de la France est ___ ».

Cet article examine si les LM satisfont cette propriété d'invariance par rapport à la tâche. Plus précisément, il cherche à savoir si la connaissance factuelle est stockée de manière indépendante de la tâche ou si la représentation interne d'un fait par le modèle est entrelacée avec le format de tâche spécifique (par exemple, choix multiples vs génération ouverte) utilisé pour l'interroger. Si les LM manquent d'invariance par rapport à la tâche, l'analogie de la « base de connaissances » est remise en cause, avec des implications pour la fiabilité, la cohérence et la contrôlabilité des connaissances factuelles dans ces systèmes.

Méthodologie

Les auteurs emploient une double approche combinant une analyse comportementale (suivi de l'émergence des connaissances pendant l'entraînement) et une analyse mécaniste (localisation de sous-ensembles de paramètres spécifiques).

1. Analyse comportementale : Hypothèse de co-émergence

Les auteurs suivent l'acquisition des connaissances factuelles à travers les points de contrôle (checkpoints) d'entraînement du modèle OLMo-3-7B IT.

Données : Cinq ensembles de données relationnelles (ex: pays-capitale, monument-pays) formulés sous forme de triplets (sujet, relation, objet).
Tâches : Six formats de tâches distincts : complétion du prochain jeton (COMPLETION), texte à trous (FITB), questions-réponses ouvertes (OPENQA), questions-réponses à choix multiples à quatre options (MCQA), MCQA négatif, et vérification binaire.
Hypothèse : Si la connaissance est invariante par rapport à la tâche, un fait acquis pour une tâche devrait co-émerger (apparaître simultanément) sur d'autres tâches pour lesquelles le modèle est déjà compétent. Formellement, si un fait $f$ émerge sur une tâche $t$ à l'étape $E(f, t)$ , et que le modèle est compétent sur la tâche $t'$ à l'étape $E(\cdot, t')$ , alors $E(f, t')$ devrait être $\le \max(E(f, t), E(\cdot, t'))$ .
Test statistique : Les auteurs formalisent l'invariance par rapport à la tâche comme une indépendance conditionnelle entre les faits et les tâches ( $P(\text{correct} | f, t) = P(\text{correct} | f) \cdot P(\text{correct} | t)$ ) et testent les termes d'interaction à l'aide d'une ANOVA à deux facteurs sur les log-probabilités.

2. Analyse mécaniste : Localisation des paramètres

Pour déterminer si différentes tâches dépendent de différents paramètres pour un même fait, les auteurs adaptent un cadre de localisation (Bayazit et al., 2024) afin d'identifier des sous-ensembles de paramètres creux (têtes d'attention et neurones MLP) spécifiques à chaque paire (fait, tâche).

Objectif : Apprendre des masques binaires $m$ $m$ sur les paramètres du modèle pour minimiser une fonction de perte comprenant quatre termes :
- Nécessité : La suppression des paramètres masqués doit dégrader la performance sur la paire (fait, tâche) cible.
- Suffisance : Les paramètres masqués doivent être suffisants pour restaurer la performance sur une invite corrompue (où le sujet est remplacé par des espaces réservés) lorsque leurs activations sont injectées (patching).
- Spécificité : La suppression ou l'injection de ces paramètres ne devrait avoir qu'un effet minimal sur le même fait sous d'autres tâches ou sur d'autres faits sous la même tâche.
- Rareté (Sparsity) : Le masque doit être le plus petit possible.
Modèles : Les expériences ont été menées sur OLMo-2-7B IT, OLMo-2-13B IT et Gemma-2-9B IT.

3. Enchevêtrement inter-tâches et analyse CoT

Métriques d'enchevêtrement : Les auteurs définissent un score pour quantifier la clarté avec laquelle un codage (fait, tâche) peut être ablée sans affecter les autres paires.
Chaîne de pensée (CoT) : Les auteurs testent si le raisonnement CoT permet de récupérer des connaissances inaccessibles par une réponse directe en sollicitant des paramètres spécifiques à la tâche au-delà de ceux liés à la tâche d'évaluation. Ils comparent la réponse directe vs CoT sous ablation zéro des paramètres localisés.

Résultats clés

1. Violation de l'invariance par rapport à la tâche (Comportemental)

Co-émergence limitée : L'hypothèse de co-émergence est fréquemment violée. Dans 47,9 % des paires (fait, tâche), un fait n'émerge pas sur une tâche cible à l'étape attendue, même quand le modèle est compétent sur cette tâche et que le fait a émergé ailleurs.
Rejet statistique : L'hypothèse nulle d'indépendance conditionnelle (absence d'interaction entre fait et tâche) est rejetée à chaque point de contrôle d'entraînement ( $p \approx 0$ ). Le terme d'interaction explique jusqu'à 23 % de la variance du modèle final, indiquant que la récupération de la connaissance est fortement dépendante du format de la tâche.

2. Sous-ensemplets de paramètres distincts (Mécaniste)

Codages spécifiques à la tâche : Les expériences de localisation ont réussi à identifier des sous-ensembles de paramètres distincts et creux pour chaque paire (fait, tâche).
Nécessité et Spécificité : L'ablation zéro des paramètres localisés pour une paire (fait, tâche) spécifique a provoqué des chutes de performance significatives (diminution relative de 29 % à 89 %) sur cette paire. Crucialement, la performance sur le même fait évalué sous d'autres tâches, et sur d'autres faits sous la même tâche, est restée largement inchangée (baisses $\le 8 \%$ ).
Suffisance : L'injection (patching) des activations localisées dans une invite corrompue a réussi à restaurer la performance (taux de reconstruction de 69 % à 102 %) pour la paire cible, confirmant que ces paramètres portent l'information nécessaire.

3. Motifs d'enchevêtrement

Génération vs Discrimination : Le format de la tâche est un prédicteur dominant de l'enchevêtrement. Les tâches de discrimination (MCQA, Vérification) sont systématiquement plus enchevêtrées avec les autres tâches que les tâches de génération (OPENQA, FITB).
Asymétrie : Les faits acquis via des tâches de génération ont tendance à co-émerger sur d'autres tâches, mais les faits acquis via des tâches de discrimination co-émergent rarement sur des tâches de génération.

4. Rôle de la Chaîne de Pensée (CoT)

Récupération : Lorsque les paramètres localisés d'une tâche sont ablés, le raisonnement CoT récupère une partie importante de la performance perdue (chute de seulement 12 %–3 el 30 % contre 20 %–72 % pour la réponse directe).
Dépendance inter-tâches : La CoT souffre davantage de dommages collatéraux lorsque les codages d' autres tâches sont ablés par rapport à la réponse directe. Cela suggère que la CoT emprunte à plusieurs codages spécifiques aux tâches pour reconstruire la réponse, plutôt que de s'appuyer uniquement sur les paramètres spécifiques à la tâche d'évaluation.

Signification et revendications

L'article conclut que l'analogie de la « base de connaissances » pour les LM est erronée car ce que le modèle sait et la manière dont il est interrogé sont entrelacés dans l'espace des paramètres.

Fiabilité et Contrôlabilité : L'absence d'invariance par rapport à la tâche implique que les interventions d'édition de connaissances ou de désapprentissage (unlearning) ciblant un seul format de tâche peuvent laisser le fait intact dans d'autres formats. Inversement, les évaluations sur une seule tâche ne fournissent qu'une vue partielle des connaissances encodées par un modèle.
Mécanisme de raisonnement : Les résultats offrent une explication mécaniste de la raison pour laquelle le raisonnement CoT débloque des connaissances inaccessibles à la réponse directe : la CoT engage les codages paramétriques de multiples formats de tâches, contournant ainsi les limitations d'un codage unique spécifique à une tâche.
Directions futures : Les auteurs suggèrent que les schémas d'entraînement encourageant des codages factuels invariants par rapport aux tâches (par exemple, en incorporant un raisonnement intermédiaire pendant l'entraînement) pourraient améliorer la fiabilité et la contrôlabilité des LM.

Les auteurs restent modestes, notant que leurs conclusions décrivent principalement des connaissances relationnelles bien connues et que l'interaction entre ces motifs et l'échelle du modèle reste une question ouverte. Ils ne prétendent pas que les LM ne possèdent aucun savoir partagé, mais plutôt que le stockage est organisé, du moins en partie, par format de tâche.