Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis

Cette étude démontre, grâce à l'interprétabilité mécanistique et des interventions causales sur des modèles comme Qwen et LLaMA, que la récupération de faits et le raisonnement logique reposent sur des circuits neuronaux distincts mais interactifs au sein des transformateurs.

L'essentiel

🧠 Le Grand Mystère : Comment les IA "pensent-elles" ?

Imaginez que les grands modèles d'intelligence artificielle (comme ceux qui écrivent des textes ou répondent à des questions) sont comme des usines géantes et ultra-complexes.

Ces usines ont deux super-pouvoirs principaux :

1. La Mémoire (Rappel) : Elles peuvent sortir des faits qu'elles ont appris par cœur (ex: "La capitale de la France est Paris").
2. Le Raisonnement : Elles peuvent résoudre des énigmes en plusieurs étapes, comme un détective (ex: "Si Paris est en France, et que la France est en Europe, où se trouve Paris ?").

Le grand mystère de la science actuelle était le suivant : Est-ce que ces deux pouvoirs utilisent la même "pièce" dans l'usine, ou sont-ils séparés ? Est-ce que la machine utilise le même cerveau pour se souvenir de son nom et pour faire des maths ?

🔍 L'Enquête : Une Autopsie Numérique

Les chercheurs de cet article (Harshwardhan et son équipe) ont décidé de faire une "autopsie" de l'intérieur de ces usines. Ils ont utilisé un modèle appelé Qwen2.5 (un robot très intelligent) et l'ont soumis à deux types d'épreuves :

• L'épreuve de Mémoire : Des questions factuelles simples.
• L'épreuve de Raisonnement : Des énigmes linguistiques (comme des puzzles de l'Olympiade de Linguistique) où il faut inventer des règles, car le robot ne peut pas "se souvenir" de la réponse (la langue est trop rare ou le problème trop nouveau).

Ensuite, ils ont regardé à l'intérieur du robot, couche par couche, comme un mécanicien qui ouvre le capot d'une voiture pour voir comment l'essence circule.

🏭 La Découverte : Deux Quartiers Distincts

Leur découverte est fascinante et ressemble à une ville divisée en deux quartiers :

1. Le Quartier "Mémoire" (Les Étages Bas) :

   • Imaginez les premiers étages de l'usine. C'est là que le robot récupère ses souvenirs.
   • Quand on pose une question factuelle, c'est ici que l'action se passe. Les chercheurs ont vu que si on "éteignait" cette partie, le robot oubliait les faits (il ne savait plus que Paris est en France), mais il pouvait toujours résoudre des énigmes logiques !

2. Le Quartier "Raisonnement" (Les Étages Hauts) :

   • Imaginez les derniers étages de l'usine, plus proches du toit. C'est là que le travail de réflexion a lieu.
   • C'est ici que le robot assemble les pièces, fait des déductions et résout les puzzles. Si on "éteignait" cette partie, le robot devenait un expert en faits (il savait tout par cœur), mais il devenait incapable de faire de la logique complexe.

L'analogie du Chef et du Bibliothécaire :

• Les étages du bas agissent comme un bibliothécaire très rapide qui va chercher un livre précis sur une étagère (le fait mémorisé).
• Les étages du haut agissent comme un chef d'orchestre ou un détective qui prend plusieurs informations et les assemble pour créer une nouvelle solution.

🛠️ L'Expérience : "Éteindre" pour Comprendre

Pour prouver que ce n'était pas juste une coïncidence, les chercheurs ont fait une expérience de "chirurgie" :

• Ils ont désactivé les circuits de la mémoire. Résultat : Le robot a perdu 15% de sa précision sur les faits, mais a gardé sa capacité à raisonner.
• Ils ont désactivé les circuits du raisonnement. Résultat : Le robot a perdu sa capacité à résoudre des énigmes, mais a gardé sa mémoire parfaite.

C'est comme si on enlevait le moteur d'une voiture : elle ne roule plus, mais le système de navigation (GPS) fonctionne toujours. Ou inversement : on enlève le GPS, la voiture roule, mais elle ne sait plus où aller.

🌟 Pourquoi est-ce important ?

Cette découverte est une révolution pour trois raisons :

1. La Confiance : On sait maintenant que l'IA n'est pas une "boîte noire" magique. On peut identifier où elle se trompe. Si elle hallucine (invente des faits), c'est probablement un problème dans le "quartier mémoire". Si elle fait une erreur de logique, c'est dans le "quartier raisonnement".
2. L'Amélioration : Les ingénieurs peuvent maintenant réparer spécifiquement la partie qui pose problème sans casser l'autre.
3. La Science : Cela prouve que les IA, même si elles sont faites de maths, ont développé une organisation interne très structurée, presque comme le cerveau humain, avec des zones spécialisées pour des tâches différentes.

En Résumé

Les chercheurs ont prouvé que dans les cerveaux numériques, se souvenir et réfléchir ne sont pas la même chose. Ils se passent dans des endroits différents de l'usine. C'est une étape clé pour créer des IA plus sûres, plus transparentes et plus intelligentes.

Résumé technique

Résumé Technique : Dissociation du Rappel et du Raisonnement dans les Modèles Transformer

1. Problématique

Les modèles de langage basés sur l'architecture Transformer (LLM) excellent à la fois dans le rappel (récupération de faits mémorisés) et le raisonnement (inférence multi-étapes). Cependant, il reste flou de savoir si ces deux capacités reposent sur des circuits internes superposés ou séparés.

• Enjeu : Comprendre ces mécanismes est crucial pour développer des systèmes d'IA interprétables, dignes de confiance et scientifiquement fondés.
• Lacune actuelle : Bien que l'interprétabilité mécanistique ait révélé des sous-systèmes modulaires (tels que les têtes d'attention pour l'apprentissage en contexte), la correspondance précise entre ces sous-systèmes et les fonctions de "mémoire" vs "inférence" reste une question ouverte. La plupart des études précédentes sont anecdotiques ou limitées à des tâches étroites.

2. Méthodologie

Les auteurs proposent une analyse mécanistique causale rigoureuse pour dissocier ces processus au niveau des couches, des têtes d'attention et des neurones.

• Données et Tâches :
  • Un jeu de données contrôlé de 60 questions a été créé, divisé équitablement entre 30 tâches de rappel et 30 tâches de raisonnement.
  • Rappel : Requêtes factuelles synthétiques (contre-factuelles) modifiant des entités ou des relations tout en conservant la syntaxe, testant la récupération pure de faits.
  • Raisonnement : Puzzles linguistiques issus de l'Olympiade Internationale de Linguistique (IOL) et de corpus connexes. Ces tâches nécessitent l'induction de règles et une inférence compositionnelle sur des langues peu connues (ex: Chickasaw), empêchant le modèle de s'appuyer sur la mémorisation.
• Modèle Étudié : Qwen2.5-7B-Instruct (28 couches), choisi pour ses performances et son accessibilité.
• Pipeline d'Analyse :
  1. Traçage des activations : Enregistrement des états cachés, distributions d'attention et sorties des MLP à chaque couche.
  2. Mesures de spécialisation : Calcul de scores de contribution spécifiques à la tâche (normes d'états cachés, entropie d'attention, magnitude des MLP).
  3. Validation Statistique : Utilisation du test de Mann-Whitney U, avec correction pour comparaisons multiples (FDR pour les couches/têtes, Bonferroni pour les neurones) et validation croisée 5-fold.
  4. Intervention Causale : Activation Patching et ablation sélective (mise à zéro ou remplacement) des composants identifiés pour tester leur nécessité causale.

3. Contributions Clés et Hypothèses Validées

L'étude teste et valide cinq hypothèses (H1 à H5) démontrant une division fonctionnelle hiérarchique :

• H1 (Spécialisation des Couches) : Il existe une stratification claire. Les couches early et middle (0–16) supportent principalement le rappel, tandis que les couches deep (17–27) sont critiques pour le raisonnement.
• H2 (Spécialisation des Têtes) : 74 % des têtes d'attention montrent une préférence de tâche significative. Les têtes de rappel se concentrent sur les tokens d'entité dans les couches peu profondes, tandis que les têtes de raisonnement s'activent dans les couches profondes pour des marqueurs relationnels.
• H3 (Sélectivité des Neurones) : Environ un tiers des neurones des couches feed-forward (MLP) présentent des signatures d'activation dépendantes de la tâche, formant des "hubs" denses (notamment autour de la couche 4 pour le rappel et la couche 22 pour le raisonnement).
• H4 (Généralité Architecturale) : Ces motifs de spécialisation sont stables et reproductibles.
• H5 (Intervention Sélective) : La perturbation des circuits identifiés affecte sélectivement la capacité cible sans toucher l'autre.

4. Résultats Expérimentaux

• Séparation Fonctionnelle :
  • Rappel : Dominé par les couches 0 à 6 (et certaines couches intermédiaires), caractérisé par une faible entropie d'attention et une forte magnitude d'activation.
  • Raisonnement : Concentré dans les couches 17 à 27, nécessitant une inférence compositionnelle.
• Impact des Interventions (Ablation) :
  • Désactivation des circuits de rappel : Entraîne une baisse de 15 % de la précision factuelle, tandis que les performances en raisonnement restent stables (variation < 3 %).
  • Désactivation des circuits de raisonnement : Provoque une chute de 14 % sur les tâches de puzzles linguistiques, avec un impact négligeable sur le rappel.
  • Contrôle : Les ablations aléatoires de même taille n'ont eu qu'un effet mineur (< 2 %).
• Comportement des Neurones : De nombreux neurones montrent un comportement "binaire" (activation forte pour une tâche, silence pour l'autre), confirmant une spécialisation fine au niveau neuronal.

5. Signification et Implications

• Preuve Causale : L'article fournit la première preuve causale et interprétable que le rappel et le raisonnement émergent de processus computationnels partiellement distincts mais complémentaires au sein des Transformers.
• Interprétabilité : Ces résultats permettent de mieux attribuer les sorties des modèles, aidant à distinguer le raisonnement logique des hallucinations ou de la simple récupération de faits.
• Fiabilité de l'IA : Comprendre et isoler ces mécanismes est essentiel pour construire des systèmes d'IA plus transparents et pour le développement de modèles capables de découverte scientifique fiable.
• Perspectives : Les auteurs prévoient d'étendre cette méthodologie à des modèles plus grands (LLaMA, Mistral) et à des phénomènes de raisonnement plus diversifiés.

En conclusion, cette étude établit une base mécanique solide pour l'IA explicable, démontrant que l'architecture Transformer organise naturellement la mémoire et l'inférence dans des sous-réseaux hiérarchiques distincts.