💬 NLP

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

Cet article étudie l'« écart entre savoir et utiliser » (Knowing–Using Gap) dans les grands modèles de langage affinés, où la connaissance mémorisée ne parvient pas à se généraliser, en utilisant une intervention d'auto-correction (self-patching) pour révéler que des circuits de connaissances internes mal alignés empêchent un raisonnement efficace, et propose une stratégie heuristique qui récupère 58 à 75 % de la performance de généralisation potentielle.

Auteurs originaux : Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Publié 2026-07-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot bibliothécaire super intelligent qui vient d'apprendre un tout nouveau fait : « Sydney est en Australie ». Vous lui demandez : « Où se trouve Sydney ? » et il répond parfaitement. Mais ensuite, vous lui demandez : « Quelle est la capitale du pays où se trouve Sydney ? » et le robot se fige, agissant comme s'il n'avait aucune idée de ce dont vous parlez.

C'est exactement le puzzle que les chercheurs de l'HKUST(GZ) et de l'HKUST tentent de résoudre. Ils appellent cela le « Écart entre Savoir et Utiliser » (Knowing–Using Gap). C'est ce moment frustrant où un grand modèle de langage (LLM) a clairement mémorisé une nouvelle information, mais échoue à l'utiliser pour résoudre un puzzle légèrement plus complexe.

Le Mystère : Pourquoi le Robot se Bloque

Les chercheurs ont découvert que ce n'est pas parce que le robot « oublie » ou parce qu'il est trop stupide pour comprendre la logique. En fait, le robot connaît la réponse ; elle est juste cachée dans la mauvaise pièce.

Pour comprendre cela, imaginez le cerveau du robot comme un immense immeuble de bureaux à plusieurs étages.

Les premiers étages (Couches 1–10) : Ce sont le hall d'entrée et la salle de courrier. Ils sont excellents pour stocker les colis entrants (mémoriser des faits).
Les étages du milieu (Couches 10–20) : C'est le département de la « réflexion » où le raisonnement complexe a lieu.
Les étages supérieurs (Couches 20–30) : C'est là que le rapport final est rédigé et envoyé.

Quand le robot apprend un nouveau fait, il dépose rapidement l'information dans le Hall ou à l'Étage Supérieur. Elle y est en sécurité ! Mais le « Département de la Réflexion » au milieu n'a jamais reçu la note. Ainsi, quand le robot essaie de résoudre un puzzle à plusieurs étapes (comme relier Sydney à l'Australie, puis l'Australie à sa capitale), l'information est coincée au mauvais endroit. C'est comme avoir une carte de bibliothèque dans sa poche, mais essayer de l'utiliser à la caisse d'un supermarché.

Le Travail de Détective : Le « Auto-Patching » (Self-Patching)

Comment ont-ils prouvé que l'information était là, mais simplement mal placée ? Ils ont inventé une astuce ingénieuse appelée Self-Patching.

Imaginez que vous avez deux versions du robot fonctionnant côte à côte.

Le Robot A essaie de répondre à la question difficile et échoue.
Le Robot B a la réponse stockée dans son « Hall ».

Les chercheurs ont plongé la main dans le Robot B, ont saisi le souvenir spécifique de « Sydney est en Australie », et l'ont physiquement déplacé dans le « Département de la Réflexion » du Robot A.

Le résultat ? Le Robot A a instantanément résolu le problème !

Cette expérience a montré que la connaissance n'était jamais manquante ; elle était juste mal alignée. Le robot avait la donnée, mais elle n'était pas acheminée vers la bonne partie du cerveau pour faire le calcul. Les chercheurs appellent cela l'« Hypothèse du Désalignement Connaissance-Circuit ».

Ce que ce N'EST PAS

Les chercheurs ont été très méticuleux pour écarter d'autres idées :

Ce n'est pas un manque de puissance cérébrale : Ils ont testé des modèles plus gros et plus intelligents, et le problème persistait.
Ce n'est pas un problème de « prompting » : Ils ont essayé de donner des indices au robot (comme de lui dire de « réfléchir étape par étape »), mais cela n'aidait qu'un peu. La vraie solution était de déplacer la mémoire, pas seulement de poser de meilleures questions.
Ce n'est pas que le robot apprend une nouvelle logique : Le robot n'avait pas besoin d'apprendre comment raisonner ; il avait juste besoin d'accéder aux faits qu'il connaissait déjà.

La Bonne Nouvelle : Une Solution Simple

Le meilleur dans tout ça ? Les chercheurs ont trouvé un moyen de corriger cela sans avoir besoin de savoir exactement quel souvenir appartient à quel fait.

Ils ont remarqué que le « Département de la Réflexion » (les couches intermédiaires) est la clé. Ils ont créé une règle simple : « Si vous avez un fait stocké dans le Hall ou à l'Étage Supérieur, déplacez-le vers l'Étage du Milieu. »

Ils ont testé cette règle simple sur différents modèles de robots et différents types de connaissances (de la biologie aux articles académiques).

Sans la correction, les robots répondaient correctement aux questions de raisonnement seulement environ 7 % à 18 % du temps.
Avec cette règle simple de « déplacement de la mémoire », ils réussissaient 35 % à 45 % du temps.

Cette astuce simple a récupéré entre 58 % et 75 % du succès potentiel que les robots auraient pu atteindre s'ils étaient parfaitement alignés. Ce n'est pas une baguette magique qui règle tout, mais cela prouve que le problème est soluble.

À Retenir

L'article montre que lorsque les modèles d'IA échouent à utiliser ce qu'ils ont appris, il s'agit souvent d'un problème d'acheminement (routing), et non d'un problème d'apprentissage. Les faits sont là, stockés en toute sécurité dans les recoins du cerveau. En déplaçant simplement ces faits vers les couches de « réflexion », nous pouvons aider le robot à relier les points et à résoudre le puzzle.

Les chercheurs suggèrent désormais que l'entraînement futur ne devrait pas seulement se concentrer sur la capacité des modèles à mémoriser les faits plus rapidement, mais sur l'apprentissage de l'acheminement de ces faits vers le bon endroit pour le raisonnement. C'est un passage de « enseigner plus » à « organiser mieux ».

Résumé Technique : Vers une compréhension mécaniste de la raison pour laquelle les connaissances mémorisées échouent à se généraliser lors du fine-tuning des grands modèles de langage

1. Définition du problème : L'écart entre Savoir et Utiliser (Knowing–Using Gap)

Le papier traite d'un mode de défaillance critique dans le fine-tuning des grands modèles de langage (LLM) : la divergence entre la capacité d'un modèle à mémoriser de nouveaux faits et sa capacité à utiliser ces faits pour le raisonnement en aval. Les auteurs formalisent cela comme l'Écart entre Savoir et Utiliser (Knowing–Using Gap), caractérisé par deux disparités distinctes :

Écart d'exactitude (Accuracy Gap) : L'exactitude de la généralisation (utiliser les faits pour le raisonnement) reste nettement inférieure à l'exactitude de la mémorisation (rappel direct), même après convergence.
Décalage temporel (Temporal Lag) : Les capacités de généralisation émergent de manière significative plus tard que les capacités de mémorisation au cours du processus d'entraînement.

Malgré une capacité de modèle suffisante pour intégrer les nouvelles données, les modèles présentent souvent un comportement de « se souvenir mais ne pas utiliser », où ils peuvent rappeler un fait (ex: « Sydney est en Australie ») mais échouent à l'intégrer dans une tâche de raisonnement (ex: « Quelle est la capitale du pays où se trouve Sydney ? »).

2. Méthodologie

Pour étudier les causes mécanistes de cet écart, les auteurs emploient une combinaison de construction de jeux de données, d'intervention causale et d'analyse dynamique.

Construction du jeu de données :

Les auteurs ont construit un jeu de données spécialisé adapté de STaRK (une base de connaissances semi-structurée du monde réel), utilisant des sous-ensembles biomédicaux (STaRK-Prime) et académiques (STaRK-MAG) pour assurer une robustité trans-domaine.
Ils ont défini des Tâches de Mémorisation (QA à un seul saut/single-hop) pour le fine-tuning et des Tâches de Généralisation pour l'évaluation.
Deux types spécifiques de tâches de généralisation ont été conçus :
- Chaînage (Chaining) : Nécessite un raisonnement séquentiel sur plusieurs sauts (ex: Entité A → Relation → Entité B → Relation → Entité C).
- Intersection : Nécessite de récupérer les attributs de plusieurs entités et de filtrer selon une relation partagée au milieu de bruit.
Une validation rigoureuse de la nouveauté a permis de confirmer que les modèles pré-entraînés obtenaient un score proche de zéro sur ces tâches, confirmant que les connaissances injectées étaient réellement nouvelles.

Intervention par Auto-Patching (Self-Patching) :
La contribution méthodologique centrale est l'Auto-Patching, une variante du patch d'activation (activation patching).

Mécanisme : La technique copie la représentation de la couche cachée d'un jeton d'ancrage (ex: l'entité principale) d'une exécution « source » (où le fait est connu) et la substitue dans une exécution « cible » (où le modèle échoue à généraliser) à une couche cible spécifique.
Objectif : En scannant tous les couples de couches $(l_{src}, l_{tgt})$ , la méthode génère une carte de perméation spatiale. Elle identifie si une représentation contenant la connaissance injectée existe dans le modèle mais n'est simplement pas acheminée vers les couches de calcul effectives requises pour le raisonnement.
Différenciation : Contra lieu au traçage causal (causal tracing), l'auto-patching ne nécessite pas de trajectoire correcte « propre », ce qui le rend applicable aux cas d'échec de généralisation. Contrairement à PatchScope, il se concentre sur l'exactitude du prompt cible plutôt que sur l'interprétation de la source via un décodage auxiliaire.

3. Principaux résultats et conclusions

L'hypothèse du désalignement Connaissance–Circuit :
Les auteurs proposent que l'Écart entre Savoir et Utiliser est piloté par un désalignement spatial entre le stockage des connaissances et les circuits de raisonnement.

Stockage vs Calcul : Le fine-tuning encode de nouveaux faits dans des états « orientés stockage » (souvent dans les couches précoces ou très tardives) qui soutiennent le rappel direct. Cependant, ces représentations ne sont pas acheminées de manière fiable vers les couches intermédiaires « efficaces pour le calcul » nécessaires au raisonnement multi-étapes.
Disparition du gradient (Gradient Vanishing) : Une fois que la mémorisation sature, la perte diminue, provoquant la disparition des gradients. Par conséquent, le modèle échoue à mettre à jour naturellement son routage interne pour aligner la connaissance stockée avec le circuit de raisonnement, laissant la connaissance « isolée ».

Preuves empiriques :

Dynamique de perméation : Les cartes de chaleur des scores d'auto-patching montrent qu'après la mémorisation, des régions rouges « hors diagonale » apparaissent (indiquant que la connaissance existe dans des couches spécifiques) tandis que les cellules diagonales restent bleues (indiquant que le modèle échoue de bout en bout). Dans les cas de généralisation réussie, la région rouge s'étend pour couvrir la diagonale ; dans les échecs, elle s'arrête avant d'atteindre la diagonale.
Récupération par Oracle : Lorsque les représentations sont déplacées manuellement via l'auto-patching vers des couches intermédiaires effectives, l'exactitude de l'utilisation en aval s'améliore considérablement.
- Tâches de Chaînage : L'auto-patching oracle a augmenté l'exactitude de 1,5 à 6 fois sur tous les modèles et domaines.
- Tâches d'Intersection : L'écart a été presque éliminé.
Clusters Spatiaux : Les emplacements de patching les plus efficaces forment deux clusters : déplacer les représentations des couches précoces vers les couches intermédiaires et des couches tardives vers les couches intermédiaires. Cela suggère que le goulot d'étranglement n'est pas l'émergence de l'information, mais son alignement avec le flux de raisonnement des couches intermédiaires.

Heuristique Pratique :
Allant au-delà des outils de diagnostic, les auteurs ont conçu une stratégie heuristique fixe basée sur les clusters spatiaux observés (ciblant ~0,5L à partir de ~0,1L et ~0,8L).

Cette stratégie non-oracle récupère 58–75 % de la marge de l'oracle, démontant que l'échec de généralisation est partiellement réversible sans recherche par instance.

Études d'Ablation :

Position du Token : Les gains sont étroitement liés au patching à la position de l'entité principale (head-entity), et non à des positions aléatoires ou des jetons génériques.
Prompting vs Patching : Le prompting par Chaîne de Pensée (CoT) améliore la performance mais reste bien en dessous des gains de l'auto-patching, et dégrade parfois les performances. Le patching non pertinent (utilisant des représentations de faits non liés) produit des gains négligeables, confirmant que l'effet est spécifique à la représentation de la connaissance injectée.
Indépendance d'Échelle : Le phénomène persiste à travers différentes tailles de modèles (1B à 8B) et méthodes de fine-tuning (FFT vs LoRA), indiquant qu'il s'agit d'un problème d'alignement structurel plutôt que de limitation de capacité.

4. Signification et Revendications

Le papier prétend recadrer l'échec de généralisation dans le fine-tuning non pas comme un manque de capacité d'apprentissage, mais comme un problème d'alignement traçable.

Insight Mécaniste : Il fournit une preuve causale que la connaissance mémorisée existe en interne mais est mal acheminée, échouant à atteindre les couches de calcul nécessaires au raisonnement.
Utilité Diagnostique : La technique d'auto-patching sert d'outil pour cartographier où la connaissance injectée devient causalement utilisable, même dans les cas où le modèle échoue à généraliser naturellement.
Implication Pratique : Les conclusions suggèrent qu'un entraînement « conscient de l'alignement » ou des stratégies d'alignement post-hoc pourraient combler l'écart entre mémorisation et généralisation. Le papier démontre qu'une simple heuristique fixe peut récupérer une part substantielle de la capacité de généralisation perdue, faisant passer le domaine du pur diagnostic vers les remèdes pratiques.

Les auteurs concluent que l'Écart entre Savoir et Utiliser est un phénomène robuste à travers les domaines et les architectures, piloté par l'échec du fine-tuning à aligner naturellement les représentations de stockage avec les circuits de raisonnement.