💬 NLP

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

Dit artikel onderzoekt de "knowing–using gap" in gefinetunede grote taalmodellen, waarbij gememoriseerde kennis niet generaliseert, door gebruik te maken van een self-patching interventie om aan te tonen dat niet-uitgelijnde interne kenniscircuits effectieve redenering verhinderen, en stelt een heuristische strategie voor die 58–75% van de potentiële generalisatieprestaties herstelt.

Oorspronkelijke auteurs: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotbibliothecaris hebt die zojuist een gloednieuw feit heeft geleerd: "Sydney ligt in Australië." Je vraagt de robot: "Waar ligt Sydney?" en hij geeft een perfect antwoord. Maar dan vraag je: "Wat is de hoofdstad van het land waar Sydney in ligt?" en de robot bevriest, alsof hij geen idee heeft waar je het over hebt.

Dit is exact het puzzelstukje dat onderzoekers van HKUST(GZ) en HKUT proberen op te lossen. Ze noemen dit de "Knowing–Using Gap" (de kennis-gebruik kloof). Het is dat frustrerende moment waarop een Large Language Model (LLM) duidelijk een nieuw stukje informatie heeft onthouden, maar faalt om het te gebruiken om een iets complexer puzzeltje op te lossen.

Het Mysterie: Waarom de Robot Vastloopt

De onderzoekers ontdekten dat dit niet komt doordat de robot "vergeetachtig" is of omdat hij te dom is om de logica te begrijpen. Sterker nog, de robot weet het antwoord; hij verbergt het alleen in de verkeerde kamer.

Om dit te begrijpen, kun je het brein van de robot zien als een enorm kantoorgebouw met meerdere verdiepingen.

De vroege verdiepingen (Lagen 1–10): Dit zijn de lobby en de postkamer. Ze zijn erg goed in het opslaan van binnenkomende pakketjes (feiten onthouden).
De middelste verdiepingen (Lagen 10–20): Dit is de "denkafdeling" waar complexe redeneringen plaatsvinden.
De bovenste verdiepingen (Lagen 20–30): Hier wordt het definitieve rapport geschreven en verzonden.

Wanneer de robot een nieuw feit leert, dumpt hij de informatie snel in de Lobby of op de Bovenste Verdieping. Het is daar veilig! Maar de "Denkafdeling" in het midden krijgt nooit het bericht door. Dus wanneer de robot probeert een meerstaps-puzzel op te lossen (zoals het verbinden van Sydney aan Australië, en vervolgens Australië aan de hoofdstad), zit de informatie in de verkeerde kamer vast. Het is alsof je een bibliotheekpas in je zak hebt, maar probe eigenlijk te betalen bij de kassa van de supermarkt.

Het Detectiewerk: "Self-Patching"

Hoe bewezen ze dat de informatie er wel degelijk was, maar gewoon verkeerd geplaatst? Ze bedachten een slimme truc genaamd Self-Patching.

Stel je voor dat je twee versies van de robot naast elkaar hebt draaien.

Robot A probeert een moeilijke vraag te beantwoorden en faalt.
Robot B heeft het antwoord opgeslagen in zijn "Lobby".

De onderzoekers grepen in bij Robot B, pakten de specifieke herinnering van "Sydney ligt in Australië" en verplaatsten deze fysiek naar de "Denkafdeling" van Robot A.

Het resultaat? Robot A loste het probleem direct op!

Dit experiment toonde aan dat de kennis nooit ontbrak; het was simpelweg misalignement (niet op één lijn). De robot had de data, maar de data werd niet naar het juiste deel van het brein gerouteerd om de berekening te maken. De onderzoekers noemen dit de "Knowledge–Circuit Misalignment Hypothesis" (de hypothese van de kennis-circuit misalignement).

Wat het NIET is

De onderzoekers waren zeer zorgvuldig om andere ideeën uit te sluiten:

Het is geen gebrek aan hersenkracht: Ze testten grotere en intelligentere modellen, en het probleem bleef bestaan.
Het is geen "prompting"-probleem: Ze probeerden de robot hints te geven (zoals vragen om "stap voor stap na te denken"), maar dat hielp slechts een klein beetje. De echte oplossing was het verplaatsen van de herinnering, niet alleen het stellen van betere vragen.
Het is niet dat de robot nieuwe logica leert: De robot hoefde niet te leren hoe hij moest redeneren; hij moest alleen toegang krijgen tot de feiten die hij al kende.

Het Goede Nieuws: Een Simpele Oplossing

Het beste deel? De onderzoekers ontdekten een manier om dit op te lossen zonder precies te hoeven weten welk geheugen bij welk feit hoort.

Ze merkten op dat de "Denkafdeling" (de middelste lagen) de sleutel is. Ze creëerden een simpele regel: "Als je een feit hebt opgeslagen in de Lobby of de Bovenste Verdieping, verplaats het dan naar de Middelste Verdieping."

Ze testten deze simpele regel op verschillende robotmodellen en verschillende soorten kennis (van biologie tot academische papers).

Zonder de fix beantwoordden de robots de redeneervragen slechts in ongeveer 7% tot 18% van de gevallen correct.
Met deze simpele "verplaats de herinnering"-regel hadden ze ze in 35% tot 45% van de gevallen correct.

Deze simpele truc herstelde tussen de 58% en 75% van het potentiële succes dat de robots zouden kunnen behalen als ze perfect op één lijn zouden zijn. Het is geen toverstaf die alles oplost, maar het bewijst dat het probleem oplosbaar is.

De Conclusie

Het paper laat zien dat wanneer AI-modellen er niet in slagen te gebruiken wat ze hebben geleerd, dit vaak een routeringsprobleid is, en geen leermoment. De feiten zijn er wel, maar veilig opgeslagen in de verkeerde hoeken van het brein. Door die feiten simpelweg naar de "denklagen" te verplaatsen, kunnen we de robot helpen om de puntjes verbonden te leggen en de puzzel op te lossen.

De onderzoekers suggereren nu dat toekomstige training zich niet alleen moet richten op het sneller laten onthouden van feiten door modellen, maar op het leren van de modellen om die feiten naar de juiste plek te routeren. Het is een verschuiving van "meer leren" naar "beter organiseren".

Technische Samenvatting: Naar een mechanistisch begrip van waarom gememoriseerde kennis faalt in generalisatie tijdens het finetunen van Large Language Models

1. Probleemdefinitie: De Kennis–Gebruik Kloof (Knowing–Using Gap)

Het artikel behandelt een kritieke foutmodus in het finetunen van Large Language Models (LLM's): de discrepantie tussen het vermogen van een model om nieuwe feiten te memoriseren en het vermogen om die feiten te gebruiken voor downstream redeneren. De auteurs formaliseren dit als de Knowing–Using Gap, gekenmerkt door twee afzonderlijke discrepanties:

Nauwkeurigheidskloof (Accuracy Gap): De generalisatienauwkeurigheid (het gebruiken van feiten in redeneringen) blijft aanzienlijk lager dan de memorisatie-nauwkeurigheid (directe herinnering), zelfs na convergentie.
Temporele vertraging (Temporal Lag): Generalisatievermogens ontstaan aanzienlijk later dan memorisatievermogens tijdens het trainingsproces.

Ondanks voldoende modelcapaciteit om nieuwe data te fitten, vertonen modellen vaak een "onthouden maar niet gebruiken"-gedrag, waarbij ze een feit kunnen herinneren (bijv. "Sydney zit in Australië") maar er niet in slagen dit in een redeneertaak te verwerken (bijv. "Wat is de hoofdstad van het land waar Sydney in zit?").

2. Methodologie

Om de mechanistische oorzaken van deze kloof te onderzoeken, maken de auteurs gebruik van een combinatie van datasetconstructie, causale interventie en dynamische analyse.

Datasetconstructie:

De auteurs hebben een gespecialiseerde dataset geconstrueerd, aangepast van STaRK (een real-world semi-gestructureerde kennisbank), waarbij gebruik is gemaakt van biomedische (STaRK-Prime) en academische (STaRK-MAG) subsets om cross-domein robuustheid te garanderen.
Ze definieerden Memorizatie-taken (single-hop QA) voor finetuning en Generalisatie-taken voor evaluatie.
Twee specifieke typen generalisatietaken zijn ontworpen:
- Chaining (Kettingen): Vereist sequentieel redeneren over meerdere stappen (bijv. Entiteit A → Relatie → Entiteit B → Relatie → Entiteit C).
- Intersection (Doorsnijding): Vereist het ophalen van attributen voor meerdere entiteiten en het filteren op basis van een gedeelde relatie te midden van ruis.
Rigoureuze novelty-validatie zorgde ervoor dat de pre-trained modellen bijna nul scoorden op deze taken, wat bevestigt dat de geïnjecteerde kennis werkelijk nieuw was.

Self-Patching Interventie:
De kernbijdrage van de methodologie is Self-Patching, een variant van activation patching.

Mechanisme: De techniek kopieert de verborgen laagrepresentatie (hidden layer representation) van een anker-token (bijv. de head-entiteit) uit een "bron"-run (waar het feit bekend is) en vervangt deze in een "doel"-run (waar het model faalt in generalisatie) op een specifieke doel-laag.
Doel: Door alle laagparen $(l_{src}, l_{tgt})$ te scannen, genereert de methode een ruimtelijke permeatiemap. Het identificeert of een representatie die de geïnjecteerde kennis bevat, aanwezig is in het model maar simpelweg niet wordt gerouteerd naar de voor berekening effectieve lagen die nodig zijn voor redeneren.
Differentiatie: In tegenstelling tot causal tracing vereist self-patching geen "schone" correcte trajectorie, waardoor het toepasbaar is op gevallen van gefaalde generalisatie. In tegenstelling tot PatchScope richt het zich op de nauwkeurigheid van de doel-prompt in plaats van de bron te interpreteren via auxiliary decoding.

3. Belangrijkste Bevindingen en Resultaten

De Knowledge–Circuit Misalignment Hypothese:
De auteurs stellen voor dat de Knowing–Using Gap wordt gedreven door een ruimtelijke mismatch (spatial misalignment) tussen kennisopslag en redeneercircuits.

Opslag versus Berekening: Finetuning codeert nieuwe feiten in "opslag-georiënteerde" staten (vaak in vroege of zeer late lagen) die directe herinnering ondersteunen. Deze representaties worden echter niet betrouwbaar gerouteerd naar de "berekening-effectieve" middenlagen die nodig zijn voor meerstaps redeneren.
Gradient Vanishing (Gradiëntverdwijning): Zodra de memorisatie verzadigt, neemt de loss af, waardoor gradiënten verdwijnen. Bijgevolg faalt het model er niet in om zijn interne routing natuurlijk bij te werken om de opgeslagen kennis af te stemmen op het redeneercircuit, waardoor de kennis "gestrand" blijft.

Empirisch Bewijs:

Permeatie-dynamiek: Heatmaps van self-patching scores laten zien dat na memorisatie "off-diagonal" rode regio's verschijnen (wat aangeeft dat kennis aanwezig is in specifieke lagen), terwijl diagonale cellen blauw blijven (wat aangeeft dat het model faalt in end-to-end uitvoering). In succesvolle gevallen van generalisatie breidt de rode regio zich uit om de diagonaal te dekken; in falende gevallen stopt het voordat het de diagonaal bereikt.
Oracle Recovery: Wanneer representaties handmatig worden verplaatst via self-patching naar effectieve middenlagen, verbetert de nauwkeurigheid van downstream gebruik drastisch.
- Chaining Taken: Oracle self-patching verhoogde de nauwkeurigheid met 1,5–6× over alle modellen en domeinen.
- Intersection Taken: De kloof werd vrijwel geëlimineerd.
Ruimtelijke Clusters: De meest effectieve patching-locaties vormen twee clusters: het verplaatsen van representaties van vroege lagen naar middenlagen en van late lagen naar middenlagen. Dit suggereert dat de bottleneck niet de opkomst van informatie is, maar de afstemming ervan met de middenlaag-redeneerstream.

Praktische Heuristiek:
Voorbij diagnostische tools ontwierpen de auteurs een vaste heuristische strategie gebaseerd op de geobserveerde ruimtelijke clusters (gericht op ~0.5L vanaf ~0.1L en ~0.8L).

Deze non-oracle strategie herstelt 58–75% van de oracle headroom, wat aantoont dat het falen van de generalisatie gedeeltelijk omkeerbaar is zonder per-instance zoekopdracht.

Ablatie-studies:

Token Positie: De winsten zijn nauw verbonden met patching op de head-entity positie, niet op willekeurige posities of generieke tokens.
Prompting versus Patching: Chain-of-Thought (CoT) prompting verbetert de prestaties, maar blijft ver onder de gains van self-patching, en verslechtert soms de prestaties. Irrelevante patching (gebruik van representaties van ongerelateerde feiten) levert verwaarloosbare winst op, wat bevestigt dat het effect specifief is voor de geïnjecteerde kennisrepresentatie.
Schaalonafhankelijkheid: Het fenomeen blijft bestaan over verschillende modelgroottes (1B tot 8B) en finetuning-methoden (FFT versus LoRA), wat aangeeft dat het een structureel alignment-probleem is in plaats van een capaciteitsbeperking.

4. Betekenis en Claims

Het artikel claimt dat de generalisatiefout in finetuning niet moet worden gezien als een gebrek aan leervermogen, maar als een behandelbaar alignment-probleem.

Mechanistisch Inzicht: Het biedt causaal bewijs dat gememoriseerde kennis intern aanwezig is maar verkeerd wordt gerouteerd, waardoor het de berekeningslagen die nodig zijn voor redeneren niet bereikt.
Diagnostisch Nut: De self-patching techniek dient als een instrument om in kaart te brengen waar geïnjecteerde kennis causaal bruikbaar wordt, zelfs in gevallen waar het model er niet in slaagt om natuurlijk te generaliseren.
Praktische Implicatie: De bevindingen suggereren dat "alignment-aware" training of post-hoc alignment strategieën de kloof tussen memorisatie en generalisatie kunnen overbruggen. Het artikel demonstreert dat een eenvoudige, vaste heuristiek een aanzienlijk deel van de verloren gegane generalisatiekracht kan herstellen, waarmee het veld beweegt van pure diagnose naar praktische oplossingen.

De auteurs concluderen dat de Knowing–Using Gap een robuust fenomeen is over verschillende domeinen en architecturen, gedreven door het falen van finetuning om opslagrepresentaties natuurlijk af te stemmen op redeneercircuits.