Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis

Dit onderzoek biedt voor het eerst causaal bewijs dat herinnering en redenering in transformer-modellen afhankelijk zijn van gescheiden, maar interacterende neurale circuits, zoals aangetoond door layer-wise interventies op Qwen- en LLaMA-modellen met synthetische datasets.

De kern

Titel: Hoe een AI-hersenen werken: Een reis door het geheugen en de logica

Stel je voor dat een kunstmatige intelligentie (zoals de chatbots die we vandaag gebruiken) een enorm groot, super-snel kantoor is. In dit kantoor werken duizenden kleine werknemers (we noemen ze in de paper "neuronen" en "lagen"). De onderzoekers van deze studie wilden weten: gebruiken deze werknemers dezelfde hersenen om feiten te onthouden als om moeilijke raadsels op te lossen?

Zou het zijn alsof je je telefoonnummer onthoudt (geheugen) en een ingewikkeld wiskundig probleem oplost (redeneren) met exact dezelfde stukjes van je brein? Of zijn het twee verschillende teams die apart werken?

Hier is wat ze hebben ontdekt, vertaald in een simpel verhaal:

1. Het Kantoor met Vloeren (De "Lagen")

Stel je het AI-model voor als een wolkenkrabber met 28 verdiepingen.

• De benedenverdiepingen (Verdieping 0-6): Dit is de bibliotheek. Als je hier een vraag stelt ("Wie is de hoofdstad van Frankrijk?"), rennen de werknemers op deze verdiepingen naar de boekenplanken om het antwoord direct op te halen. Ze zijn heel snel en goed in het ophalen van feiten die ze al hebben opgeslagen.
• De bovenverdiepingen (Verdieping 17-27): Dit is het onderzoeksbureau. Als je een raadsel geeft ("Als Parijs in Frankrijk ligt en Frankrijk in Europa, in welk continent ligt Parijs?"), moeten de werknemers hier gaan nadenken, stappen zetten en logische verbindingen leggen. Ze kunnen niet zomaar een boek pakken; ze moeten het zelf uitrekenen.

De ontdekking: De onderzoekers hebben bewezen dat deze verdiepingen gespecialiseerd zijn. De onderkant doet het onthouden, de bovenkant het redeneren.

2. De Speciale Brillen (De "Koppen")

Binnen elke verdieping werken er kleine teams (de "attention heads"). Stel je voor dat ze allemaal een bril op hebben.

• Sommige brillen zijn zoekbrillen. Ze scannen snel door de tekst om namen en feiten te vinden. Deze werken vooral op de lagere verdiepingen.
• Andere brillen zijn logica-brillen. Ze kijken naar de structuur van de zinnen en proberen patronen te zien. Deze werken vooral op de hogere verdiepingen.

De studie toonde aan dat ongeveer 74% van deze teams een voorkeur heeft: ze zijn óf gespecialiseerd in feiten, óf in logica, maar zelden in beide tegelijk.

3. De Grote Test: Het "Uitschakelen"

Om zeker te weten dat dit niet toeval was, deden de onderzoekers iets heel leuks: ze speelden chirurg.

Ze schakelden tijdelijk de "feiten-werknemers" uit (alsof ze de bibliotheek dichtdoen) en keken wat er gebeurde:

• Resultaat: De AI kon geen feiten meer onthouden (haar score zakte met 15%), maar ze kon nog steeds perfect raadsels oplossen!
• Het omgekeerde: Toen ze de "logica-werknemers" uitschakelden (de onderzoeksbureaus dichtdoen), kon de AI nog steeds feiten noemen, maar faalde ze volledig bij het oplossen van raadsels.

Dit bewijst dat het twee aparte systemen zijn die samenwerken, maar niet afhankelijk zijn van elkaar.

Waarom is dit belangrijk?

Stel je voor dat je een auto bouwt. Als je niet weet welke bout de motor vasthoudt en welke de radio, kun je de auto niet goed repareren als hij stuk gaat.

Door te begrijpen dat "onthouden" en "redeneren" in een AI verschillende plekken in het brein gebruiken, kunnen we:

1. Betrouwbare AI's bouwen: We kunnen AI's trainen om beter te redeneren zonder dat ze hun geheugen verliezen.
2. Hallucinaties voorkomen: Als een AI een feit verzonnen heeft, weten we nu dat we naar de "bibliotheek" (de lagere lagen) moeten kijken om de fout te vinden, in plaats van het hele systeem te herschrijven.
3. Wetenschap begrijpen: Het helpt ons te zien hoe machines eigenlijk "denken" in plaats van alleen maar te raden.

Kort samengevat:
Een AI is niet één grote, rommelige hersenpan. Het is meer als een goed georganiseerd kantoorpand waar de boekenkast (feiten) en het denkbureau (logica) op verschillende verdiepingen zitten. Als je het ene team uitschakelt, werkt het andere nog prima. Dit maakt de AI transparanter en makkelijker te begrijpen voor ons allemaal.

Technische samenvatting

Probleemstelling

Transformer-gebaseerde taalmodellen (LLM's) blinken uit in twee fundamentele vaardigheden: herinnering (het ophalen van memoriseerde feiten) en redeneren (het uitvoeren van multi-stap inferentie). Hoewel deze vaardigheden vaak samen worden geëvalueerd via benchmarks, is het onduidelijk of ze voortkomen uit overlappende of gescheiden interne circuits. Het ontbreken van inzicht in deze mechanismen vormt een belemmering voor het bouwen van betrouwbare, interpreteerbare en wetenschappelijk onderbouwde AI-systemen. Bestaande methoden zijn vaak beperkt tot anekdotisch bewijs of externe gedragsanalyse, zonder de specifieke interne componenten (lagen, attention heads, neuronen) te identificeren die verantwoordelijk zijn voor elke functie.

Methodologie

De auteurs hanteren een mechanistische interpretabiliteitsbenadering om causale verbanden te leggen tussen interne circuits en gedrag.

1. Dataset Ontwerp:

   • Er werd een gecontroleerde dataset samengesteld van 60 vragen, verdeeld over twee categorieën:
     • Redeneertaken: Taalkundige puzzels afkomstig van de International Linguistic Olympiad (IOL). Deze vereisen regelinductie en compositieve inferentie in een onbekende taal (bijv. Chickasaw), waardoor memorisatie onmogelijk is.
     • Herinnertaken: Synthetische contrafactuele queries die feitelijke associaties testen (bijv. "Wat is de hoofdstad van Frankrijk?") door entiteiten te manipuleren terwijl de syntaxis behouden blijft.
   • Doel: Het isoleren van pure feitelijke ophaalprocessen versus logische redeneerprocessen.

2. Analyse Pijplijn:

   • Model: Qwen2.5-7B-Instruct (28 lagen).
   • Data Collectie: Het traceren van activaties op laag-, head- en neuron-niveau voor de laatste input-token.
   • Statistiek: Gebruik van de Mann-Whitney U-test voor significantie, Cohen's d voor effectgrootte, en strikte correcties voor meervoudige vergelijkingen (FDR voor lagen/heads, Bonferroni voor neuronen).
   • Causale Validatie: Toepassing van activatie patching en selectieve ablatie. Hierbij worden geïdentificeerde circuits uitgeschakeld (gezeroed of vervangen) om te testen of dit specifiek de prestaties op de ene taak beïnvloedt zonder de andere te raken.

3. Hypothese-toetsing:
   De studie test vijf hypothesen over specialisatie op niveau van lagen (H1), attention heads (H2), neuronen (H3), architecturale generaliteit (H4) en selectieve interventie (H5).

Belangrijkste Bijdragen en Resultaten

De analyse onthult een hiërarchische en functioneel gescheiden architectuur binnen het model:

1. Laag-specialisatie (Layer Specialization):

   • Er is een duidelijke stratificatie over de 28 lagen.
   • Vroege lagen (0–6): Domineren bij het coderen van feitelijke herinneringssignalen (lage entropie, hoge activatiemagnitude).
   • Middelste lagen (7–16): Vertonen gemengde activaties.
   • Late lagen (17–27): Concentreren berekeningen die nodig zijn voor multi-stap inferentie en compositief redeneren.
   • Resultaat: Het uitschakelen van herinneringslagen verlaagde de feitelijke nauwkeurigheid met 15%, terwijl redeneren onaangetast bleef. Het uitschakelen van redeneerlagen verlaagde de redeneerprestaties met 14%, zonder effect op herinnering.

2. Attention Head Differentiatie:

   • Ongeveer 74% van de attention heads toont significante taakvoorkeur.
   • Herinnerings-heads: Clusteren in lagere lagen en focussen nauw op entiteitstokens.
   • Redeneer-heads: Emergeren in diepere lagen en richten zich breed op relationele of structurele markers.
   • Er zijn specifieke heads met bijna-binaire selectiviteit (ze werken alleen voor de ene taaksoort).

3. MLP Neuron Selectiviteit:

   • Ongeveer een derde van de MLP-neuronen voldoet aan strikte taak-specifiekheidscriteria.
   • Deze neuronen vormen dichte hubs in specifieke lagen: rond laag 4 voor feitelijke ophaal en rond laag 22 voor hoogwaardig compositief redeneren.
   • Veel neuronen vertonen een "near-binary" activatiepatroon: ze vuren sterk voor één taak en blijven stil voor de andere.

4. Causale Interventie:

   • De experimenten met activatie-patching bevestigen dat deze circuits causaal noodzakelijk zijn. Het verstoren van een circuit leidt tot een selectieve verslechtering van de bijbehorende vaardigheid, wat bewijst dat herinnering en redeneren niet slechts correlatief, maar functioneel gescheiden processen zijn.

Significantie en Toekomstperspectief

• Wetenschappelijke Impact: Dit onderzoek levert het eerste causale, interpreteerbare bewijs dat herinnering en redeneren in transformer-modellen voortkomen uit deels distincte maar complementaire computationele processen. Het weerlegt het idee dat deze vaardigheden volledig door dezelfde neurale netwerken worden gedeeld.
• Toepassingen:
  • Betrouwbaarheid: Het helpt bij het onderscheiden tussen hallucinatie (falen van herinnering) en redeneerfouten.
  • Interpreteerbaarheid: Het biedt een blauwdruk voor het ontwerpen van modellen met expliciete modules voor feitelijke kennis versus logisch denken.
  • Veiligheid: Het inzicht in gescheiden circuits kan helpen bij het voorkomen van "alignment faking" of specifiek spelletjes spelen door modellen.
• Toekomst: De auteurs plannen om deze methoden uit te breiden naar grotere en recentere modellen (zoals LLaMA en Mistral) en de dataset te diversifiëren om meer soorten redeneerfenomenen te dekken.

Kortom, de studie toont aan dat transformer-modellen intern een multi-schaal architectuur van functionele differentiatie hebben ontwikkeld, waarbij vroege lagen fungeren als een "geheugen" en diepere lagen als een "redeneermotor".