Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

Probleemstelling

Taalmodellen (LLMs) kunnen veel feitelijke vragen over entiteiten beantwoorden (bijv. "Wie is de echtgenote van Barack Obama?"), maar de interne mechanismen die dit mogelijk maken, zijn niet volledig begrepen. De centrale vraag is: hoe en waar wordt feitelijke kennis opgehaald tijdens de inferentie?

• Bouwt het model de betekenis van een entiteit geleidelijk op over vele lagen heen?
• Of haalt het een compacte entiteitsrepresentatie op via specifieke, gelokaliseerde toegangspunten?

Het paper onderzoekt dit door te kijken naar de "Grootmoeder-cel"-hypothese uit de neurowetenschappen, toegepast op neurale netwerken: bestaan er specifieke, schaarse MLP-neuronen (Multi-Layer Perceptron) die fungeren als stabiele "entiteitscellen" die een entiteit herkennen en de bijbehorende feitelijke representatie activeren?

Methodologie

De auteurs hanteren een pipeline voor lokalisatie en causale interventie op neuron-niveau.

1. Lokalisatie en Stabiliteit:

   • Er wordt een dataset van 200 populaire entiteiten (PopQA-200) gebruikt.
   • Voor elke entiteit worden gestructureerde prompts gebruikt (bijv. "De oorsprong van [Entiteit]", "De rol van [Entiteit]").
   • De activaties van alle MLP-neuronen worden gemeten op de positie van het laatste token van de entiteit.
   • Een stabiliteitsscore ($S_{\ell j}$) wordt berekend voor elk neuron $(\ell, j)$, gebaseerd op de gemiddelde activatie en de variantie over verschillende prompts. Neuronen die sterk en consistent reageren op dezelfde entiteit, krijgen een hoge score.
   • Het top-geklasseerde neuron wordt geselecteerd als de kandidaat "entiteitscel".

2. Causale Interventies:
   Om te testen of deze neuron echt oorzakelijk is voor het feitelijke herinneren (en niet slechts correlatief), worden twee ingrepen uitgevoerd:

   • Negatieve Ablatie: De activatie van de geïdentificeerde cel wordt vermenigvuldigd met een negatieve factor ($\alpha < 0$). Dit moet leiden tot "entiteitsspecifieke amnesie" (het model vergeet feiten over die specifieke entiteit, maar blijft overigens functioneren).
   • Gecontroleerde Injectie: De activatie van de cel wordt op een placeholder-token (in plaats van de echte entiteit) ingesteld op de waarde die hoort bij de entiteit. Dit moet het model in staat stellen feiten over de entiteit te genereren, zelfs zonder de entiteit in de prompt te hebben.

3. Robuustheidstesten:
   De auteurs testen of dezelfde cel wordt geactiveerd bij variaties in de oppervlaktevorm van de entiteit, zoals:

   • Spellingvarianten en typos (bijv. "Barack Obama" vs. "Brock Obma").
   • Afkortingen (bijv. "FBI" vs. "Federal Bureau of Investigation").
   • Meertalige vormen (bijv. "Paris" in het Latijn, Hebreeuws, Chinees, Arabisch).

Belangrijkste Resultaten

De resultaten zijn het sterkst en meest consistent voor het model Qwen2.5-7B base, met zwakkere signalen in andere model-families.

1. Concentratie in Vroege Lagen:
   De geïdentificeerde entiteitscellen bevinden zich overweldigend vaak in de vroege lagen van het model (lagen 0–5). Bij Qwen2.5-7B base piekt 99% van de entiteiten in deze vroege lagen. Dit suggereert dat entiteitsidentiteit vroeg in het verwerkingsproces wordt geconverteerd naar een canonieke representatie.

2. Causale Noodzaak (Ablatie):
   Bij het onderdrukken van een lokale cel (negatieve ablatie) daalt het vermogen van het model om feiten over die specifieke entiteit op te halen drastisch (bijv. van 1.0 naar 0.123 voor Obama), terwijl het model blijft functioneren voor andere entiteiten (controle). Dit bewijst dat deze neuron functioneel noodzakelijk is voor de toegang tot feitelijke kennis over die entiteit.

3. Causale Voldoende (Injectie):
   Het activeren van slechts één enkele geïsoleerde cel op een placeholder-token is vaak voldoende om het model te sturen naar het correcte feit (63,3% succes bij pass@5). Dit suggereert dat een enkele neuron kan fungeren als een "schakelaar" voor de volledige entiteitsrepresentatie.

4. Robuustheid en Canonisering:
   Dezelfde neuron wordt geactiveerd door spellingvarianten, afkortingen en meertalige vormen. Dit ondersteunt de interpretatie dat deze cellen toegang geven tot een canonieke identiteitsrepresentatie van de entiteit, en niet slechts tot een specifieke reeks tokens.

5. Model-afhankelijkheid:
   Hoewel het fenomeen reproduceerbaar is, is het sterk model-afhankelijk. Qwen2.5-7B-Instruct behoudt bijna exact dezelfde cel-kaart als de base-versie (post-training robustheid). Qwen3-8B toont ook vroege lagen, maar de causale validatie is zwakker. Bij andere families (Llama, Mistral, OLMo) zijn de signalen minder consistent en de causale effecten zwakker.

Bijdragen

1. Validatie van de Grootmoeder-cel hypothese: Het paper biedt empirisch bewijs voor het bestaan van schaarse, entiteit-selectieve neuronen in LLMs die fungeren als stabiele ankers voor feitelijke herinnering.
2. Causale Validatie: Het toont aan dat het manipuleren van deze neuronen (zowel onderdrukken als activeren) directe causale effecten heeft op de output, wat verder gaat dan eerdere correlatieve studies.
3. Karakterisering van Eigenschappen: Het identificeert dat deze cellen robuust zijn tegen oppervlaktevorm-variaties en voornamelijk in de vroege lagen van het model zitten.
4. Open Science: De code, prompts en data (inclusief een kaart van 200 entiteiten) zijn openbaar gemaakt.

Significantie en Implicaties

Dit onderzoek biedt een nieuw perspectief op hoe taalmodellen feitelijke kennis opslaan en ophalen. In plaats van een diffuus, geleidelijk proces over het hele netwerk, lijkt het erop dat voor veel populaire entiteiten een compacte, gelokaliseerde toegangspunt bestaat.

• Interpreteerbaarheid: Het biedt een "handvat" (single-neuron handle) om het gedrag van modellen te analyseren en te moduleren.
• Model Editing: Het suggereert dat het mogelijk is om feitelijke kennis te wijzigen of te herstellen door specifieke neuronen te targeten, wat efficiënter kan zijn dan het herschrijven van gewichten op grote schaal.
• Beperkingen: Het effect is niet universeel; niet elke entiteit heeft een betrouwbare enkele-neuron oplossing, en de dekking is hoger voor populaire entiteiten. De mechanismen zijn ook sterk afhankelijk van het specifieke model en de trainingsdata.

Kortom, het paper bevestigt dat taalmodellen voor een aanzienlijk deel van hun feitelijke kennis gebruikmaken van "grandmoeder-cellen" die fungeren als canonieke toegangspunten, voornamelijk in de vroege lagen van het model.