Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics

Probleemstelling

In grote taalmodellen (LLM's) is het fenomeen van polysemantie (waarbij één neuron reageert op meerdere, ogenschijnlijk ongerelateerde concepten) vaak geïnterpreteerd als bewijs voor superpositie. Volgens de superpositie-hypothese comprimeert het model meer concepten dan er neurale dimensies zijn, waardoor neuronen meerdere concepten moeten delen.

Dit paper stelt echter dat een aanzienlijk deel van deze waargenomen overlap niet het gevolg is van conceptuele compressie, maar van een lexicale verwarring (lexical confound). Wanneer een neuron reageert op zowel "financial bank" als "river bank", wordt dit vaak gezien als superpositie van twee concepten. De auteurs betogen dat dit in werkelijkheid vaak betekent dat het neuron reageert op het woordvorm ("bank") voordat de betekenis is ontrafeld. Standaard meetmethoden kunnen deze twee oorzaken niet van elkaar onderscheiden, wat leidt tot een overschatting van superpositie en een verkeerde interpretatie van wat neuronen eigenlijk coderen.

Methodologie

De auteurs introduceren een rigoureuze aanpak om deze verwarring op te lossen:

1. 2x2 Factoriële Decompositie:
   Ze ontwerpen een experimenteel raamwerk dat zinnen combineert langs twee assen: zelfde woord vs. ander woord en zelfde betekenis vs. andere betekenis. Dit resulteert in vier condities:

   • SL (Same-Lemma): Selve woord, zelfde betekenis (bijv. "bank" als bankinstelling vs. "bank" als bankinstelling).
   • PS (Polysemantic): Selve woord, andere betekenis (bijv. "bank" als bankinstelling vs. "bank" als rivieroever).
   • SYN (Synonym): Ander woord, zelfde betekenis (bijv. "bank" als bankinstelling vs. "instelling").
   • CL (Cross-Lemma): Ander woord, andere betekenis (bijv. "bank" vs. "plant").

   Door de neuronale overlap tussen deze condities te vergelijken, kunnen ze isoleren hoeveel overlap wordt veroorzaakt door het woordvorm (PS) versus de betekenis (SYN).

2. Maatstaf $R_{lex}$:
   Ze definiëren een Lexical Contribution Ratio ($R_{lex}$):
   $$R_{lex} = \frac{\bar{M}_{Polysemy} - \bar{M}_{Synonym}}{\bar{M}_{Same-Lemma} - \bar{M}_{Cross-Lemma}}$$
   Een hoge $R_{lex}$ (dicht bij 1) geeft aan dat het woordvorm de dominante drijver is van de overlap, niet de semantische compressie.

3. Neuron Classificatie (SSI):
   Ze classificeren neuronen in twee groepen op basis van hun Sense Selectivity Index (SSI):

   • Sense-selectief: Neuronen die sterk reageren op één specifieke betekenis.
   • Sense-blind: Neuronen die reageren op het woordvorm, ongeacht de betekenis.

4. Causale Interventie:
   Ze gebruiken mean-ablation (het verwijderen van de activatie van specifieke neuronengroepen) om te testen of deze onderscheiden groepen verschillende causale rollen spelen in taken zoals woordbetekenisdisambiguatie en modelbewerking (model editing).

Belangrijkste Resultaten

De analyse omvatte negen transformer-modellen (van 110M tot 70B parameters, inclusief GPT-2, BERT, Pythia en LLaMA-2) en 407 polysemische woorden.

• Woordvorm wint: In alle modellen en lagen was de overlap in de PS-conditie (zelfde woord, andere betekenis) consistent en significant groter dan in de SYN-conditie (ander woord, zelfde betekenis). Dit betekent dat het delen van een woordvorm meer neuronale overlap veroorzaakt dan het delen van een betekenis.
• Lexicale verwarring is dominant: De $R_{lex}$ was overal positief, wat aangeeft dat een groot deel van wat als "polysemantie" wordt gemeten, in feite "lexicale identiteit" is.
• Impact op Sparse Autoencoders (SAE's): De verwarring werkt door in SAE's. Tussen 18% en 36% van de geleerde features in SAE's bleek "sense-blind" te zijn; ze reageren op het woordvorm in plaats van op een coherent concept. Dit betekent dat veel features die als monosemantisch worden geïnterpreteerd, in werkelijkheid slechts oppervlakkige woordpatronen coderen.
• Compacte Subruimte: De "lexicale identiteit" is niet diffuus, maar zit opgesloten in een zeer compacte subruimte van ongeveer 20 dimensies (minder dan 1% van de totale activatieruimte). Het verwijderen van deze dimensies vermindert de PS-SYN gap aanzienlijk.
• Causaal belang:
  • Disambiguatie: Sense-selectieve neuronen zijn cruciaal voor het onderscheiden van betekenissen (probeer-accuracy 91%), terwijl sense-blind neuronen nauwelijks bijdragen (42%).
  • Model Editing (ROME): Het bewerken van alleen sense-selectieve neuronen leidt tot veel selectievere kennisupdates. Het bewerken van sense-blind neuronen veroorzaakt "collaterale schade" waarbij onbedoeld ook de andere betekenis van het woord wordt beïnvloed.

Bijdragen

1. Conceptueel Inzicht: Het paper toont aan dat een groot deel van de waargenomen polysemantie een artefact is van de verwerking van woordvormen, niet van conceptuele compressie.
2. Nieuwe Methodologie: Introductie van de 2x2 factoriële decompositie en de $R_{lex}$-metriek om superpositie van lexicale verwarring te scheiden.
3. Praktische Tools:
   • Een classificatie voor sense-selectieve vs. sense-blind neuronen.
   • Een correctie voor polysemantie-metingen door de "lexicale identiteit subruimte" (LIS) te verwijderen.
   • Een filter voor SAE's om sense-blind features te identificeren en te verwijderen.
4. Validatie: De bevindingen zijn robuust gebleken over verschillende modelgroottes, architecturen en datasets (zowel SemCor als moderne Wikipedia-tekst).

Significantie

Deze bevindingen hebben grote gevolgen voor het veld van interpretability (interpreteerbaarheid) van LLM's:

• Herinterpretatie van SAE's: Veel features die momenteel worden gebruikt om modellen te sturen of te analyseren, coderen mogelijk voor woordvormen in plaats van voor concepten. Dit kan leiden tot misleidende conclusies over wat een model "weet".
• Betere Modelbewerking: Voor taken zoals het bijwerken van feitelijke kennis (knowledge editing) is het essentieel om sense-selectieve neuronen te targeten. Het negeren van de lexicale verwarring leidt tot onnauwkeurige en brede wijzigingen in het modelgedrag.
• Toekomstig Onderzoek: Het paper biedt een roadmap voor het ontwikkelen van betere SAE-trainingen (bijv. met een straf voor lexicale identiteit) en nauwkeurigere metrics voor superpositie die de "ruis" van woordvormen filteren.

Kortom, het paper waarschuwt dat we niet alle neuronale overlap mogen toeschrijven aan superpositie; we moeten eerst de "lexicale ruis" verwijderen om de ware conceptuele compressie te begrijpen.