Sparse Auto-Encoders and Holism about Large Language Models

Probleemstelling

Het artikel adresseert een fundamentele filosofische en technische vraag over de aard van betekenis in Large Language Models (LLMs):

• De Holistische Hypothese: Eerdere werken (o.a. Grindrod, 2023) betogen dat LLMs een holistische visie op taal vertegenwoordigen. Volgens deze visie wordt de betekenis van een woord niet bepaald door zijn relatie tot de wereld of door een set van onafhankelijke, atomaire definities, maar puur door zijn relationele positie (nabijheid) tot andere woorden in een hoge-dimensionele semantische ruimte. Dit staat in contrast met traditionele waarheidsvoorwaardelijke of decompositionalistische theorieën.
• De Uitdaging: Recent werk in mechanistic interpretability, specifiek het gebruik van Sparse Auto-Encoders (SAEs), lijkt deze holistische visie te ondermijnen. SAEs kunnen duizenden tot miljoenen interpreteerbare "latent features" (verborgen kenmerken) blootleggen binnen de neurale netwerken van LLMs. Dit suggereert een decompositionalistische visie: dat woordbetekenis in feite samengesteld is uit een lexicon van atomaire, onafhankelijke bouwstenen (features), zoals "koning" = {manlijk, koninklijk, leider}.

De kernvraag is of de ontdekking van deze features de holistische interpretatie van LLMs ongeldig maakt, of dat de holistische visie nog steeds stand kan houden.

Methodologie

De auteur hanteert een analytische filosofische benadering, ondersteund door een technische analyse van recente AI-onderzoeksresultaten:

1. Conceptuele Analyse: Het artikel analyseert de filosofische implicaties van de architectuur van LLMs (van Word2Vec tot Transformers) en de definitie van holisme volgens Dresner (2012).
2. Technische Review van SAEs: Er wordt diepgaand ingegaan op de werking van Sparse Auto-Encoders. Een SAE is een breed, ondiep neurale netwerk dat getraind wordt om de activatiepatronen van een LLM-laag te reconstrueren, met een L1-regularisatie die de activatie van neuronen "spaarzaam" (sparse) houdt. Dit dwingt het model om de input te coderen met een klein aantal actieve neuronen per stap, wat de interpretatie van individuele features mogelijk maakt.
3. Case Studies en Data-analyse: De auteur analyseert concrete voorbeelden van features gegenereerd door SAEs (o.a. uit werken van Bricken et al., 2023; Templeton et al., 2024; en de GEMMASCOPE-projecten).
   • Er worden voorbeelden geanalyseerd van specifieke tokens (zoals "growing" in Moby Dick) om te zien hoe features samenkomen.
   • Er wordt gekeken naar de aard van de features zelf (syntactisch, semantisch, specifiek, algemeen) en hun verdeling over verschillende lagen van het model.
4. Argumentatie tegen Decompositie: De auteur toetst de "Feature Composition View" (de idee dat betekenis uit features bestaat) aan bekende filosofische bezwaren (o.a. van Fodor en Quine) en technische beperkingen van SAEs (zoals interferentie, feature-absorptie en feature-compositie).

Belangrijkste Bijdragen

1. Kritiek op de "Feature Composition View": De auteur betoogt dat de ontdekking van SAE-features niet automatisch leidt tot een decompositionalistische theorie van betekenis.

   • Interferentie en Superpositie: Features in LLMs bestaan vaak in "superpositie" (niet-orthogonale richtingen in de ruimte). Het activeren van één feature activeert vaak andere, minder relevante features. Dit maakt het moeilijk om te spreken van schone, atomaire bouwstenen.
   • Niet-Semantische Features: Veel geïdentificeerde features zijn puur syntactisch (bijv. woorduiteinden "-ing"), contextueel (bijv. "juridische context"), of specifiek voor het modelgedrag (bijv. "sycophancy"), en niet fundamentele semantische eenheden.
   • Granulariteitsprobleem: Door de druk op sparsiteit te verhogen (meer features), worden features steeds specifieker en minder "basis" (bijv. in plaats van "rood" en "vierkant", leert het model "rood vierkant"). Dit leidt tot een oneindige reeks specifieke features in plaats van een eindige set atomaire betekenissen.
   • Feature Absorptie en Compositie: SAEs hebben de neiging om features te combineren of te absorberen om de sparsiteit te maximaliseren, wat de zoektocht naar een universeel lexicon van basisbetekens ondermijnt.

2. Verdediging van het Holisme: De auteur concludeert dat de holistische visie intact blijft, mits men de features niet als fundamentele bouwstenen ziet, maar als gelijkwaardige eenheden in het semantische netwerk.

   • Features en woord-embeddings delen dezelfde eigenschap: hun betekenis wordt bepaald door hun nabijheidsrelaties tot andere eenheden in de ruimte.
   • De ruimte van features is continu, maar de auteur stelt dat onze intuïtie over betekenis suggereert dat deze ruimte in de praktijk discreet moet worden behandeld (er zijn geen zinvolle betekenissen "tussen" twee features in, zoals een halve "zout" en halve "airco").

3. De "Differential View" van Betekenis: Het artikel bevestigt dat betekenis in LLMs beter wordt begrepen als een netwerk van relaties (wie zijn de dichtstbijzijnde buren?) dan als een som van onafhankelijke attributen. Zelfs als features bestaan, zijn hun relaties tot elkaar (en tot woorden) wat de betekenis bepaalt.

Resultaten

• Ontkenning van Atomaire Betekenis: De studie toont aan dat SAE-features niet functioneren als de "atomaire" semantische eenheden die decompositionalistische theorieën (zoals die van Katz & Fodor) vereisen. De features zijn te specifiek, te contextafhankelijk en te verweven door superpositie.
• Validatie van Holisme: De holistische interpretatie van LLMs is robuust. De ontdekking van features verandert de aard van het semantische netwerk niet fundamenteel; het voegt slechts meer knopen toe aan het netwerk, maar de structuur van de betekenisbepaling (via nabijheid en relaties) blijft holistisch.
• Technische Nuancering: Er wordt vastgesteld dat de huidige methoden voor het extraheren van features (SAEs) beperkingen hebben (zoals feature-duplicatie en het creëren van niet-atomaire combinaties) die het onmogelijk maken om een "perfect" lexicon van basisbetekens af te leiden.

Significantie

• Filosofisch: Het artikel biedt een belangrijke brug tussen de filosofie van taal en de moderne AI-wetenschap. Het weerlegt het idee dat de succesvolle interpretatie van LLM-neuralen automatisch de val van holistische semantiek betekent. Het bevestigt dat de "distributional hypothesis" (betekenis via distributie) nog steeds de sterkste verklaring is voor hoe LLMs betekenis modelleren.
• Technisch: Het biedt een kritisch perspectief op de interpretatie van SAE-resultaten. Het waarschuwt onderzoekers om niet te snel te concluderen dat geïnterpreteerde features gelijk staan aan menselijke concepten of atomaire betekenissen. Het benadrukt dat de continuïteit van de vectorruimte en de complexiteit van superpositie de zoektocht naar een eenvoudige, decompositionalistische "waarheid" in LLMs bemoeilijken.
• Toekomstperspectief: Het artikel suggereert dat voor een volledige theorie van betekenis in AI, we moeten kijken naar het netwerk van relaties (holisme) in plaats van naar een lijst van onafhankelijke features. Het plaatst de vraag naar de "discrete vs. continue" aard van betekenisruimtes centraal voor toekomstig onderzoek.

Kortom, Grindrod concludeert dat hoewel LLMs duizenden interpreteerbare features hebben, deze features niet de fundamentele bouwstenen van betekenis zijn die een decompositionalistische theorie vereist. De holistische visie, waarin betekenis voortkomt uit een web van relaties, blijft de meest plausibele meta-semantische beschrijving van hoe LLMs werken.