Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

Titel: Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

Auteurs: Ruixuan Deng, Xiaoyang Hu, Miles Gilberti, Shane Storks, et al. (Georgia Tech, Brown University, University of Michigan)

1. Het Probleem

Grote Taalmodellen (LLMs) vertonen opmerkelijke vaardigheden in het redeneren over relationele kennis (bijv. "Wat is de hoofdstad van China?"). Hoewel eerdere studies hebben aangetoond dat deze vaardigheden soms gemodelleerd kunnen worden door eenvoudige lineaire transformaties of vectorrekenkunde, ontbreekt er een fijnmazig inzicht in hoe specifieke interne kenmerken (features) en hun interacties over verschillende lagen van het netwerk samenwerken om deze antwoorden te genereren.

Bestaande methoden voor mechanistische interpretatie, zoals het traceren van circuits via transcoders, leiden vaak tot complexe grafieken met honderden dicht verbonden knopen die moeilijk te interpreteren zijn zonder handmatige tussenkomst. Er is behoefte aan een geautomatiseerde, efficiënte methode om semantisch coherente en context-consistente modules te identificeren die causaal verantwoordelijk zijn voor specifieke concepten en relaties in LLMs.

2. Methodologie

De auteurs gebruiken Sparse Autoencoders (SAEs) om interpreteerbare, monosemantische kenmerken uit de interne representaties van het model te extraheren. De kern van hun aanpak is het analyseren van co-activatiepatronen van deze kenmerken.

Het proces verloopt als volgt:

1. Activeringscollectie: Het model (Gemma 2 2B, met enkele resultaten voor 9B) wordt gevoed met prompts voor relationele taken. SAEs worden gebruikt om de activeringen van de residual stream in elke laag te mappen naar een sparsere representatie.
2. Kenmerkselectie: Alleen de top-geactiveerde kenmerken (top-k) per laag worden geselecteerd om de computationele last te beperken.
3. Grafiekconstructie: Er wordt een gerichte graaf gebouwd waarbij knopen corresponderen met geselecteerde kenmerken. Kanten worden gelegd tussen kenmerken in opeenvolgende lagen op basis van een hoge Pearson-correlatie (ρ > 0,9) in hun activeringspatronen over de tokens van de prompt.
4. Pruning en Componentidentificatie: Om ruis te verwijderen, worden "dichte" kenmerken (die vaak en generiek activeren) verwijderd op basis van activatiedichtheidsscores (uit Neuronpedia). Alleen zeer schaarse kenmerken (dichtheid ≤ 0,01) worden behouden. Op deze gepreinde graaf worden vervolgens zwak verbonden componenten geïdentificeerd.
5. Causale Validatie: De functionaliteit van deze componenten wordt getest door gerichte interventies:
   • Ablatie: Het uitschakelen (nulstellen) van de activeringen van een component tijdens de forward pass.
   • Amplificatie: Het versterken van de activeringen van een component.
   • De impact wordt gemeten aan de hand van de verandering in de kansverdeling van het volgende token (gemeten via KL-divergentie).

3. Belangrijkste Bijdragen

• Identificatie van Semantische Modules: De auteurs tonen aan dat het co-activeren van schaarse SAE-kenmerken leidt tot de ontdekking van semantisch coherente "componenten" die specifieke concepten (bijv. landen, woorden) en relaties (bijv. hoofdstad, vertaling) vertegenwoordigen.
• Causale Manipulatie: Het bewijzen dat het manipuleren van deze componenten (ablatie/amplificatie) de output van het model op voorspelbare wijze verandert, zelfs het overschrijven van de oorspronkelijke prompt-instructies.
• Compositionaliteit: Het aantonen dat concept- en relatiescomponenten gecombineerd kunnen worden om complexe, contrafactuele antwoorden te genereren (bijv. het combineren van het "Nigeria"-concept met het "taal"-concept om "Engels" te genereren, zelfs als de prompt over "China" ging).
• Hiërarchische Organisatie: Een nieuwe inzichten in de architectuur van kennis in LLMs: concrete entiteiten worden vroeg in het netwerk verwerkt (vroege lagen), terwijl abstracte relaties later ontstaan (latere lagen).

4. Resultaten

De studie werd uitgevoerd op drie relationele taken: landfeiten (hoofdstad, valuta, taal), woordvertalingen en werkwoordtransformaties.

• Stuurbaarheid (Steering):
  • Bij het sturen op basis van individuele concepten of relaties slaagde het model in 96-98% van de gevallen om contrafactuele antwoorden te genereren.
  • Bij samengestelde sturing (concept + relatie) bleef het succespercentage hoog, tot 90%.
  • Voorbeeld: Door de "China"-component te ableren en de "Nigeria"-component te versterken, veranderde het antwoord op "Wat is de hoofdstad van China?" van "Peking" naar "Abuja".
• Laagverdeling:
  • Concept-componenten (bijv. landen, woorden) verschijnen vaak al in de eerste laag van het netwerk.
  • Relatie-componenten (bijv. "hoofdstad", "vertalen") zijn geconcentreerd in de latere lagen. Dit ondersteunt het idee dat concrete entiteiten eerst worden vastgesteld en abstracte relaties daarop worden toegepast.
• Vergelijking met Enkele Kenmerken:
  • Het sturen op basis van een volledige component (een groep kenmerken) was aanzienlijk effectiever (96% succes) dan het sturen op basis van slechts het meest causale enkele kenmerk (83% succes). Dit suggereert dat kennis distributief is verdeeld over populaties van kenmerken.
• Specificiteit:
  • Het ableren van componenten voor één taak had weinig tot geen negatief effect op de prestaties van het model in andere contexten, wat aantoont dat deze modules specifiek zijn voor hun functie.

5. Betekenis en Conclusie

Deze paper biedt een lichtgewicht en efficiënt raamwerk voor de mechanistische interpretatie van LLMs zonder de noodzaak van exhaustieve circuit-tracing. De belangrijkste conclusies zijn:

1. Modulaire Organisatie: Kennis in LLMs is niet willekeurig verspreid, maar georganiseerd in semantisch coherente, causale modules die concepten en relaties scheiden.
2. Gerichte Controle: Deze modules kunnen worden gebruikt om het gedrag van het model op een precieze en voorspelbare manier te manipuleren, wat essentieel is voor het verbeteren van de veiligheid, transparantie en uitlijning van AI-systemen.
3. Schalbaarheid: De methode is geautomatiseerd en toepasbaar op bestaande SAE's, wat een stap is naar schaalbare interpretatie voor grotere modellen.

De auteurs benadrukken dat hun aanpak de weg vrijmaakt voor een beter begrip van hoe LLMs kennis opslaan en combineren, en biedt praktische tools voor het "sturen" van modellen naar gewenste (of contrafactuele) uitkomsten.