Constructing Interpretable Features from Compositional Neuron Groups

Technische Samenvatting: Het Construeren van Interpreteerbare Kenmerken uit Compositieve Neuronengroepen

Probleemstelling
Een centrale uitdaging in mechanistische interpretatie is het identificeren van de juiste analyse-eenheden binnen Large Language Models (LLM's) die modeluitkomsten causaal verklaren. Hoewel vroege onderzoek zich richtte op individuele neuronen, suggereert bewijs dat neuronen vaak meerdere concepten coderen (polysemantische aard), wat een verschuiving motiveert naar het analyseren van richtingen in de activatieruimte. Huidige onbewaakte benaderingen vertrouwen op Sparse Autoencoders (SAE's) die worden getraind op activaties van de residustroom om kenmerkenrichtingen vanaf nul te leren. SAE's kampen echter met aanzienlijke beperkingen: ze hebben vaak moeite bij causale evaluaties (sturen), missen intrinsieke interpreteerbaarheid omdat hun geleerde kenmerken niet expliciet gekoppeld zijn aan de interne berekeningen van het model, en hun kenmerken zijn niet beperkt tot de representatieruimte van het model. Er is behoefte aan een methode die op onbewaakte wijze interpreteerbare kenmerken ontdekt, terwijl een directe causale link naar de mechanismen van het model behouden blijft.

Methodologie
De auteurs stellen voor om Multi-Layer Perceptron (MLP) activaties direct te decomponeren met behulp van Semi-Niet-Negatieve Matrixfactorisatie (SNMF). In tegenstelling tot SAE's, die nieuwe richtingen leren, stelt deze methode kenmerken voor als spaarzame lineaire combinaties van bestaande, gelijktijdig geactiveerde neuronen binnen de MLP.

1. Formulering: Gegeven een matrix $A \in \mathbb{R}^{d_a \times n}$ van MLP-activaties (waarbij $d_a$ de interne dimensie is en $n$ het aantal tokens), decomponeert de methode $A$ in twee matrices:

   • $Z \in \mathbb{R}^{d_a \times k}$: Een matrix van $k$ MLP-kenmerken, waarbij elke kolom een spaarzame lineaire combinatie van neuronen definieert.
   • $Y \in \mathbb{R}^{k \times n}_{\geq 0}$: Een niet-negatieve coëfficiëntenmatrix die invoer afbeeldt op kenmerken.
     De decompositie volgt $A \approx ZY$.

2. Interpreteerbaarheidsmechanisme:

   • Sparsiteit: De kolommen van $Z$ worden beperkt tot spaarzaamheid met behulp van een harde 'winner-take-all'-operator, waardoor elk kenmerk slechts een klein subset van neuronen activeert.
   • Causale Verankering: De niet-negatieve matrix $Y$ codeert expliciet welke tokens hebben bijgedragen aan het creëren van een kenmerk, wat toelaat om directe toewijzing van tekstuele conceptlabels te maken op basis van sterk activerende contexten.
   • Mapping naar Residustroom: Elke kenmerkvector $z_i$ in de activatieruimte wordt via de MLP-uitgangsgewichten ($W_V$) gemapt naar de residustroom, waardoor een residustroomkenmerk $f_i = W_V z_i$ wordt gedefinieerd. Dit zorgt ervoor dat kenmerken verankerd zijn in de daadwerkelijke berekeningspaden van het model.

3. Optimalisatie: De methode maakt gebruik van multiplicatieve updates (Ding et al., 2010) om de Frobenius-norm tussen $A$ en $ZY$ te minimaliseren, met sparsiteit afgedwongen op $Z$.

Belangrijkste Bijdragen

• SNMF voor MLP-Decompositie: Het artikel introduceert een onbewaakte methode om MLP-activaties te decomponeren in interpreteerbare kenmerken die worden gedefinieerd door groepen gelijktijdig geactiveerde neuronen, in plaats van willekeurige richtingen vanaf nul te leren.
• Superioriteit bij Causaal Sturen: De auteurs demonstreren dat SNMF-afgeleide kenmerken state-of-the-art SAE's (GemmaScope, Llamascope) en een sterke bewaakte baseline (Difference-in-Means) overtreffen bij causale sturingstaken, terwijl ze vergelijkbaar presteren bij conceptdetectie.
• Aan het Licht Brengen van Hiërarchische Compositie: Door middel van recursieve SNMF tonen de auteurs aan dat MLP-kenmerken compositief zijn. Gedetailleerde concepten (bijvoorbeeld specifieke weekdagen) worden gevormd door gedeelde "kern"-neuronen te combineren met exclusieve neuronen. Dit onthult een hiërarchische structuur waarbij bredere concepten (bijvoorbeeld "weekdag") zijn samengesteld uit meer specifieke sub-concepten, wat effectief het fenomeen van "kenmerksplitsing" omkeert dat vaak bij SAE's wordt waargenomen.
• Neuronhergebruik: De analyse bevestigt dat semantisch gerelateerde kenmerken een kernset van neuronen delen, waarbij exclusieve neuronen de promotie of onderdrukking van specifieke sub-concepten regelen.

Resultaten
Experimenten werden uitgevoerd op Llama 3.1-8B, Gemma 2-2B en GPT-2 Small.

• Conceptdetectie: SNMF-kenmerken behaalden positieve detectiescores voor het merendeel van de kenmerken (>75%), wat aangeeft dat ze activeren voor conceptgerelateerde invoer en inactief blijven voor neutrale invoer. De prestaties waren vergelijkbaar met of overtroffen die van SAE's die zijn getraind op MLP-uitgangen.
• Conceptsturing: Bij causale sturingsevaluaties (het meten van het vermogen om modelgeneratie te sturen naar een concept terwijl de vloeiendheid behouden blijft) overtrof SNMF consistent SAE's in alle lagen. Het kwam ook vaak overeen met of overtrof de prestaties van de bewaakte Difference-in-Means-baseline.
• Hiërarchische Analyse: Recursieve toepassing van SNMF slaagde erin gedetailleerde kenmerken (bijvoorbeeld "maandag", "dinsdag") te samenvoegen tot hogere niveauconcepten (bijvoorbeeld "weekdag", "weekend"). Causale interventies bevestigden dat het versterken van "kern"-neuronen alle gerelateerde tokens promoveerde, terwijl het versterken van "exclusieve" neuronen specifieke tokens promoveerde en andere onderdrukte.

Betekenis en Claims
Het artikel claimt dat SNMF een eenvoudige en effectieve tool biedt voor het identificeren van interpreteerbare kenmerken in LLM's. Door MLP-activaties direct te decomponeren, koppelt de methode kenmerken aan de specifieke modelcomponenten die verantwoordelijk zijn voor hun vorming. De resultaten suggereren dat de MLP werkt via additieve updates die zijn samengesteld uit interpreteerbare neuronensets. Dit werk positioneert SNMF als een haalbaar alternatief voor SAE's, met betere causale prestaties en intrinsieke interpreteerbaarheid zonder bewaking. Bovendien biedt de ontdekking van hiërarchische neuroncompositie een nieuwe lens voor het begrijpen hoe LLM's complexe concepten construeren uit herbruikbare neurale bouwstenen, waardoor de functionele rol van neuronen wordt uitgebreid boven het coderen van een enkel concept.

De auteurs erkennen beperkingen, waaronder de huidige focus op aantallen kenmerken $k < 500$ en de afhankelijkheid van LLM's als rechters voor evaluatie, hoewel ze sterke overeenstemming met menselijke oordelen rapporteren. Zij suggereren dat toekomstig werk de schaalvergroting naar grotere $k$-waarden en het gebruik van geprojecteerde gradiëntafdalingsmethoden voor optimalisatie kan verkennen.