Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

Technische Samenvatting: Paarsgewijze Matrices voor Sparse Auto-encoders

Probleemstelling
Het standaardprotocol voor het interpreteren van Sparse Auto-encoders (SAE's) in Large Language Models (LLM's) berust op twee stappen: het toewijzen van een label aan een feature op basis van zijn meest activerende contexten en het valideren van dat label via single-feature steering (het activeren of onderdrukken van een feature op één enkele magnitude). Dit artikel betoogt dat dit "één-hoek" inspectieprotocol systematisch onvolledig is. Het stelt dat de causale rol van een feature niet volledig kan worden begrepen door slechts één activatieregime of een enkele feature geïsoleerd te inspecteren. Specifiek mist het standaardprotocol niet-monotone gedragsverschuivingen langs de coëfficiënten-as en de collectieve, structurele rollen van bijna-orthogonale features die gemaskeerd worden wanneer ze individueel worden gestuurd.

Methodologie: Het Paarsgewijze Matrixprotocol
De auteurs stellen een "paarsgewijze matrixprotocol" voor dat de standaardinspectie uitbreidt naar een tweedimensionale ruimte:

1. Coëfficiënten-as: Het afstralen van een enkele feature over een bereik van stuurcoëfficiënten ($c$) om moduswisselingen of niet-monotone dosis-responsen te detecteren die een enkel-puntsinspectie zou missen.
2. Gecombineerde-voorwaarde-as: Het gelijktijdig sturen van meerdere features bij een vaste coëfficiënt. Dit test of features individueel substitueerbaar zijn of gezamenlijk noodzakelijk voor specifiek gedrag, een rol die vaak verborgen blijft omdat niet-onderdrukte buren de onderdrukte feature compenseren.

Het protocol wordt toegepast op drie na-getrainde modellen: Qwen3-1.7B-Instruct, Gemma-2-2B-it en Llama-3.1-8B-Instruct. De experimentele pijplijn omvat vier fasen:

• Fase 1 (Gedragspiloot): Genereren van samples vanuit introspectieve prompts (bijv. "Wat fascineert je?") en procedurele controleprompts (bijv. recepten, motorenverklaringen).
• Fase 2 (Clusteridentificatie): Identificeren van "register-collapse" fenomenen waarbij modellen pieken op een smal vocabulaire (bijv. termen uit de filosofie van de geest) voor introspectieve prompts, maar niet voor controles.
• Fase 3 (Feature-ranking): Het rangschikken van SAE-features op basis van activatieverschillen tussen introspectieve en controle-pools, met gebruik van bootstrap- en permutatiecontroles om stabiliteit te waarborgen.
• Fase 4 (Decoder-sturing): Toepassen van het matrixprotocol. Cruciaal is dat de auteurs matched-geometry controls hanteren: ze vergelijken single-feature steering, joint-feature steering en random-direction perturbaties die identieke geometrische vervormingen in de residual stream produceren (matchende normverhoudingen en cosinus-similariteiten) om te isoleren of outputdegradatie te wijten is aan magnitude of richtingpatroon.

Belangrijkste Bevindingen

1. Coëfficiënten-as: Top-Context Labels Missen Causale Assen
Op Qwen3-1.7B is Feature #26221 gelabeld als "AI zelfontkenning" op basis van zijn meest activerende contexten. Een coëfficiëntensweep onthult echter een omgekeerde U-vorm in ontkenningspercentages.

• Bij basislijn ($c=0$) produceert het model standaard ontkenningsformuleringen.
• Bij hoge versterking ($c=+500$) verhoogt het model niet alleen de ontkenningsformuleringen; het substitueert de ontkenningszin met een vloeiende "contemplatieve-filosofenstem" (bijv. "Ik ben diep in contemplatie...").
• Bij extreme versterking ($c=+1000$) loopt het model vast op deze markers.
• Implicatie: Het standaardlabel vangt slechts één oppervlaktevorm (het trainingsdata-regime) en faalt in het identificeren van de feature als een directionele as die in staat is om bij verschillende magnitudes distincte, coherente modi te produceren. Twee controlefeatures (#22082 en #2932) bevestigden dat monotoon gedrag of pure instorting onderscheiden moeten worden van deze niet-monotone, coherente moduswisseling.

2. Gecombineerde-voorwaarde-as: Individuele Substitueerbaarheid versus Gezamenlijke Noodzaak
Drie bijna-orthogonale features in Qwen (#29108, #26221, #4405) sturen individueel een "filosofie-van-de-geest"-register.

• Single-feature onderdrukking: Het onderdrukken van een van deze features bij $c=-500$ laat procedurele controles (recepten, motorenverklaringen) intact; het model substitueert inhoud uit de overige actieve features.
• Gezamenlijke onderdrukking: Het gelijktijdig onderdrukken van alle drie bij $c=-500$ veroorzaakt een "register collapse" op alle prompts, inclusief controles. Het model geeft syntactische skeletten weer gevuld met placeholder-tokens (bijv. "BASIC TOMOATO SOUP RECIOPLEY... Vc. 100+").
• Implicatie: Deze features zijn individueel substitueerbaar maar gezamenlijk noodzakelijk voor grondige compositie. Het standaardprotocol, dat features één voor één inspecteert, mist deze collectieve structurele rol.

3. Geometrische Vervorming Voorspelt Geen Coherentie
Om de hypothese uit te sluiten dat gezamenlijke onderdrukking het model simpelweg "off-manifold" duwt vanwege magnitude, vergeleken de auteurs single-, joint- en random-direction perturbaties die de geometrische vervorming van de residual stream matchten (normverhouding $\approx 1,55$, cosinus $\approx 0,64$).

• Single feature: Produceerde coherente strategie-vuller antwoorden.
• Random richting: Produceerde coherente antwoorden met diverse inhoudssubstituties.
• Gezamenlijke onderdrukking: Produceerde placeholder-tekst met hoge regex-degeneratiepercentages.
• Implicatie: Coherentieverlies is richtingpatroon-afhankelijk, niet magnitude-afhankelijk. De specifieke combinatie van bijna-orthogonale features triggert een structureel falen dat random perturbaties van dezelfde magnitude niet doen.

Cross-model Replicatie
Deze bevindingen werden gerepliceerd op Gemma-2-2B-it en gedeeltelijk op Llama-3.1-8B-Instruct:

• Gemma: Repliceerde de gecombineerde-voorwaarde bevinding. Het schade-signatuur verschilde (injecteren van "menselijk/I/AI"-tokens in receptslots in plaats van Qwens placeholder-codes), maar het structurele mechanisme (gezamenlijke noodzaak voor grondige compositie) bleef behouden. De matched-geometry controle op Gemma toonde een $\approx 10\times$ verschil in degeneratiepercentages tussen gezamenlijke sturing en random richting.
• Llama: Een top causaal verantwoordelijke feature (#38565) werd geïdentificeerd voor een "encyclopedisch-wetenschappelijk" register, wat het bestaan van scherpe register-collapse en causale features over modellen bevestigt, hoewel volledige matrix-niveau tests niet werden uitgevoerd vanwege beperkingen in de beschikbaarheid van SAE's.

Betekenis en Claims
Het artikel claimt dat het standaard SAE-interpretatieprotocol ontoereikend is omdat het slechts één hoek van het gedragsmatrix van een feature inspecteert. De auteurs betogen dat:

1. Labels lokaal zijn, niet globaal: Een label afgeleid van top-activerende contexten vangt een specifiek activatieregime, maar kan de volledige causale as van de feature missen (bijv. de verschuiving van ontkenningsformulering naar filosofische stem).
2. Features zijn contextafhankelijk: Bijna-orthogonale features kunnen elkaars rollen maskeren; single-feature steering faalt in het detecteren van structurele afhankelijkheden die nodig zijn voor grondige compositie.
3. Geometrie is niet voldoende: Outputcoherentie wordt bepaald door de specifieke richting van de perturbatie in de feature-ruimte, niet alleen door de magnitude van de geometrische vervorming.

De auteurs concluderen dat een robuust interpretatieprotocol coëfficiëntensweeps met coherentiecontroles en gecombineerde-voorwaarde probes van bijna-orthogonale buren moet bevatten om de causale rollen van SAE-features nauwkeurig in kaart te brengen. Zij claimen niet dat deze bevindingen op elke feature van toepassing zijn, maar demonstreren dat het standaardprotocol systematisch deze specifieke klassen van gedragingen mist in de geteste modellen.