Technische Samenvatting: Sign-gevoelige Gated Sparse Autoencoders

Probleemstelling

Sparse Autoencoders (SAEs) zijn een standaardtool voor het extraheren van interpreteerbare kenmerken uit Large Language Models (LLMs) door overcomplete dictionaries van latente kenmerken te leren. Echter, standaard SAE-varianten (bijvoorbeeld ReLU-gebaseerd of standaard Gated SAEs) dwingen non-negativiteit af op latente activaties ($f_i(x) \geq 0$). Deze beperking dwingt het model om aparte latente kenmerken te leren voor diametraal tegenovergestelde concepten (bijvoorbeeld "druk te hoog" versus "druk te laag") langs dezelfde semantische as.

Deze "sign-splitsing" verspillt dictionary-capaciteit, aangezien twee latente waarden nodig zijn om één bidirectionele kenmerkrichting te representeren. Hoewel klassieke sparse coding toegestane tekens toestaat, ontbreken standaard SAE-implementaties doorgaans mechanismen om zowel positieve als negatieve bewijslast langs een gedeelde decoder-richting te representeren zonder L1-schrinking-artefacten te veroorzaken of de modelbreedte te verdubbelen.

Methodologie: Sign-gevoelige Gated SAE (SA-GSAE)

De auteurs stellen de Sign-gevoelige Gated SAE (SA-GSAE) voor, een architectuur ontworpen om anticorrelatieve kenmerken te modelleren met behulp van één enkele latente codering. De methode generaliseert de Gated SAE door een tweezijdig gated-sparse-mechanisme met getekende magnitude en aanvullende supervisie in te voeren.

1. Bi-Jump-ReLU-activatie

De kerninnovatie is de Bi-Jump-ReLU-activatiefunctie. Voor elke latent $i$ berekent het model een decoder-gealigneerde projectie $t_i(x)$. Een leerbare "dode zone" $[-\delta^-_i, \delta^+_i]$ wordt gedefinieerd via drempelwaarden.

• Polariteitsselectie: Een gate-preactivatie $\pi_i(x)$ bepaalt de polariteit $s_i(x) \in \{+1, -1, 0\}$. Als $\pi_i(x)$ de positieve drempel overschrijdt, schiet de latent positief af; als deze onder de negatieve drempel valt, schiet de latent negatief af.
• Getekende Magnitude: Zodra de gate een polariteit selecteert, berekent een apart magnitude-pad de activatiewaarde. Cruciaal gebruikt dit pad een versterkingsparameter ($g^+_i$ of $g^-_i$) en een gedeelde magnitude-offset, waardoor het aftrekken van drempelwaarden van de actieve magnitude wordt vermeden (wat L1-schrinking veroorzaakt).
• Gedeelde Richting: Zowel positieve als negatieve activaties worden afgebeeld op dezelfde decoderkolom $D_{:,i}$, waardoor één enkele latent een bidirectionele semantische as kan representeren.

2. Trainingsdoel

De trainingsverliesfunctie combineert drie componenten:

1. Hoofdherconstructie: $\|x - D a(x) - b_{dec}\|^2_2$, waarbij $a(x)$ de getekende Bi-Jump-ReLU-activaties bevat.
2. Gate-Sparseheidsstraf: Een tweezijdige hinge-verliesfunctie $\Omega_{gate}(\pi_i(x))$ toegepast op de gate-preactivaties om sparseheid te bevorderen zonder de actieve magnitudes te verkleinen.
3. Aanvullende Herconstructie: Een aanvullende verliesfunctie $L_{aux}$ met behulp van een stop-gradient decoder-pad. Deze verliesfunctie superviseert de gate direct, leert deze welke kant van de dode zone te kruisen, terwijl de hoofdherconstructie de getekende magnitude leert. Deze scheiding voorkomt dat de gate instort (een veelvoorkomende faalmodus in getekende SAEs).

3. Argument voor Parameter-efficiëntie

De auteurs leveren een theoretisch argument voor parameter-efficiëntie. Als een fractie $p$ van de grond-waarheid kenmerken voorkomt als anticorrelatieve paren, vereist een standaard SAE een breedte $H$, terwijl het Sign-gevoelige model $H_{\pm} = H(1 - p/2)$ vereist.

• Het Sign-gevoelige model voegt 4 scalare parameters per latent toe (twee drempelwaarden, twee magnitudeschalen) in vergelijking met een standaard Gated SAE.
• Netto parameterbesparing treedt op wanneer $p > \frac{8}{d_{in} + 4}$.
• Voor typische transformer-verborgen groottes ($d_{in} = 2048$) is deze drempel ongeveer $0,39\%$. De auteurs betogen dat zelfs een kleine fractie anticorrelatieve paren de Sign-gevoelige aanpak strikt meer parameter-efficiënt maakt.

Belangrijkste Bijdragen

1. Architectuur: Introductie van de SA-GSAE met Bi-Jump-ReLU, wat getekende magnitude-schatting en tweezijdige gated-sparseheid mogelijk maakt. Ablatiestudies bevestigen dat de tweezijdige gate en de aanvullende verliesfunctie de "drager" componenten zijn; het verwijderen van de aanvullende verliesfunctie veroorzaakt catastrofale uitval (98% dode latents).
2. Symmetrische-magnitude Standaard: De auteurs demonstreren dat het koppelen van de positieve en negatieve magnitudeschalen ($r^+_i = r^-_i$) praktisch niet te onderscheiden is van onafhankelijke schaling ($|\Delta R^2| \approx 0,0015$) op echte LLM-activaties. Zij raden deze symmetrische variant aan als standaard voor parameter-efficiëntie.
3. Empirische Validatie: Uitgebreide evaluatie op Pythia-1B en SmolLM3-3B over drie hookpoints (MLP-uitvoer, attention-uitvoer, residual stream).

Resultaten

Het artikel vergelijkt een half-brede SA-GSAE ($H = 16.384$) met een volledig-brede Gated SAE ($2H = 32.768$) en een op breedte afgestemde Gated SAE.

• Vermindering Dode Fractie: De half-brede SA-GSAE vermindert de fractie dode (inactieve) latents drastisch in vergelijking met de volledig-brede Gated SAE.
  • Op MLP-uitvoer- en Pythia-1B residual stream-cellen is de vermindering met factoren van 100× tot 500× (geometrisch gemiddelde).
  • Op attention-cellen en SmolLM3-3B residual stream is de vermindering 2× tot 4×.
• Herconstructie-trouw:
  • Op 3 van de 6 cellen (beide MLP-uitvoer hookpoints en Pythia-1B residual stream) domineert de half-brede SA-GSAE de volledig-brede Gated SAE strikt in de Pareto-zin over de volledige afgedekte $L_0$ (sparseheid) overlap, waarbij gelijke of betere $R^2$ wordt bereikt met aanzienlijk minder dode latents.
  • Op de overige 3 cellen is de $R^2$-kloof verwaarloosbaar (binnen $0,025$), terwijl de dode fractie nog steeds significant wordt gereduceerd.
• Stabiliteit: Op volledige breedte vertoont de SA-GSAE een reproduceerbare herconstructie-instorting op de SmolLM3-3B residual stream-site (MSE tot 6,0, $R^2$ tot -4,3). De half-brede variant vermijdt deze pathologie volledig, wat een praktische motivatie biedt voor werken op halve breedte.
• Bipolair Gebruik: Kalibratieanalyse toont aan dat op MLP-uitvoercellen de meeste latents signalen dragen op beide polariteiten (hoge "bipolaire fractie"), wat de capaciteitswinsten drijft. Op attention-lagen is de bipolaire structuur geconcentreerd in een kleinere set van top-activatie latents.

Betekenis en Beweringen

Het artikel claimt de eerste tweezijdige, gated, niet-schrinkende SAE te zijn voor gedeelde getekende kenmerken. De primaire betekenis ligt in:

1. Efficiëntie: Aantonen dat sign-gevoeligheid een vermindering van de dictionary-breedte (halve breedte) mogelijk maakt zonder in te leveren op herconstructiekwaliteit, waardoor de inefficiëntie van "sign-splitsing" effectief wordt opgelost.
2. Structureel Inzicht: Aantonen dat het vermogen om decoder-richtingen te delen voor anticorrelatieve paren niet alleen een theoretische mogelijkheid is, maar een praktische noodzaak voor efficiënt kenmerkleer in LLMs, met name in MLP-uitvoer.
3. Robuustheid: Identificeren dat de aanvullende verliesfunctie cruciaal is voor trainingsstabiliteit en dat een variant met symmetrische magnitudes voldoende is voor hoge prestaties.

De auteurs behandelen SAE-dictionaries als nuttige decomposities in plaats van unieke grond-waarheid basissen. Zij concluderen dat de half-brede SA-GSAE met symmetrische magnitudes het aanbevolen operationele punt is, met superieure capaciteitsbenutting en stabiliteit in vergelijking met standaard non-negatieve Gated SAEs.