Technische Samenvatting: Over de relatie tussen activatie-outliers en feature death in Sparse Autoencoders

1. Probleemstelling

Sparse Autoencoders (SAEs) zijn ontworpen om de activaties van neurale netwerken te deconstrueren naar interpreteerbare, ijle (sparse) features om het fenomeen van superpositie (waarbij netwerken meer concepten coderen dan dimensies door overlappende richtingen) te omkeren. Echter, een kritieke foutmodus bekend als feature death treedt op wanneer geleerde dictionary-features nooit activeren op enige input. Dit verspilt de capaciteit van de dictionary en dwingt overlevende features om te compenseren, wat potentieel superpositie opnieuw introduceert.

Het onderzoek identificeert een significante inconsistentie in de prestaties van SAE's: identieke SAE-configuraties leveren bijna nul dode features op bij modellen zoals GPT-2, maar meer dan 70% dode features bij modellen zoals AlphaFold3. Bestaande revival-technieken (bijv. AuxK, ghost gradients, resampling) behandelen feature death als een probleem van trainingsdynamiek, waarbij geprobeerd wordt gradiëntsignalen in vastgelopen features te injecteren. Deze methoden falen echter in het oplossen van de sterftecijfers in de meest ernstige gevallen, wat suggereert dat de kernoorzaak niet ligt in de trainingsdynamiek, maar in de initialisatietoestand van de activaties.

2. Methodologie en Theoretisch Kader

2.1 Dimensie-niveau Activatie-outliers

De auteurs stellen voor dat dimensie-niveau activatie-outliers de primaire oorzaak zijn van feature death. In tegenstelling tot token-niveau outliers (pieken in specifieke inputs), gaat het hier om dimensies waar de gemiddelde activatiemagnitude ($\mu$) groot is ten opzichte van de per-token standaarddeviatie ($\sigma$). Dit creëert een bijna constante offset over alle inputs.

De auteurs formaliseren de outlier ernst als de ratio:
$$\gamma = \frac{\|\mu\|}{\|\sigma\|}$$
waarbij $\mu$ de gemiddelde activatievector is en $\sigma$ de per-token standaarddeviatievector.

2.2 Geometrische Mechanisme van Death

Bij initialisatie (met nul biases) is de pre-activatie voor feature $i$: $z_i = w_i \cdot x$. Het deconstrueren van de input $x$ in zijn gemiddelde en variatie ($x = \mu + (x - \mu)$), maakt de pre-activatie:
$$z_i = \underbrace{w_i \cdot \mu}_{\text{constante verschuiving}} + \underbrace{w_i \cdot (x - \mu)}_{\text{input-afhankelijke signaal}}$$

Wanneer $\gamma$ hoog is, domineert de constante verschuiving het signaal. Dit leidt tot twee verschillende foutmodi bij initialisatie:

1. Dead-by-ReLU: Features met gewichten die anti-gealigneerd zijn met $\mu$ ($w_i \cdot \mu \ll 0$) ontvangen permanent negatieve pre-activaties. Omdat ReLU een output van nul geeft voor negatieve waarden, vuren deze features nooit en ontvangen ze geen gradiënt.
2. Dead-by-TopK: In TopK SAE's kunnen features met matige positieve verschuivingen weliswaar de ReLU passeren, maar verliezen ze de competitie van features met grote positieve verschuivingen. Alleen de $k$ features die het meest gealigneerd zijn met $\mu$ winnen de TopK-selectie, waardoor de rest dood blijft.

2.3 Analytische Afleiding

Het artikel leidt gesloten vorm-expressies af voor de waarschijnlijkheid van feature death gebaseerd uitsluitend op $\gamma$:

• Dead-by-ReLU: $P(\text{dead}) = \Phi\left(\frac{-C}{\gamma}\right)$, waarbij $\Phi$ de standaard normale CDF is en $C$ afhangt van het aantal evaluatie-samples.
• Dead-by-TopK: $P(\text{dead}) \approx \Phi\left(\frac{t_k - C}{\gamma}\right)$, waarbij $t_k$ het kwantiel is dat overeenkomt met de TopK-drempel.

Deze formules voorspellen dat naarmate $\gamma$ toeneemt, het sterftecijfer monotoon stijgt, waarbij het 50% nadert voor ReLU en $1 - k/n$ voor TopK bij extreme ernst.

2.4 Experimentele Opzet

De auteurs valideren deze claims over 454 model-laag combinaties verspreid over taal-, visie-, eiwit- en genomische modellen. Ze:

• Berekenen $\gamma$ op echte activaties (met behulp van per-token LayerNorm).
• Trainen SAE's met en zonder hulpverliezen (AuxK).
• Voeren synthetische experimenten uit waarbij $\gamma$ gecontroleerd wordt om causaliteit te isoleren.
• Testen van mean-centering (het aftrekken van $\mu$ van inputs of het initialiseren van de bias naar $\mu$) als een mitigatiestrategie.

3. Belangrijkste Bijdragen

1. Outlier Ernst Diagnostiek ($\gamma$): De auteurs leiden $\gamma$ af vanuit eerste principes en tonen aan dat dit analytisch bepaalt welk deel van de features dood is bij initialisatie. Deze diagnostiek correleert sterk met geobserveerde sterftecijfers over diverse modellen (Spearman $\rho = 0.89$ voor TopK, $\rho = 0.82$ voor ReLU) zonder enige fitting.
2. Geometrische Oorzaak van Death: Het artikel stelt vast dat feature death in hoge-$\gamma$ modellen een geometrisch initialisatieprobleem is, en geen trainingsdynamiek-probleem. De activatie-gemiddelde creëert input-onafhankelijke pre-activatieverschuivingen die het lot van een feature bepalen voordat de training begint.
3. Analyse van Recovery Dynamics: De auteurs karakteriseren twee verschillende herstelpaden:
   • Snel: Dead-by-TopK features herstellen naarmate concurrerende features tijdens de training krimpen.
   • Langzaam: Dead-by-ReLU features herstellen pas wanneer de SAE-bias langzaam leert de gemiddelde offset $\mu$ te absorberen. Dit proces is buitensporig traag bij een hoge $\gamma$, wat verklaart waarom training alleen vaak faalt om features te herstellen.
4. Validatie via Mean-Centering: Het artikel demonstreert dat het initialiseren van de SAE-bias naar het gemiddelde van de activatie (effectief mean-centering) de door outliers veroorzaakte death bij initialisatie elimineert. Dit bevestigt het geometrische mechanisme en biedt een principieel rationaal voor wanneer deze voorbewerking noodzakelijk is.

4. Resultaten

• Correlatie: $\gamma$ voorspelt accuraat de initiële sterftecijfers over 454 model-laag combinaties. Synthetische experimenten bevestigen een perfecte rangcorrelatie ($\rho=1.0$) tussen toenemende $\gamma$ en toenemende sterftecijfers.
• Beperkingen van Training: In hoge-$\gamma$ scenario's (bijv. $\gamma \ge 30$) faalt standaard training om features te herstellen, zelfs na 2 miljoen stappen. Het leerproces van de bias is de bottleneck; features met permanent negatieve pre-activaties blijven dood omdat de bias de grote offset niet snel genoeg kan leren.
• AuxK Beperkingen: AuxK versnelt het herstel van Dead-by-TopK features door gradiëntsignalen te bieden, maar versnelt het leerproces van de bias dat nodig is voor Dead-by-ReLU herstel niet. Daarom helpt AuxK bij een matige $\gamma$, maar faalt het in het oplossen van death bij een hoge $\gamma$.
• Effectiviteit van Mean-Centering:
  • Op synthetische data ($\gamma=40$) vermindert mean-centering de dode features tot bijna nul en verlaagt het de reconstructiefout met een orde van grootte.
  • Op echte modellen (bijv. ESM3, AlphaFold3) vermindert mean-centering de initiële death van >80% naar bijna nul.
  • Feature Kwaliteit: Mean-centered SAE's produceren meer monosemantische features. Op ESM3 herstelt een mean-centered SAE met 2.048 features meer biologische concepten (100) dan een baseline SAE met 8.192 features (73).
• Residuele Death: Mean-centering elimineert niet alle death. In extreem laag-rank lagen (bijv. Evo1), waar variantie geconcentreerd is in zeer weinig richtingen, sterven features nog steeds door TopK-competitie. De auteurs suggereren PCA whitening of Active Subspace Initialization als remedies voor deze specifieke gevallen.

5. Betekenis en Claims

Het artikel claimt een geprincieerde basis te bieden voor het begrijpen en verzachten van feature death in SAE's, waarbij het paradigma verschuift van "het repareren van trainingsdynamiek" naar "het corrigeren van de initialisatiegeometrie."

• Praktische Begeleiding: De auteurs stellen een eenvoudige diagnostische workflow voor: bereken $\gamma$ voor een laag. Als $\gamma$ hoog is, is mean-centering (het initialiseren van de bias naar het gemiddelde van de activatie) noodzakelijk om feature death te voorkomen. Als $\gamma$ laag is, volstaat standaard training.
• Efficiëntie: Mean-centering elimineert de noodzaak voor computationeel dure revival-technieken (zoals AuxK) in hoge-$\gamma$ regimes en stelt kleinere dictionaries in staat om dezelfde of betere interpreteerbaarheid te bereiken dan grotere, ongecentreerde dictionaries.
• Theoretisch Inzicht: Het werk verheldert dat de variabiliteit in SAE-prestaties over verschillende domeinen (taal versus biologie) wordt gedreven door de activatiegeometrie van de bronmodellen, en niet door de SAE-architectuur zelf.

Het artikel concludeert dat voor de meeste modellen het initialiseren van de SAE-bias naar de geometrische mediaan van de activaties een stap is zonder extra kosten met een hoge impact, die ervoor zorgt dat de effectieve dictionary-omvang overeenkomt met de beoogde omvang, wat een betrouwbaardere mechanistische interpreteerbaarheid mogelijk maakt over diverse modelfamilies heen.