Technische Samenvatting: Wanneer Pruning en Interpreteerbaarheid Samenkomen

Probleemstelling

Sparse autoencoders (SAEs) zijn een standaardinstrument geworden voor mechanistische interpreteerbaarheid in grote taalmodellen (LLM's), omdat ze het herstel van monosemantische kenmerken uit de superpositie van neuronactivaties mogelijk maken. Er bestaat echter een kritische kloof in het begrip van hoe deze interpreteerbaarheidstools zich gedragen wanneer de onderliggende modellen ondergaan aan post-hoc compressie via gewichts-pruning (het wegknippen van gewichten).

Pruning-methoden (variërend van klassieke magnitude-gebaseerde benaderingen tot moderne activatie-bewuste technieken) worden breed toegepast om de implementatiekosten te verlagen, maar ze wijzigen de gewichtsmatrices van het model en daarmee de distributie van interne activaties. SAE's worden getraind op de activatiedistributie van een specifieke dichte (dense) model; wanneer deze distributie verschuift door pruning, kunnen de latente variabelen van de SAE stilzwijgend falen. Cruciaal is dat standaard taalmodelleringsbenchmarks vaak niet in staat zijn deze fouten te detecteren, waardoor organisaties zonder theoretisch kader achterblijven om te bepalen of een bestaande SAE nog steeds geldig is na compressie, of waarom verschillende pruning-methoden uiteenlopende graden van degradatie veroorzaken.

Methodologie

De auteurs stellen een verenigd perturbatie-theoretisch kader voor om de interactie tussen pruning en SAE's te analyseren.

1. Theoretisch Kader: Perturbatie-energie
Het artikel modelleert pruning als een activatie-perturbatie. Wanneer een gewichtsmatrix $W$ wordt gewijzigd naar $W' = W + \Delta W$, is de resulterende activatieverschuiving $\delta = \Delta W x_{in}$. De auteurs definiëren perturbatie-energie ($\varepsilon^2$) als een covariantie-gewogen norm:
$$\varepsilon^2 = \mathbb{E}[\|\delta\|^2] = \text{tr}(\Delta W \Sigma_{x_{in}} \Delta W^\top)$$
waarbij $\Sigma_{x_{in}}$ de tweede-momentenmatrix van de input-activaties is.

Met behulp van de Lipschitz-continuïteit van de SAE leiden de auteurs een grens af voor de verwachte reconstructie-degradatie. Deze grens toont aan dat degradatie wordt gedreven door de perturbatie-energie $\varepsilon^2$ en de Lipschitz-constante van de SAE. De theorie stelt dat pruning-methoden fundamenteel verschillen in hoe zij de minimalisatie van $\varepsilon^2$ benaderen:

• MAGNITUDE Pruning: Minimaliseert de Frobenius-norm van de gewichtsveranderingen ($\|\Delta W\|_F^2$), waarbij effectief wordt aangenomen dat er een identiteitscovariantie-matrix is ($\Sigma_{x_{in}} \propto I$). Het negeert de activatie-geometrie.
• WANDA: Minimaliseert een diagonale benadering van de perturbatie-energie, rekening houdend met de statistieken van de input-activaties.
• SPARSEGPT: Gebruikt tweede-orde Hessian-informatie om de volledige perturbatie-energie $\varepsilon^2$ nagenoeg te minimaliseren.

2. Evaluatie-suite
Om de theorie te valideren, maken de auteurs gebruik van de SAEBench evaluatie-suite, waarbij zij beargumenteren dat vier specifieke metriekcategorieën gezamenlijk voldoende zijn om alle SAE-foutmodi te vangen:

• Core Metrics (Kernmetrieken): Meten de geaggregeerde reconstructiefailliteit (bijv. KL-divergentie, MSE).
• Feature Absorption (Kenmerkabsorptie): Detecteert of individuele kenmerken breken of dat ongerelateerde kenmerken hun informatie absorberen (vals negatieven/positieven).
• Spurious Correlation Removal (SCR - Verwijdering van schijncorrelaties): Test of latente ablaties de beoogde causale effecten behouden.
• Targeted Probe Perturbation (TPP - Gerichte probe-perturbatie): Verifieert of interventies selectief blijven en niet ongerelateerde concepten degraderen.

3. Experimentele Opzet
Experimenten werden uitgevoerd op vier modelarchitecturen (Pythia-70M, Gemma-2-2B, Gemma-2-9B, Mistral-7B) met behulp van vooraf getrainde SAE's van SAELens. De SAE-gewichten werden vastgehouden om de effecten van pruning te isoleren. Drie pruning-methoden werden post-hoc toegepast bij 25%, 40% en 50% sparsity. De studie verkende ook een laag-gewijze sparsity-allocatiestrategie op basis van geobserveerde sensitiviteitspatronen.

Belangrijkste Bijdragen en Resultaten

1. Theoretische Scheiding van Pruning-methoden
De studie biedt een formele verklaring voor de empirische prestaties van pruning-methoden. Het stelt een hiërarchie vast van benaderingsgetrouwheid met betrekking tot de perturbatie-energie:
$$\text{MAGNITUDE} \prec \text{WANDA} \prec \text{SPARSEGPT}$$
Resultaten bevestigen dat MAGNITUDE-pruning, door de activatie-geometrie te negeren, de hoogste perturbatie-energie induceert en de meest ernstige SAE-degradatie veroorzaakt. Daarentegen houden activatie-bewuste methoden (WANDA en SPARSEGPT) de perturbatie-energie impliciet onder controle, waardoor het SAE-gedrag aanzienlijk beter wordt behouden.

2. Beperkingen van Geaggregeerde Metrieken
De experimenten laten zien dat "Core"-metrieken (geaggregeerde reconstructie) misleidend kunnen zijn. Zo vertoonde MAGNITUDE-pruning op de middelste lagen van Gemma-2-2B oppervlakkig redelijke KL-divergentie scores ($\ge 0.96$), terwijl de SCR- en TPP-scores instortten (met een degradatie tot wel 80%). Dit bevestigt dat geaggregeerde trouw onvoldoende is om de betrouwbaarheid van een SAE te certificeren; kenmerk-niveau en causale metrieken zijn noodzakelijk om stilzwijgend falen te detecteren.

3. Structurele Kwetsbaarheid van Middelste Lagen
Een consistente structurele kwetsbaarheid werd geïdentificeerd over alle modellen en pruning-methoden: middelste lagen (lagen 9–17 in Gemma-2-2B) zijn aanzienlijk gevoeliger voor pruning dan vroege of late lagen.

• Middelste lagen vertoonden de hoogste degradatie in alle metrieken, zelfs wanneer de lokale perturbatie-energie laag was.
• De auteurs hypothetiseren dat dit komt door de asymmetrische propagatie van representatieve schade: middelste lagen fungeren als de primaire ontvangers van perturbatie-energie van upstream gewichten, terwijl latere lagen opereren op volledig samengestelde representaties met minder upstream afhankelijkheid.

4. Laag-gewijze Sparsity-allocatie
Geleid door het sensitiviteitsprofiel stellen de auteurs een niet-uniform sparsity-schema voor: het toewijzen van een lagere sparsity aan vroege lagen (om fundamentele kenmerken te behouden) en een hogere sparsity aan latere lagen.

• Op Gemma-2-2B bereikte deze strategie een lagere perplexiteit vergeleken met uniforme sparsity bij hetzelfde gemiddelde compressieniveau.
• Dit suggereert dat sensitiviteitsprofielen als een praktisch signaal kunnen dienen voor compressie-scheduling, hoewel de auteurs opmerken dat dit een voorlopig resultaat is en geen volledig geoptimaliseerde allocatiemethode.

5. Cross-Architectuur Generalisatie
De theoretische ordening (SPARSEGPT $\succ$ WANDA $\succ$ MAGNITUDE) en het patroon van de gevoeligheid in de middelste lagen hielden stand over alle vier de geteste architecturen, inclusief kleinere modellen (Pythia-70M) waar MAGNITUDE-pruning een catastrofale ineenstorting in SAE-prestaties veroorzaakte (KL-score daalde van 0.926 naar 0.642).

Betekenis en Claims

Het artikel claimt het eerste theoretische kader te bieden dat beschrijft wanneer pruning de geldigheid van een SAE behoudt zonder hertraining. De betekenis ligt in:

• Het overbruggen van de kloof: Het verbindt de velden van modelcompressie en mechanistische interpreteerbaarheid, waarbij wordt aangetoond dat de keuze van de pruning-methode cruciaal is voor het behoud van interpreteerbaarheidstools.
• Diagnostisch Nut: Het demonstreert dat standaard prestatiebenchmarks onvoldoende zijn voor het valideren van gecomprimeerde modellen voor interpreteerbaarheid; specifieke SAE-gecentreerde metrieken (Feature Absorption, SCR, TPP) zijn vereist.
• Praktische Richtlijien: Het biedt een theoretische rechtvaardiging voor het gebruik van activatie-bewuste pruning-methoden (WANDA, SPARSEGPT) boven magnitude-gebaseerde methoden wanneer interpreteerbaarheid een prioriteit is.
• Structureel Inzicht: Het identificeert een voorheen onbeschreven structurele kwetsbaarheid in middelste lagen, wat suggereert dat uniforme compressiestrategieën suboptimaal kunnen zijn voor het behoud van interne representaties.

De auteurs blijven bescheiden over hun bevindingen en merken op dat hun laag-gewijze allocatie een voorlopige illustratie is en dat hun theoretische kader momenteel wel de volgorde van methoden verklaart, maar nog niet de theoretische oorsprong van de middelste-laag-sensitiviteit volledig verklaart. Toekomstig werk is nodig om deze bevindingen uit te breiden naar gestructureerde pruning, kwantisatie en verschillende modellenfamilies.