Technische Samenvatting: Causale Dimensionaliteit van Transformer-Representaties

Probleemstelling

Sparse Autoencoders (SAE's) zijn uitgegroeid tot de standaardtool voor het ontleden van transformer-residustromen in interpreteerbare, monosemantische featurewoordenboeken. Een heersende aanname in het vakgebied is dat representatieve capaciteit (het aantal features dat op elke invoer reageert) lineair schaalt met causale capaciteit (het aantal features waarvan een verstoring daadwerkelijk het modelgedrag verandert). Als dit waar is, zou het simpelweg vergroten van de SAE-breedte evenredig de set van causaal relevante features uitbreiden die beschikbaar zijn voor mechanistische interpretatie.

Dit artikel daagt die aanname uit en betoogt dat representatieve en causale capaciteit aanzienlijk uit elkaar lopen naarmate SAE's schalen. De auteurs stellen dat het vakgebied een systematische karakterisering mist van de relatie tussen SAE-breedte en causale invloed, wat een nieuwe maatstaf vereist om de intrinsieke causale structuur van transformerlagen te kwantificeren.

Methodologie

1. Definiëren van Causale Dimensionaliteit ($\kappa$)

De auteurs introduceren causale dimensionaliteit, aangeduid als $\kappa(L, M, T)$, gedefinieerd als het effectieve ranggetal van het verwachte Jacobiaan-uitwendige product op laag $L$:
$$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{waar } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$$
Hierbij is $J_L(x)$ de Jacobiaan van de modeloutput met betrekking tot de residustroom op laag $L$. $\kappa$ vertegenwoordigt het effectieve aantal richtingen in de residustroom die causaal invloed hebben op de output. De auteurs bewijzen dat $\kappa \le \min(d, |V|)$, waarbij $d$ de modeldimensie is en $|V|$ de vocabulairegrootte.

2. Schatting via SAE-breedte-sweep en Attribution Patching

Omdat het exact berekenen van $\Sigma_L$ onuitvoerbaar is (vereist $d$ achterwaartse passes per invoer), stellen de auteurs een consistente schatter voor met Attribution Patching (AtP) gekoppeld aan een SAE-breedte-sweep:

• Attribution Patching: Gebruikt als een proxy van de eerste orde voor causale invloed. De score voor een feature $i$ is $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$, wat de impact van de feature op de loss meet.
• Breedte-sweep: De auteurs trainen SAE's op Gemma-2-2B (Laag 12) over zeven breedtes variërend van 16.384 tot 1.048.576 features.
• Maatstaf: Ze tellen het aantal features $N_{causal}(m)$ dat een gekalibreerde absolute drempel $\epsilon$ overschrijdt (vastgesteld op het 98e percentiel van AtP-scores bij de referentiebreedte).
• Consistentie: Onder aannames van overspanning, trouw en geen dode features convergeert $N_{causal}(m)$ naar een spectrale telling die een ondergrens vormt voor $\kappa$.

3. Experimentele Controles

De studie hanteert rigoureuze controles om het causale signaal te isoleren:

• Gelijkgestelde-$\ell_0$: Controleren voor het gemiddelde aantal actieve features over breedtes om verwarding door sparsiteitsdrift te voorkomen.
• Schaalinvariantie: Vergelijken van Gemma-2-2B en Gemma-2-9B op gelijkgestelde relatieve dieptes.
• Architectuur-invariantie: Testen van TopK-, JumpReLU- en standaard ReLU-SAE's.
• Ablaties: Een vier-cel encoder/decoder-ablatie om onderscheid te maken tussen featureselectie en sparsiteitsfiltering.
• Synthetische Ground Truth: Testen van het herstel van bekende causale richtingen in een toy-model.

Belangrijkste Resultaten

1. De Representatieve-Causale Wig

Op Gemma-2-2B Laag 12 resulteerde het vergroten van de SAE-breedte met 64× (van 16k naar 1M) in:

• Representatieve Groei: Het aantal reagerende features ($N_{repr}$) nam toe met 15,6×.
• Causale Groei: Het aantal causaal actieve features ($N_{causal}$) nam slechts toe met 4,35×.
  Deze divergentie, de representatieve-causale wig genoemd, toont aan dat representatieve capaciteit lineair groeit terwijl causale capaciteit sub-lineair verzadigt.

2. Schatting van $\kappa$

Het passen van een verzadigende curve op de $N_{causal}(m)$-trajectie levert een geschatte causale dimensionaliteit op:

• $\hat{\kappa} \approx 1.990$ (met een breed betrouwbaarheidsinterval vanwege hardwarebeperkingen op SAE-breedte, maar een robuuste verhouding).
• $\hat{\kappa} / d_{model} \approx 0,86$: Het model maakt op generieke tekst bijna al zijn representatieve dimensies causaal gebruik van, maar dit aantal is begrensd en groeit niet met de SAE-breedte.
• Deelnameverhouding: Een ondergrens $\kappa_{PR} \approx 280$ wijst op een zwaarstaartige spectrum van causale invloed.

3. Invariantie en Structuur

• Schaalinvariantie: Ondanks een 3,46× toename in parameters (Gemma-2-2B versus 9B), bleef het causale aantal op gelijkgestelde relatieve diepte identiek ($N_{causal} = 328$). Dit suggereert dat $\kappa$ wordt bepaald door taakdiversiteit, niet door het aantal parameters.
• Diepte-attenuatie: Over acht lagen daalde de absolute attributiedrempel die nodig was om de top 2% van features te identificeren met 20× van Laag 1 naar Laag 23, wat aangeeft dat de sterkte van het causale signaal afneemt met de diepte.
• Architectuur-invariantie: De sub-lineaire groei van $N_{causal}$ gold voor TopK-, JumpReLU- en standaard ReLU-architecturen.

4. Mechanistisch Inzicht: De Encoder als Filter

Een cruciale bevinding uit de vier-cel ablatie is dat het vervangen van de getrainde encoder door een willekeurige orthonormale projectie $N_{causal}$ met 9,27× opblies.

• Implicatie: De getrainde encoder fungeert primair als een sparsiteitsfilter (onderdrukt achtergrondfeatures) in plaats van als een featureselector.
• Gevolg: Interpretatiewerk dat zich richt op encoder-featurelabels kan misgericht zijn; de decoderstructuur en het routeren van de onderdrukte features zijn waarschijnlijk kritischer.

5. Validatie en Controles

• Geometrisch Privilege: Causale features toonden geen geometrisch onderscheid (grootte of cosinusgelijkenis) van niet-causale features in de decoder-ruimte.
• Synthetisch Herstel: AtP slaagde er niet in om ground-truth causale richtingen te herstellen in een toy-model (Recall = 0), wat bevestigt dat AtP activatiepatronen meet die via de decoder worden gerouteerd, en niet een direct herstel van een causale basis.
• Taak-specifiek Herstel: Op specifieke taakcircuits (Marks et al., 2025) herstelden de top 5% van AtP-features 98,2% van de ground truth, wat een "gelaagde structuur" ondersteunt waarbij een hoog-AtP-kern over taak wordt gedeeld, omringd door een taak-specifieke halo.

Betekenis en Claims

Het artikel vestigt $\kappa$ als een meetbare, model-intrinsieke eigenschap van transformerlagen. De belangrijkste bijdragen zijn:

1. Theoretische Definitie: Het definiëren van causale dimensionaliteit als het effectieve ranggetal van de causale Jacobiaan en het bewijzen van zijn bovengrenzen.
2. Empirische Karakterisering: Aantonen dat causale capaciteit sub-lineair herstelbaar is door SAE-breedte en invariant is voor modelschaling, wat de aanname tegenspreekt dat bredere SAE's causale interpretatie lineair uitbreiden.
3. Mechanistische Herformulering: Het identificeren van de getrainde encoder als een sparsiteitsfilter, wat suggereert dat de "causale set" wordt gedefinieerd door de onderdrukking van ruis door de encoder in plaats van de selectie van specifieke concepten.
4. Praktische Implicatie: Huidige SAE-breedtes (bijv. 1M) vangen slechts ~72% van de geschatte causale dimensionaliteit ($\hat{\kappa}$), wat impliceert dat voor een volledige causale enumeratie aanzienlijk bredere SAE's (ongeveer 2,6M) nodig zouden zijn, wat momenteel computationeel onhaalbaar is.

De auteurs concluderen dat de "wig" een fundamentele eigenschap is van transformerrepresentaties, gedreven door de verzadiging van causale subruimte-dimensies, en dat inspanningen voor interpretatie rekening moeten houden met deze niet-lineaire schaling en de specifieke rol van de encoder bij het filteren van achtergrondfeatures.