Technische Samenvatting: Structurele Instabiliteit van Featurecompositie

Probleemstelling

Sparse Autoencoders (SAE's) zijn uitgegroeid tot een primair instrument voor mechanistische interpretabiliteit, waardoor het mogelijk wordt om dichte transformer-activaties te ontleden in interpreteerbare, sparse features. Deze ontleding faciliteert "activation steering", waarbij specifieke modelgedragingen worden opgewekt door latente vectoren te manipuleren. De heersende Lineaire Representatiehypothese gaat ervan uit dat semantische compositie gelijkstaat aan lineaire vectoroptelling (d.w.z. dat sturen met $v_A + v_B$ de concepten $A$ en $B$ gelijktijdig activeert).

Echter, empirisch bewijs suggereert dat deze hypothese fragiel is. Gelijktijdige manipulatie van meerdere features activeert vaak compositional collapse, een toestand van semantische incoherentie waarin het model faalt om onderscheidende concepten te handhaven. Hoewel eerdere werken interferentie in gestructureerde variëteiten hebben opgemerkt, blijft een rigoureuze geometrische karakterisering van waarom en wanneer deze instabiliteit optreedt, onvindbaar. Het kernprobleem is het begrijpen van de grenzen van union-based steering in overcomplete dictionaries ($m \gg n$), waar onvermijdelijke niet-orthogonaliteit leidt tot interferentieruis die lineaire superpositie niet kan beheersen.

Methodologie

Het artikel hanteert een geometrisch raamwerk geworteld in Conic Integral Geometry en hoog-dimensionale waarschijnlijkheid om de activatieruimte van neurale netwerken te modelleren.

1. Geometrische Modellering:

   • De activatieruimte wordt gemodelleerd als een sparse cone manifold, waarbij geldige $k$-sparse representaties een unie vormen van positieve kegels die worden gedefinieerd door de ReLU-niet-lineariteit ($\sigma(x) = \max(0, x)$).
   • De dictionary $D \in \mathbb{R}^{n \times m}$ wordt behandeld als een overcomplete verzameling atomen. De analyse gaat uit van een random spherical dictionary model (atomen getrokken i.i.d. uit $Unif(S^{n-1})$) om asymptotisch strakke fase-overgangsgrenzen af te leiden, terwijl empirisch de robuustheid wordt gevalideerd tegen gestructureerde correlaties (bijvoorbeeld in CLEVR).

2. Micro-analyse (Paarsgewijze Verstrengeling):

   • Het artikel analyseert de lokale interactie tussen twee disjuncte sets van actieve features ($S_A, S_B$).
   • Het definieert een Leakage Operator om signaallekken naar "ghost features" (inactieve atomen) te kwantificeren.
   • Cruciaal is dat het het effect van ReLU-rectificatie op interferentie onderzoekt. In tegenstelling tot lineaire systemen, waar symmetrische ruis elkaar opheft, breekt ReLU deze symmetrie en zet het variatiefluctuaties om in een systematische positieve drift.

3. Macro-analyse (Faseovergang):

   • De stabiliteit van het systeem wordt geanalyseerd met behulp van de Statistical Dimension ($\delta(C)$) en de Gaussian Mean Width van convexe kegels.
   • Het probleem wordt geformuleerd als een geometrisch snijprobleem: Kan de Signal Cone (gespannen door actieve features) worden gescheiden van de Ghost Polar Cone (gespannen door inactieve features)?
   • Gordon's Escape Through a Mesh Theorem wordt gebruikt om de geometrische snijkans te mappen naar een vergelijking van Gaussische processen, waarbij een expliciete kritieke drempel voor stabiliteit wordt afgeleid.

4. Empirische Validatie:

   • Experimenten werden uitgevoerd met Qwen-VL (7B parameters) met SAE's getraind op het CLEVR-dataset.
   • Stuurvectoren werden geconstrueerd door $k$ verschillende semantische features op te tellen (bijvoorbeeld kleur- en vormattributen).
   • Spurious Energy ($E_{spur}$) werd gemeten als de projectie van het samengestelde signaal op de ghost-ruimte om het begin van de ineenstorting te detecteren.

Belangrijkste Bijdragen

1. De Stabiliteitsdrempel via Gaussian Mean Width

Het artikel vestigt een rigoureuze Stabiliteitsdrempel die wordt gedefinieerd door de Gaussian Mean Width van de signaalkegel. Het bewijst dat spuriële activaties onvermijdelijk zijn boven een kritieke compositiedichtheid $\gamma^*$. De stabiliteitsgrens wordt gekarakteriseerd door de geometrische verzadigingsvoorwaarde:
$$\Psi(\gamma) + \Phi(\delta - \gamma) = 1$$
waarbij $\Psi$ de genormaliseerde statistische dimensie is van de signaalkegel en $\Phi$ die van de polaire ghostkegel. Voorbij dit punt wordt de doorsnede tussen de signaalkegel en het veilige gebied bijna zeker leeg.

2. Het Gerechtvaardigde Ratchet-mechanisme

De auteurs karakteriseren een Ratchet Mechanisme gedreven door ReLU-niet-lineariteiten.

• Micro-fundering: In lineaire systemen is interferentieruis symmetrisch ($E[\epsilon]=0$). Echter, ReLU-rectificatie zet microscopische, door correlatie veroorzaakte variatiefluctuaties om in een systematische gemiddelde drift ($\eta > 0$).
• Super-additiviteit: Deze drift is strikt super-additief. Zelfs als de gemiddelde uitlijning tussen feature-ruimten nul is, zorgt de convexiteit van de gecorrigeerde driftfunctie ervoor dat geometrische variatiefluctuaties de verwachte interferentie-energie strikt verhogen ten opzichte van een isotrope baseline.
• Gevolg: Dit zet stochastische fluctuaties om in een aanhoudende geometrische bias, wat de overgang naar ineenstorting versnelt.

3. Empirische Validatie op Gestructureerde Data

Het artikel valideert de theoretische schalingstrends op gestructureerde semantische features die uit CLEVR zijn gehaald.

• Correlatieverschuiving: De empirische faseovergang treedt op bij een lagere dichtheid ($\gamma^*_{CLEVR} < \gamma^*_{theory}$) dan de random baseline.
• Versnelling: Hiërarchische semantische correlaties (bijvoorbeeld tussen "rood" en "kubus") verdikken effectief de signaalkegel, waardoor de overgang naar instabiliteit versnelt ten opzichte van random dictionaries.
• Geometrische Barrière: De resultaten bevestigen een harde geometrische barrière voor het schalen van naïeve lineaire compositie in statische embedding-ruimten.

Resultaten

• Faseovergang: De studie identificeert een scherpe faseovergang in representatiestabiliteit. Onder een kritieke dichtheid $\gamma^*$ blijft spuriële energie verwaarloosbaar, wat precieze lineaire controle mogelijk maakt. Boven $\gamma^*$ ondergaat het systeem een abrupte ineenstorting tot semantische incoherentie.
• Spectrale Divergentie: Naarmate het systeem de kritieke drempel nadert, divergeert het conditiongetal van de sub-matrix van actieve features, waardoor de inverse mapping numeriek instabiel wordt. Dit verklaart "Output Drift" die in experimenten wordt waargenomen als een projectieresidu op de bijna-nulruimte van een slecht geconditioneerde basis.
• Structurele Fragiliteit: Real-world semantische structuren (met positieve kruiscorrelaties) verergeren de instabiliteit, waardoor het "Safety Region" strakker wordt dan random-matrixgrenzen voorspellen.

Betekenis en Aanspraken

Het artikel claimt een rigoureuze geometrische fundering te bieden voor het interpreteren van de fragiliteit van feature steering en de noodzaak van mechanismen zoals Chain-of-Thought (CoT).

• Grens van de Lineaire Hypothese: Het werk identificeert een fundamentele grens van de Lineaire Representatiehypothese, waarbij wordt aangetoond dat willekeurige vectorstapeling catastrofale ineenstorting veroorzaakt zodra de geometrische verzadigingsgrens wordt overschreden.
• Geometrische Onmogelijkheid: Het stelt dat voor architecturen met vaste breedte de onmogelijkheid om willekeurige aantallen features te componeren geen trainingsartefact is, maar een geometrische onmogelijkheid die voortkomt uit de overvolle residual stream.
• Rol van Diepte en Serialisatie: De bevindingen suggereren dat diepte (via MLP-lagen die fungeren als coherentie-reset-operatoren) en serialisatie (via CoT) essentiële geometrische middelen zijn. Ze stellen het model in staat om het interferentiebudget te "spoelen" en fasegrenzen te navigeren door ruimte in te wisselen voor tijd, in plaats van te proberen alle concepten gelijktijdig in een enkele latente staat te representeren.
• Veiligheidsimplicaties: Het begrijpen van deze geometrische beperkingen is cruciaal voor de veiligheid en betrouwbaarheid van AI-systemen, met name bij het proberen Large Language Models uit te lijnen of te controleren via activation steering, aangezien agressieve steering de orthogonale geometrische ruimte kan uitputten, wat leidt tot onbedoelde neveneffecten.