Technische Samenvatting: Een Geometrisch Perspectief voor het Begrip van Conceptleren en Neuroninterpretatie in Sparse Autoencoders

Probleemstelling

Neurale netwerken, in het bijzonder grote taalmodellen, vertonen "polysemantiek", waarbij individuele neuronen meerdere ongerelateerde concepten coderen, en een enkel concept verdeeld is over vele neuronen. Dit fenomeen, bekend als superpositie, belemmert mechanistische interpreteerbaarheid. Sparse Autoencoders (SAEs) zijn opgekomen als een instrument om deze representaties te ontwarren door overcompleet, sparse feature-sets te leren. Echter, het vakgebied mist een verenigd wiskundig kader om rigoureus te definiëren wat een "concept" constitueert en wat het betekent voor een model om er een te "leren". Bestaande definities leunen vaak op vectordirecties in de activatieruimte, die niet direct corresponderen met menselijk interpreteerbare verzamelingen data. Voorts missen empirische observaties zoals feature splitting, feature absorption en feature families een principieel geometrische verklaring. De kern van de ambiguïteit ligt in de ongedefinieerde relatie tussen menselijke concepten en door het model geïnduceerde features, en het gebrek aan formele criteria voor wanneer een neuron of een verzameling neuronen succesvol een concept representeert.

Methodologie

De auteurs stellen een verenigd wiskundig kader voor dat conceptleren en neuroninterpretatie herformuleert als een set-alignment probleem tussen menselijk gedefinieerde concepten en door het model geïnduceerde concepten.

1. Formele Definities

• Concepten als Verzamelingen: Een menselijk begrijpelijk concept $C$ wordt gedefinieerd als een meetbare verzameling datapunten binnen de activatieruimte $X$ van het model.
• Modelunits: In plaats van individuele neuronen in isolatie te analyseren, definieert het kader een "unit" $\theta_M$ als de intersectie van activatieregio's van een verzameling neuronen $M$. Deze aggregatie maakt een robuustere representatie mogelijk van concepten die te complex kunnen zijn voor een enkel neuron.
• SAE-architecturen: Het kader maakt onderscheid tussen absolute gating (bijv. ReLU SAEs), waarbij de activatieregio van een neuron een halfruimte is, en relatieve gating (bijv. Top-K SAEs), waarbij activatieregio's subsets van halfruimtes zijn die worden bepaald door competitieve selectie.

2. Drie Modi van Conceptleren

Het artikel formaliseert drie steeds sterkere notions van leren, onderscheiden door hun geometrische condities en evaluatieruimtes:

• Concept Detectie: De zwakste vorm. Een unit dekt een concept als de maat van het concept buiten de unit nul is ($\mu(C \setminus \theta) = 0$). Dit staat vele-op-vele mapping toe.
• Concept Separatie: Een unit scheidt een concept als het het concept exclusief dekt op de geobserveerde data-support. Formeel moet de convexeomhulling van het concept disjunct zijn van de convexeomhulling van de resterende data ($Conv(C) \cap Conv(N) = \emptyset$). Dit wordt geëvalueerd op de geobserveerde data-support.
• Concept Approximatie: De sterkste vorm. Een unit benadert een concept als het het concept nauwgezet begrenst in de ambiente ruimte, waarbij fout-positieven en fout-negatieven in niet-geobserveerde regio's worden bestraft. Dit vereist dat het concept convex is (tot op een nulverzameling) voor perfecte approximatie door een unit.

3. Neuroninterpretatie via Formal Concept Analysis

De relatie tussen concepten en neuronen wordt gemodelleerd met behulp van Formal Concept Analysis. De auteurs definiëren een relatie $R$ tussen menselijke concepten en neuronen, wat een Galois-verbinding induceert. Deze structuur organiseert de vele-op-vele correspondentie in een concept-lattice, die hiërarchische relaties vastlegt (bijv. "Tijger" $\subset$ "Dier") en het samenvoegen/splitsen van features.

4. Theoretische Resultaten

• Separatiecondities: Het artikel leidt noodzakelijke en voldoende condities voor separatie af. Een enkel neuron kan een concept separeren indien en slechts indien de convexeomhullingen van het concept en de rest van de data disjunct zijn. Voor meerdere neuronen (units) wordt de conditie versoepeld naar de convexeomhulling van het concept die disjunct is van de rest van de data.
• Approximatiecondities: Perfecte concept-approximatie is mogelijk indien en slechts indien het concept convex is (tot op een nulverzameling). De approximatiefout schaalt met het aantal gebruikte neuronen, volgens een snelheid van $O(|M|^{-2/(r-1)})$, waarbij $r$ de effectieve dimensie is.
• Capaciteitsrestricties: Om perfecte monosemantiek (één concept per unit) te bereiken met een sparsity-budget $k_c$, moet het aantal neuronen $d$ voldoen aan een combinatorische ondergrens: $d \gtrsim (k_c! |C|)^{1/k_c}$.

Belangrijkste Bijdragen

1. Verenigd Kader: Het artikel biedt een geometrisch en verzamelingstheoretisch kader dat conceptleren en neuroninterpretatie verenigt door beide te behandelen als set-alignment problemen.
2. Formele Distinctie van Leermodi: Het maakt een rigoureus onderscheid tussen detectie, separatie en approximatie, en leidt de geometrische condities (bijv. convexiteit, disjunctheid van hulls) en foutmargen af.
3. Verklaring van SAE-fenomenen: Het kader biedt verzamelingstheoretische verklaringen voor empirische fenomenen:
   • Feature Splitting: Treedt op wanneer een breed concept wordt gerepresenteerd door meerdere disjuncte units in grotere SAE's.
   • Feature Absorption: Wordt verklaard als een falen van hiërarchisch leren, waarbij de sparsity-kosten voorkomen dat een ouder-feature activeert op kind-data.
   • Feature Families: Gemodelleerd als units met niet-triviale co-activatie.
4. Lattice-gebaseerde Interpretatie: Het verbindt leren en interpretatie via concept-lattices, en demonstreert dat de forward map (concept $\to$ neuronen) en de reverse map (neuronen $\to$ concept) niet overeen hoeven te komen, en dat hun structuur hiërarchisch is.

Experimentele Resultaten

De auteurs valideren de theorie met behulp van synthetische 2D-data met ReLU en Top-K SAE's.

• Separatie vs. Approximatie: Experimenten bevestigen dat enkele neuronen vaak falen in het separeren van complexe of overlappende concepten, terwijl multi-neuron units de prestaties aanzienlijk verbeteren. Approximatie-taken zijn moeilijker dan separatie-taken, omdat ze meer neuronen vereisen om concepten strak te begrenzen tegen ongeziene data.
• Capaciteit en Schaling: Het vergroten van de SAE-expansiefactor (breedte) verbetert het vermogen om concepten te separeren en te benaderen, maar met afnemende meeropbrengsten zodra er voldoende kandidaat-features beschikbaar zijn.
• Disagreement Ratio: De studie meet de "disagreement" tussen de beste unit voor een concept en de beste concept voor die unit. Resultaten tonen aan dat de disagreement laag is wanneer concepten disjunct zijn en F1-scores hoog zijn, maar significant toeneemt voor overlappende concepten en approximatie-taken.
• Niet-monotoniciteit: De experimenten onthullen dat het verhogen van het aantal geselecteerde neuronen de prestaties niet monotoon verbetert; het toevoegen van te veel neuronen kan de activatieregio excessief verkleinen, waardoor delen van het doelconcept worden uitgesneden.

Betekenis en Claims

Het artikel claimt het eerste principiële, geometrische definitie van "concept" en "leren" te bieden in de context van SAE's. Door de focus te verschuiven van vectordirecties naar set-alignment, betogen de auteurs dat:

• Monosemantiek een geometrische eigenschap is: Het hangt af van de convexiteit en disjunctheid van concept-verzamelingen in de activatieruimte, niet alleen van de sparsity van het model.
• Interpretatie bidirectioneel maar asymmetrisch is: Een verzameling neuronen kan een concept goed representeren (forward), maar diezelfde verzameling identificeert het concept mogelijk niet uniek (reverse), wat metrieken vereist die rekening houden met deze bidirectionele alignment.
• Architectuur ertoe doet: De keuze tussen absolute (ReLU) en relatieve (Top-K) gating heeft duidelijke geometrische implicaties voor de stabiliteit van features, met name in aanwezigheid van overlappende concepten.

De auteurs concluderen dat hun kader verklaart waarom grotere SAE's de interpreteerbaarheid verbeteren (door meer kandidaat-verzamelingen te bieden voor alignment) en waarom feature splitting en absorption voorkomen. Ze benadrukken dat hoewel hun theoretische resultaten constructief zijn, het trainen van een SAE om deze optimale constructies te vinden niet gegarandeerd is, hoewel een grotere zoekruimte de kans op succes vergroot. Het werk dient als een fundamentele stap richting rigoureuze mechanistische interpreteerbaarheid, waarbij men verder gaat dan heuristische observaties naar formele geometrische condities.