Technische Samenvatting: Het Structureren van Sparsity: Block-Sparse Featurizers

1. Probleemstelling

Huidige interpreteerbaarheidsmethoden, met name Sparse Autoencoders (SAEs), deconstrueren activaties van neurale netwerken in ijle combinaties van geïsoleerde richtingen (atomen). Deze benadering gaat ervan uit dat concepten worden gerepresenteerd door enkelvoudige vectoren in de activatieruimte. Recent werk suggereert echter dat neurale concepten vaak een interne geometrie bezitten, wat zich manifesteert als laagdimensionale manifolds, convexe regio's of dichte features, in plaats van geïsoleerde richtingen.

Dit creëert een mismatch tussen de fenomenologie van neurale representaties (gestructureerd, multidimensionaal) en het apparaat dat wordt gebruikt om ze te analyseren (geïsoleerde richtingen). Het artikel stelt dat het behandelen van concepten als een enkele richting leidt tot een "versnipperd" beeld, waarbij een enkel concept wordt gefragmenteerd over vele atomen, waardoor de intrinsieke geometrie en continue variatie binnen een concept niet worden gevangen.

2. Methodologie

2.1 Theoretische Fundering: Gestructureerde Sparsity

De auteurs stellen Block-Sparse Featurizers (BSFs) voor om deze kloof te overbruggen. Geïnspireerd door de literatuur over gestructureerde sparsity (specifiek group sparsity), hypothetiseren zij dat neurale activaties worden gegenereerd als een ijle som van laagdimensionale manifolds.

• Data-Genererend Proces (DGP): Een activatie $x$ wordt gemodelleerd als $x = \sum_{i \in S} m_i + \epsilon$, waarbij $m_i$ op een laagdimensionale manifold $M_i$ ligt en $S$ een kleine set actieve factoren is.
• Bayesiaanse Afleiding: Door een spike-and-slab prior te plaatsen op blokken coördinaten (waarbij een "slab" een uniforme verdeling is over een bol in $\mathbb{R}^b$), leidt de Maximum A Posteriori (MAP) schatting natuurlijk tot een block-sparse penalty ($\ell_{2,0}$ norm). Deze penalty dwingt sparsity af over groepen richtingen, terwijl het binnen een actieve groep dichte variatie toestaat.
• Geometrische Interpretatie: In tegen tegenstelling tot SAEs die enkelvoudige richtingen selecteren, selecteren BSFs subruimten. De "atoom" is de subruimte zelf, en de code binnen het blok vertegenwoordigt de positie op de manifold.

2.2 Drie Varianten van de Block-Sparse Featurizer

Het artikel implementeert drie verschillende architecturen om dit principe te instantiëren:

1. Vanilla BSF: Gebruikt een lineaire encoder en decoder. Sparsity wordt afgedwongen door een harde projectieoperator ($\Pi_k$) die alleen de $k$ blokken met de grootste $\ell_2$-normen behoudt.
2. Grassmannian BSF: Dwingt af dat richtingen binnen een blok orthonormaal zijn (de decoderblokken liggen op de Stiefel-manifold). De encoder is gekoppeld aan de decoder-transponst ($z = \gamma x D^\top$), en sparsity wordt afgedwongen via $\Pi_k$. Dit modelleert het blok expliciet als een subruimte.
3. Group Lasso BSF: Gebruikt een lineaire encoder met een soft-thresholding activatiefunctie ($sh_\theta$) die bloknormen naar nul krimpt. Sparsity wordt geïnduceerd via een $\ell_{2,1}$-penalty in de loss-functie, wat de harde beperking versoepelt voor een gladde doelstelling.

2.3 Evaluatiekader

• Synthetische Validatie: Een gecontroleerd speelt model waarbij grondwaarheid-manifolds (cirkels, sferen, tori) zijn ingebed en opgeteld. Succes bij herstel wordt gemeten aan de hand van hoe goed een enkel blok de specifieke manifold-bijdrage reconstrueert ($R^2$).
• Real-World Analyse: Toegepast op DINOv3 (visueel fundamenteel model), InceptionV1 en SDXL (diffusiemodel).
• Metrieken:
  • Minimum Description Length (MDL): Gebruikt om BSFs te vergelijken met SAEs. De kosten bevatten bits voor de support (welke blokken vuren), de code (coördinaten binnen blokken), de residu en de dictionary.
  • Stable Rank: Gebruikt om de intrinsieke dimensionaliteit van de herstelde features te kwantificeren.
  • Downstream Taken: Lineaire probing op classificatie, segmentatie en diepte schatting.
  • Manifold Steering: Interveniëren in de activatieruimte om beeldgeneratie te controleren.

3. Belangrijkste Bijdragen

1. Theoretische Afstemming: Het artikel verbindt de hypothese dat concepten manifolds zijn formeel met de gestructureerde sparsity-literatuur, waarbij block sparsity wordt afgeleid als de passende prior voor een additieve mix van manifolds.
2. Algoritmische Implementatie: Introductie van drie BSF-varianten (Vanilla, Grassmannian, Group Lasso) die verder gaan dan de "één-richting-per-concept" aanname.
3. Kwantitatief Bewijs:
   • MDL-analyse: BSFs beschrijven activaties compacter dan SAEs. De optimale blokdimensie wordt gevonden tussen 2 en 4 dimensies, wat suggereert dat concepten inherent multidimensionaal zijn.
   • Synthetisch Herstel: BSFs herstellen additieve manifold-superposities met hoge getrouwheid ($R^2 \approx 0.93-0.97$), terwijl standaard SAEs deze structuren versnipperen ($R^2 \approx 0.53$).
4. Ontdekking van Concept-Manifolds:
   • InceptionV1: Toonde aan dat "curve detector" neuronen en SAE-features eigenlijk fragmenten zijn van een enkele continue curve-manifold. De BSF herstelt dit als één verbonden regio en onthult hogere-orde Fourier-modi (bijv. 180° invariantie) die eerder verborgen bleven.
   • DINOv3: Ontdekte manifolds die corresponderen met fysieke scène-attributen zoals verlichting en schaduwen, die consistent met de illuminatie over verschillende objectidentiteiten tracken.
   • SDXL: Identificeerde manifolds voor specifieke objecten (bijv. pretzels) waarbij het sturen binnen de subruimte van het blok semantisch coherente variaties produceert, in tegenstelling tot het sturen langs geïsoleerde richtingen.

4. Resultaten

• Reconstructie-efficiëntie: Bij een vaste distortie-vloer (bepaald door de tolerantie van taakprestaties), bereiken BSFs lagere beschrijvingslengtes dan SAEs. De meest efficiënte beschrijving vindt plaats wanneer de blokdimensies tussen 2 en 4 liggen, zelfs wanneer grotere capaciteiten beschikbaar zijn.
• Feature Dimensionaliteit: Stable rank-analyse laat zien dat de herstelde concepten in DINOv3 doorgaans 2–4 dimensionaal zijn, wat bevestigt dat blokken niet louter overgeparameteriseerde richtingen zijn, maar hun interne geometrie gebruiken.
• Ruimtelijke Coherentie: De concept maps van BSFs zijn significant gladder (lagere Total Variation en Dirichlet Energy) dan SAE maps, wat aangeeft dat ze aaneengesloten scène-attributen beter volgen.
• Manifold Steering: In SDXL genereert het sturen langs de geleerde manifold-geometrie (door gebruik te maken van Kohonen-maps om de subruimte te doorlopen) afbeeldingen die vloeiend variëren langs de interne dimensies van het concept (bijv. het veranderen van de vorm van een pretzel) zonder de beeldkwaliteit te verslechteren, een prestatie die moeilijk is met geïsoleerde SAE-richtingen.

5. Betekenis en Claims

Het artikel claimt dat block sparsity de juiste inductieve bias is voor het deconstrueren van neurale representaties wanneer die representaties gestructureerd zijn als laagdimensionale manifolds.

• Neuroscience Connectie: Het werk sluit aan bij visuele neurowetenschappelijke modellen (bijv. het energie-model, complex cells) waar features worden gedragen door gecoördineerde groepen neuronen in plaats van enkelvoudige getunede eenheden. BSFs herstellen het "complex cell" gedrag door de interne coördinaat (fase/geometrie) te behouden in plaats van deze weg te poolen voor invariantie.
• Interpretatie Paradigma: De auteurs stellen dat een featurizer een hypothese is over het data-genererende proces. Door de structuur van de featurizer (blokken) af te stemmen op de geometrie van de representatie (manifolds), kan men rijkere, meer coherente concepten herstellen.
• Beperkingen en Omvang: Het artikel merkt bescheiden op dat block sparsity niet noodzakelijkerwijs een universele atoom is voor alle modaliteiten (bijv. taal of video kunnen andere structuren vereisen zoals temporele of hiërarchische blokken). De bijdrage is specifief voor het geval dat representaties additieve mengsels zijn van laagdimensionale manifolds, een eigenschap die wordt waargenomen in de geteste visuele modellen.

Samenvattend biedt het artikel een theoretisch en empirisch pleidooi voor de overstap van "richting-gebaseerde" naar "regio-gebaseerde" (block-gebaseerde) featurizers, en demonstreert het dat deze verschuiving de interne geometrie van concepten herstelt, de beschrijvingsefficiëntie verbetert en nauwkeurige controle over generatieve modellen mogelijk maakt.