Technische Samenvatting: Het Ontleden van de Representatieruimte in Interpreteerbare Deelruimten met Ongecontroleerd Leren

Probleemstelling

Mechanistische interpretabiliteit streeft ernaar de interne algoritmen en circuits van neurale netwerken bloot te leggen. Hoewel aanzienlijke vooruitgang is geboekt bij het identificeren van componenten (attentiehoofden, MLP's), schaarse kenmerken (via Sparse Auto-Encoders) en specifieke deelruimten, lopen bestaande methoden tegen beperkingen aan. Componentgebaseerde analyse vereist vaak gespecialiseerde contrafactuele data voor causale interventie. Schaarse kenmerken bieden interpretabiliteit, maar resulteren in invoerafhankelijke circuits die de modelberekening wijzigen. Huidige op deelruimten gebaseerde benaderingen vertrouwen doorgaans op toezichtgeleid leren, gestuurd door door mensen gespecificeerde abstracte causale modellen, waarbij onderzoekers specifieke mechanismen van tevoren moeten anticiperen.

De kernvraag die dit artikel adresseert, is of het mogelijk is om "natuurlijke", interpreteerbare deelruimten te vinden binnen de representatieruimte van neurale modellen op een puur ongeachterst manier, zonder toegang tot ground-truth kenmerken of door mensen gedefinieerde hypothesen.

Methodologie: Minimalisatie van Nabijheidsafstand (NDM)

De auteurs stellen Neighbor Distance Minimization (NDM) voor, een ongecontroleerde methode om de representatieruimte te partitioneren in orthogonale, niet-basis-uitgelijnde deelruimten.

Kernintuïtie

De methode is gebaseerd op de hypothese dat neurale representaties onderlinge uitsluiting vertonen binnen kenmerkgroepen. Als een reeks kenmerken onderling uitsluitend is (op elk moment is slechts één of geen actief), kunnen ze worden gesuperponeerd binnen een toegewijde deelruimte. Omgekeerd moeten kenmerken uit verschillende groepen (die kunnen voorkomen) orthogonaal worden weergegeven om interferentie te voorkomen.

• Geometrische interpretatie: In een correct gepartitioneerde ruimte zullen datapunten die op een specifieke deelruimte worden geprojecteerd, liggen op enkele geconcentreerde lijnen (die de actieve kenmerken van die groep vertegenwoordigen). Bijgevolg zal elk punt een zeer nabije buur hebben binnen die deelruimte.
• Optimalisatiedoel: NDM zoekt een orthogonale matrix $R$ en een dimensieconfiguratie $c$ die de afstand tussen elke activatie en zijn naaste buur binnen elke resulterende deelruimte minimaliseert.

Algorithmus

1. Transformatie: Een orthogonale matrix $R$ roteert en reflecteert de modelactivaties $h$. De getransformeerde ruimte wordt gepartitioneerd in deelruimten op basis van een dimensieconfiguratie $c = [d_1, \dots, d_S]$.
2. Verliesfunctie: Het doel minimaliseert de gemiddelde afstand tot de naaste buur binnen elke deelruimte $s$:
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   waarbij $\hat{h}_{n^*}^{(s)}$ de naaste buur is van $\hat{h}_n^{(s)}$ in deelruimte $s$.
3. Dimensieconfiguratie: Aangezien het aantal deelruimten en hun dimensies onbekend zijn, begint de methode met kleine, even grote deelruimten. Tijdens het trainingstraject wordt periodiek de Mutuele Informatie (MI) tussen deelruimten geschat met een KSG-schatter. Als de MI tussen twee deelruimten een drempelwaarde overschrijdt, worden ze samengevoegd. Dit proces gaat door totdat geen enkel paar de drempelwaarde overschrijdt, waardoor effectief een partitionering wordt gevonden waarbij de deelruimten zo onafhankelijk mogelijk zijn.

Belangrijkste Bijdragen en Resultaten

1. Validatie met Toy-model

In een gecontroleerde toy-omgeving waar ground-truth kenmerkgroepen bekend zijn, slaagt NDM erin de orthogonale deelruimten die aan elke kenmerkgroep zijn toegewezen, te herstellen. De methode minimaliseert de afstand tot de naaste buren, wat leidt tot een partitionering waarbij elke deelruimte slechts één kenmerkgroep encodeert. Dit valideert het theoretische verband tussen onderlinge uitsluiting, superpositie en orthogonaliteit van deelruimten.

2. Kwantitatieve Evaluatie op GPT-2 Small

De auteurs hebben NDM geëvalueerd op GPT-2 Small met behulp van subspace activation patching op bekende circuits (Indirect Object Identification en Greater-than circuits).

• Maatstaf: Ze maten de concentratie van patching-effecten met de Gini-coëfficiënt. Een hoge Gini-coëfficiënt geeft aan dat een specifiek stukje informatie (bijvoorbeeld de vorige token) geconcentreerd is in een enkele deelruimte.
• Prestaties: NDM presteerde aanzienlijk beter dan baselines (Identity, Random, PCA en SAE-kenmerkk clustering). NDM bereikte een gemiddelde Gini-coëfficiënt van 0,71, ruim boven de drempel van 0,6 voor bevredigende concentratie, terwijl baselines varieerden van 0,21 tot 0,38.
• Bewijs: De resultaten tonen aan dat NDM deelruimten vindt die overeenkomen met hoogwaardige "variabelen" in bekende circuits, zoals de vorige token of de positie van het onderwerp, onafhankelijk van de specifieke waarden die die variabelen aannemen.

3. Kwalitatieve Analyse via InversionView

Met behulp van InversionView analyseerden de auteurs de pre-afbeeldingen (invoeren die leiden tot vergelijkbare activaties) van de ontdekte deelruimten.

• Interpretabiliteit: Er werd vastgesteld dat deelruimten onderscheidende, interpreteerbare aspecten van de context coderen, zoals de huidige token, de vorige token, de tokenpositie en het algemene onderwerp.
• Consistentie: De functie van een deelruimte was consistent over verschillende invoeren (bijvoorbeeld codeerde een specifieke deelruimte consequent de huidige token), wat suggereert dat deze deelruimten fungeren als stabiele "variabelen" voor het model.

4. Schaalbaarheid naar Grotere Modellen

De methode werd toegepast op Qwen2.5-1.5B en Gemma-2-2B om kennisconflictscenario's te onderzoeken (parametrische versus contextkennis).

• Vondsten: NDM identificeerde aparte deelruimten die parametrische kennisroutering en contextkennisroutering bemiddelen. Patching-experimenten toonden aan dat specifieke deelruimten sterke effecten hadden onder contrafactuele invoer die was ontworpen om het ene mechanisme te doorbreken terwijl het andere intact bleef.
• Betekenis: Dit suggereert dat zelfs in grotere modellen zonder bekende ground-truth circuits, NDM betekenisvolle, scheidbare functionele structuren kan blootleggen.

Betekenis en Claims

Het artikel claimt dat NDM een nieuw perspectief biedt op het begrijpen van modelinterne processen door de representatieruimte te ontleden in interpreteerbare, invoeronafhankelijke deelruimten zonder toezicht.

• Nieuwe Basisunits: De auteurs stellen dat deze deelruimten kunnen dienen als fundamentele eenheden voor subspace circuits. In tegenstelling tot feature circuits die invoerafhankelijk zijn, werken subspace circuits op "variabelen" (groepen van kenmerken) en kunnen ze worden geconstrueerd door modelgewichten te analyseren (bijvoorbeeld welke deelruimten een attentiehoofd leest en naar welke het schrijft).
• Ongeachterst Ontdekken: De methode toont aan dat "natuurlijke" partitioneringen bestaan in real-world modellen, gedreven door de statistische structuur van de data (onderlinge uitsluiting) in plaats van menselijke hypothesen.
• Beperkingen: De auteurs erkennen dat huidige partitioneringen mogelijk niet fijnmazig genoeg zijn (bijvoorbeeld het missen van kleine deelruimten voor variabelen met kleine waardeverzamelingen) en dat sommige deelruimten moeilijk te interpreteren blijven. Ze merken op dat de methode afhankelijk is van de Linear Representation Hypothesis en dat optimalisatie soms vastloopt in lokale minima.

Concluderend betoogt het artikel dat ongecontroleerde decompositie via minimalisatie van nabijheidsafstand een levensvatbare weg is naar het ontdekken van de "variabelen" en circuits die het gedrag van neurale modellen sturen, en biedt een schaalbaar en interpreteerbaar kader voor mechanistische analyse.