Tracking Equivalent Mechanistic Interpretations Across Neural Networks

1. Probleemstelling

Mechanistische Interpretability (MI) is een raamwerk dat probeert de beslissingsprocessen van neurale netwerken te verklaren door een beknopt algoritmisch proces (een "interpretatie") te ontdekken. Hoewel veelbelovend, stuit MI op twee fundamentele uitdagingen die schaalbaarheid en generalisatie beperken:

1. Gebrek aan een precieze definitie: Er is geen eenduidige, wiskundig strikte definitie van wat een "geldige" interpretatie is.
2. Ad-hoc proces: Het genereren van interpretaties is vaak handmatig en niet gestructureerd.
3. Identificeerbaarheid: Er bestaat een veel-op-veel relatie tussen hoog-niveau algoritmen (interpretaties) en de onderliggende circuits (mechanismen) in het model. Dit maakt het moeilijk om te verifiëren of een gegeven interpretatie compleet en trouw is.

Het artikel introduceert een gereduceerd subprobleem: Interpretatieve Equivalentie. Het doel is niet om de interpretatie expliciet te beschrijven, maar om te bepalen of twee verschillende modellen (of twee verschillende implementaties van een model) dezelfde hoog-niveau interpretatie uitvoeren.

2. Methodologie en Theoretisch Kader

De auteurs stellen een nieuw theoretisch raamwerk voor dat gebaseerd is op causale abstractie en interventies.

Kernprincipe: Equivalentie door Implementatie

In plaats van te kijken naar de interpretaties zelf, definieert het artikel equivalentie op basis van de implementaties. Twee interpretaties ($A_1$ en $A_2$) zijn equivalent als de verzameling van alle mogelijke implementaties (modellen die deze interpretatie uitvoeren) equivalent is.

• Implementatie: Een model $h$ is een implementatie van een interpretatie $A$ als $A$ een trouwe causale abstractie is van het circuit van $h$.
• Circuits: Gedefinieerd als deterministische causale modellen die de computationele paden van het netwerk beschrijven.
• Representaties: Abstracties van circuits die de interne activaties van het netwerk samenvatten in een lineaire keten.

Het Algorithmische Benadering: Congruity

Om equivalentie te meten zonder de interpretatie expliciet te kennen, stellen de auteurs een algoritme voor genaamd Congruity (Algorithm 1).

1. Genereren van Implementaties: Via causale interventies (zoals het ablaten of patchen van onbelangrijke componenten in het circuit) worden varianten van een model gegenereerd die causaal equivalent zijn aan het origineel. Dit creëert een verzameling implementaties voor een gegeven interpretatie.
2. Meten van Representatie-相似heid (Representation Similarity): Voor twee modellen $h_1$ en $h_2$ worden hun verborgen representatieruimtes vergeleken. De auteurs gebruiken lineaire representatie-相似heid ($d_{repr}$), die meet in hoeverre de representaties van het ene netwerk lineair getransformeerd kunnen worden naar het andere.
3. De Congruity-maatstaf: Het algoritme steunt modellen $h_1$ en $h_2$ en genereert respectievelijk $h^*_1$ en $h^*_2$ (varianten). Als $h_1$ en $h_2$ dezelfde interpretatie delen, dan zou de afstand tussen $h_1$ en $h^*_1$ (binnen dezelfde interpretatie) statistisch niet te onderscheiden moeten zijn van de afstand tussen $h_1$ en $h_2$ (tussen interpretaties), mits de representaties congruent zijn.

Theoretische Garanties

De auteurs bewijzen noodzakelijke en voldoende voorwaarden voor interpretatieve equivalentie gebaseerd op representatie-相似heid:

• Main Result 1: Representatie-相似heid biedt een bovengrens voor de interpretatieve equivalentie. Als de representaties zeer vergelijkbaar zijn, zijn de interpretaties waarschijnlijk equivalent (beperkt door "interpretatieve compressie").
• Main Result 2: Representatie-相似heid biedt een ondergrens. Als de interpretaties equivalent zijn, moeten de representaties dicht bij elkaar liggen, tenzij de mapping tussen circuit en representatie instabiel is.
• Main Result 3: Het algoritme Congruity is een consistente schatter voor interpretatieve equivalentie, waarbij de verwachte waarde correleert met de theoretische afstand tussen de verzamelingen van implementaties.

3. Experimentele Resultaten

De auteurs testen hun methode op drie niveaus:

1. Calibratie op een Toy Taak (n-Permutatie Detectie):

   • Ze creëerden zes verschillende, handmatig ontworpen algoritmen (interpretaties) voor het detecteren van permutaties, verdeeld in "sort-based" en "counting-based".
   • Voor elke interpretatie werden 100 modelvarianten gegenereerd via RASP (Restricted Access Sequence Processing) en causal interventions.
   • Resultaat: Congruity toonde hoge overeenkomst binnen dezelfde interpretatiegroep en lage overeenkomst tussen verschillende groepen. Dit bevestigt dat de methode in staat is om fundamentele algoritmische verschillen te onderscheiden.

2. Reductie naar Simpelere Modellen (Indirect Object Identification - IOI):

   • Toepassing op GPT2 en Pythia-modellen van verschillende groottes (85M tot 2.9B parameters) voor de IOI-taak.
   • Resultaat: Modellen binnen dezelfde familie (bijv. Pythia-160M en Pythia-2.8B) toonden hoge congruence, wat suggereert dat ze dezelfde mechanistische interpretatie delen, ondanks grootteverschillen. Modellen van verschillende families (GPT2 vs. Pythia) toonden lagere congruence, wat overeenkomt met eerdere bevindingen dat ze verschillende circuits gebruiken.

3. Reductie naar Simpelere Taken (Next-Token Prediction vs. POS):

   • Vergelijking van next-token prediction met "Parts-of-Speech" (POS) identificatie.
   • Resultaat: De methode identificeerde dat de voorspelling van specifieke "syntactische tokens" (zoals leestekens die zinnen afsluiten) interpretatief equivalent is aan POS-identificatie, terwijl semantisch geladen tokens dat niet zijn. Dit biedt een manier om complexe taken te decomponeren.

4. Belangrijkste Bijdragen

1. Definitie van Interpretatieve Equivalentie: Een nieuw, formeel concept dat bepaalt of twee modellen dezelfde "geest" (algoritme) hebben zonder de "taal" (expliciete interpretatie) te hoeven kennen.
2. Algoritme voor Schatting: Een praktische methode (Congruity) die gebruikmaakt van representatie-相似heid en causale interventies om equivalentie te meten.
3. Theoretische Fundamenten: Bewijzen die de relatie leggen tussen circuits, representaties en interpretaties, inclusief de concepten van interpretatieve compressie (hoeveel variatie er is in implementaties voor één interpretatie) en equivalentie.
4. Schaalbaarheid: Een aanpak die het mogelijk maakt om interpretaties van grote modellen te reduceren tot die van kleinere, interpreteerbare modellen, of complexe taken te reduceren tot eenvoudigere, equivalenten.

5. Betekenis en Impact

Dit werk is significant voor het veld van AI-veiligheid en interpretability omdat het:

• Automatisering mogelijk maakt: Het biedt een weg naar geautomatiseerde ontdekking van interpretaties door te focussen op equivalentie in plaats van handmatige hypothesestelling.
• Rigorose Evaluatie: Het introduceert een meetbare, wiskundig onderbouwde manier om de kwaliteit en trouw van interpretaties te evalueren.
• Generalisatie: Het raamwerk is modaal-onafhankelijk en kan potentieel worden toegepast op verschillende soorten neurale netwerken, niet alleen taalmodellen.
• Oplossing voor Identificeerbaarheid: Door te kijken naar families van implementaties in plaats van individuele circuits, omzeilt het het probleem van de veel-op-veel relatie tussen algoritmen en circuits, wat een langdurig obstakel in MI was.

Kortom, het artikel verschuift de focus van het "ontdekken van de exacte interpretatie" naar het "vergelijken van de mechanistische gelijkheid", wat een nieuwe, schaalbare route opent voor het begrijpen van complexe AI-systemen.