From Mechanistic to Compositional Interpretability

Technische Samenvatting: Van Mechanistische naar Compositional Interpretability

Probleemstelling
Mechanistische interpretabiliteit streeft ernaar neurale modellen te ontleden tot menselijk begrijpelijke componenten. Echter, huidige benaderingen missen een formeel raamwerk, waardoor verklaringen moeilijk objectief te verifiëren, vergelijken of combineren zijn. Bestaande methoden benaderen vaak trouwheid in plaats van deze structureel af te dwingen. Bovendien lopen verklaringen het risico "just-so stories" te worden die correleren met oppervlakkig gedrag maar falen in het vastleggen van interne mechanismen, zonder een meetbare definitie van de kwaliteit van interpretatie. De kernuitdaging is interpretatie zo te definiëren dat deze compositional is (delen sommen op tot het geheel), trouw is (overeenkomstig met interne berekening) en beknopt (lage beschrijvingslengte voor mensen).

Methodologie
De auteurs introduceren Compositional Interpretability, een raamwerk gebaseerd op categorietheorie en het Minimum Description Length (MDL)-principe.

1. Formele Definities via Categorietheorie:

   • Compositional Model: Gedefinieerd als een tuple $(D, S, C, [[\cdot]])$, waarbij $D$ een string-diagram is dat de syntaxis (structuur) van het model voorstelt, $S$ de syntactische categorie is, $C$ de semantische categorie (concrete implementatie) en $[[\cdot]]$ een functor die syntaxis afbeeldt op semantiek.
   • Compositional Interpretation: Gedefinieerd als een paar afbeeldingen: een op syntaxis gebaseerde interpretatie $I_S: S \to H$ (toewijzing van verklaringen aan structurele componenten) en een op semantiek gebaseerde interpretatie $I_C: C \to H$ (toewijzing van verklaringen aan gedrag).
   • Commutativiteit: Een geldige interpretatie vereist dat het diagram commutatieert ($I_S = I_C \circ [[\cdot]]$). Dit dwingt consistentie af, zodat verklaringen afgeleid uit de structuur van het model overeenkomen met verklaringen afgeleid uit het waargenomen gedrag.

2. Optimalisatie via MDL:

   • Interpretatie wordt geformuleerd als een geconstrueerd optimalisatieprobleem: het vinden van de beknoptste verklaring die trouw blijft aan de semantiek van het model.
   • Trouwheid: Gemeten door de informatiekost die nodig is om een verklaring te corrigeren zodat deze overeenkomt met de ware semantiek van het model. De auteurs definiëren compositional faithfulness, waarbij vereist wordt dat de verklaring reconstructie toelaat van de semantiek van individuele componenten, niet slechts van globaal input-output-gedrag.
   • Complexiteit: Gemeten door de Compositional Description Length ($L(M, I_S)$), die ontbindt in:
     • Representatiecomplexiteit ($L_{rep}$): De kost van het beschrijven van de syntaxis en de semantische complexiteit van atomaire componenten.
     • Interpretatiecomplexiteit ($L_{int}$): De subjectieve kost van het afstemmen van deze componenten op menselijke concepten.
   • De totale beschrijvingslengte dient als een bovengrens voor de minimale beschrijvingslengte van de verklaring zelf.

3. Compressieve Verfijning:

   • Om interpretatie te optimaliseren, stelt het artikel Syntactic Refinement voor: een functor $R: S \to S'$ die de syntaxis van het model herstructureert terwijl de semantiek behouden blijft ($[[\cdot]] = [[\cdot]]' \circ R$).
   • Compressive Refinement treedt op wanneer deze herstructurering de representatiecomplexiteit verlaagt ($L_{rep}(M') \leq L_{rep}(M)$).
   • Parsimonie-criterium: Een verfijning levert slechts een betere verklaring op als de reductie in representatiecomplexiteit elke toename in interpretatiecomplexiteit opweegt.

Belangrijkste Bijdragen

• Formeel Raamwerk: Het artikel vestigt een categorietheoretische basis voor interpretatie, waarbij onderscheid wordt gemaakt tussen syntaxis (structuur) en semantiek (gedrag) en hun afstemming vereist wordt via commutatieve diagrammen.
• Kwantificeerbaar Doel: Het presenteert interpretatie als een geconstrueerd optimalisatieprobleem met behulp van MDL, waarbij trouwheid (vervorming) en complexiteit (beschrijvingslengte) worden gescheiden.
• Compressieve Verfijning: Het introduceert een systematische methode om modellen te herstructureren in eenvoudigere delen zonder de functie te veranderen, en generaliseert bestaande mechanistische methoden (zoals op sparsiteit gebaseerde decompositie) als subklassen van verfijning.
• Parsimonie-criterium en Theoretische Waarborgen:
  • De auteurs bewijzen dat compressieve verfijning beknoptere verklaringen garandeert als de coderingsverdeling comonotoon is met de interpretatieverdeling (wat structurele eenvoud koppelt aan menselijk begrijpelijkheid).
  • Zij beroepen zich op Compositional Sparsity (Stelling 4.5) om te betogen dat diepe netwerken van polynomiale grootte functies benaderen die sparsere decomposities toelaten, waardoor de zoektocht naar "atomen van berekening" haalbaar is en niet leidt tot onbeheersbare diagramgroottes.
  • Zij formaliseren het Zwakke Principe van Explanatory Optimism, wat suggereert dat als een model goed presteert, de kernmechanismen daarvan waarschijnlijk menselijk begrijpelijk zijn, wat het gebruik van compressie als filter voor deze mechanismen rechtvaardigt.

Resultaten en Beweringen
Het artikel presenteert geen nieuwe empirische experimenten, maar biedt een theoretische unificatie en een proof of concept:

• Het toont aan dat prominente mechanistische methoden (bijvoorbeeld die welke sparsiteitsheuristieken gebruiken) kunnen worden beschouwd als specifieke instanties van syntactische verfijning.
• Het bewijst dat onder het parsimonie-criterium het minimaliseren van representatiecomplexiteit theoretisch beknoptere, mens-gealigneerde verklaringen garandeert, mits de "explanatory optimism"-prior geldt.
• Het verduidelijkt waarom compressibiliteitsheuristieken vaak overeenkomen met menselijke interpretatie: ze verwijderen redundantie om kernmechanismen te isoleren die overeenkomen met menselijke concepten.

Betekenis
Het artikel claimt een meetbare en optimaliseerbare basis te bieden voor het automatiseren van de ontdekking en evaluatie van mechanistische verklaringen. Door over te stappen van ad-hoc reverse-engineering naar een formeel compositional raamwerk, adresseert het het gebrek aan objectieve verificatie in huidig interpretatieonderzoek. Het werk positioneert interpretatie als een continu optimalisatiedoel in plaats van een binaire architecturale beperking, en overbrugt de kloof tussen intrinsieke interpretatie en post-hoc verklaring. De auteurs suggereren dat toekomstig werk dit raamwerk kan benutten om compressieve verfijning te integreren met causale inferentie en hulpmiddelen zoals tensor-netwerken kan gebruiken voor schaalbare optimalisatie.