Technische Samenvatting: Een Distributioneel Perspectief voor Visuele Mechanistische Interpretabiliteit

1. Probleemstelling

Huidige paradigma's in visuele mechanistische interpretabiliteit (MI) worstelen met het vinden van een balans tussen trouw (het nauwkeurig weergeven hoe een model specifieke kenmerken activeert) en interpretabiliteit (het produceren van voor mensen begrijpelijke visualisaties). Bestaande methoden vertrouwen doorgaans op heuristische benaderingen die een fundamenteel afwegingsprobleem kennen:

• Dataset-zoekopdracht: Haalt voorbeelden met hoge activatie op uit eindige datasets. Hoewel dit perceptueel plausibel is, lijdt deze aanpak aan randvooroordeel en instabiliteit van drempelwaarden, waardoor het vaak faalt om de volledige verdeling van de semantiek van een kenmerk vast te leggen.
• Optimalisatie met regularisatie (Activeringsmaximalisatie): Synthetiseert invoer om de kenmerkactivatie te maximaliseren. Hoewel deze methoden zeer trouw zijn aan de activeringsscore, produceren ze vaak "super-prikkels" of hoogfrequente artefacten die sterk afwijken van de natuurlijke beeldverdeling, waardoor ze perceptueel onbegrijpelijk worden.
• Proxy-geleide generatie (bijv. prompt-gebaseerde diffusie): Gebruikt tekstprompts om diffusiemodellen te sturen. Dit introduceert een informatieknelpunt en een semantische kloof, aangezien tekstprompts fijne, niet-verbale of polysemantische interne kenmerken (bijv. SAE-kenmerken) niet volledig kunnen vastleggen.

Het kernprobleem is dat deze methoden kenmerkinterpretatie behandelen als een taak voor patroonherkenning per steekproef in plaats van als een distributioneel inferentieprobleem, wat leidt tot verklaringen die óf mechanistisch ontrouw óf perceptueel onbegrijpelijk zijn.

2. Methodologie

2.1. Het Distributionele Perspectief

De auteurs stellen voor visuele MI te herformuleren als een Kullback-Leibler (KL)-minimalisatie optimalisatieprobleem. In plaats van één "beste" afbeelding te vinden, is het doel het identificeren van een geïnduceerde verdeling $q$ die voldoet aan twee concurrerende doelstellingen:

1. Trouw: $q$ moet zich concentreren op invoer die de intrinsieke score $s(x)$ (bijv. een SAE-kenmerkactivatie) sterk activeert.
2. Interpretabiliteit: $q$ moet dicht bij de natuurlijke beeldprior $p(x)$ blijven om menselijke perceptibiliteit te waarborgen.

Dit perspectief decomposeert MI-paradigma's in drie orthogonale dimensies:

• Onderwerp van Studie: Wat wordt geïnterpreteerd (bijv. neuronen versus SAE-kenmerken).
• Vormgeving van Beperkingen: Hoe trouw wordt afgedwongen (harde versus zachte beperkingen).
• Steekproefmethodologie: Hoe de geïnduceerde verdeling wordt gerealiseerd (opzoeken, optimalisatie of diffusie).

2.2. Het KL-Minimale Zachte Beperking (KLSC) Principe

Om de vertekeningen van eerdere methoden op te lossen, introduceert het artikel het KLSC-principe. In tegenstelling tot methoden met harde beperkingen (die de verdeling afsnijden bij een drempelwaarde $m$, d.w.z. $s(x) > m$), hanteert KLSC een zachte beperking waarbij de verwachte activatie een doelniveau moet bereiken: $\mathbb{E}_{q}[s(X)] \geq m$.

Theoretisch is de unieke oplossing voor het minimaliseren van $KL(q \| p)$ onder deze zachte beperking een exponentieel gekantelde verdeling:
$$q_{\beta}(x) \propto p(x) \exp(\beta s(x))$$
waarbij $\beta$ een Lagrange-multiplicator is die de sterkte van de geleiding controleert.

Theoretische voordelen van KLSC ten opzichte van harde beperkingen:

• Verminderd Randvooroordeel: Harde beperkingen concentreren waarschijnlijkheidsmassa in een dunne schil nabij de drempel (het "net-geactiveerde" gebied), terwijl KLSC massa soepeler verdeelt, waardoor de gevoeligheid voor kleine veranderingen in de drempelwaarde afneemt.
• Drempelstabiliteit: Harde beperkingen veroorzaken discontinu springen in de KL-divergentie en de Totale Variatie (TV) afstand wanneer de drempelwaarde wordt verstoord. KLSC vormt een gladde exponentiële familie, wat lokale continuïteit garandeert.
• Interpretabiliteitskloof: Zelfs wanneer ze worden vergeleken op verwachte trouw, minimaliseert de KLSC-oplossing de afwijking van de natuurlijke beeldprior $p$ effectiever dan oplossingen met harde afsnijding.

2.3. Het Vermijden van Taakinjectie en Proxy-Knelpunten

Het artikel pleit tegen het injecteren van externe taakdoelen (bijv. classificatielabels of tekstprompts) in het interpretatieproces.

• Objectdrijver: Het injecteren van een taakscore $f_c(x)$ (bijv. CLIP-uitlijning) vervormt de intrinsieke geïnduceerde verdeling. Het artikel bewijst dat het behalen van een taakeis een strikt positieve KL-kost met zich meebrengt, wat leidt tot verklaringen die de taak weerspiegelen in plaats van het intrinsieke mechanisme.
• Prompt-knelpunt: Proxy-geleide methoden beperken de zoekruimte tot een prompt-geparametriseerde familie $Q_{prompt}$. Het artikel toont aan dat deze familie vaak geen fijne of polysemantische kenmerken kan representeren, wat leidt tot ontrouwe steekproeven.

2.4. Energie-geleide Diffusie Posterior Steekproefneming (EnergyDPS)

Om het KLSC-principe praktisch te realiseren, stellen de auteurs EnergyDPS voor.

• Mechanisme: Het behandelt de intrinsieke score $s(x)$ (bijv. SAE-kenmerkactivatie) als een energiefunctie.
• Proces: Het maakt gebruik van Diffusion Posterior Sampling (DPS). In plaats van een tekstprompt te optimaliseren, injecteert EnergyDPS de gradiënt van de intrinsieke score, $\nabla_x s(\hat{x}_0)$, direct in het omgekeerde diffusieproces bij elke stap.
• Voordeel: Dit maakt het mogelijk om direct te steekproeven uit de door KLSC geïnduceerde verdeling, zonder het informatieverlies dat gepaard gaat met tekstprompts of de mode-zoekende vertekening van puntsgewijze optimalisatie. Het is trainingsvrij en toepasbaar op elke differentieerbare intrinsieke score.

3. Belangrijkste Bijdragen

1. Distributioneel Perspectief voor Visuele MI: Het artikel vestigt een theoretisch kader dat kenmerkinterpretatie modelleert als een KL-minimale distributioneel inferentieprobleem, en systematische statistische vertekeningen (randvooroordeel, drempelinstabiliteit en interpretabiliteitskloven) in bestaande paradigma's identificeert.
2. KL-Minimale Zachte Beperking (KLSC) Principe: Een nieuwe vormgeving van beperkingen die theoretisch trouw en interpretabiliteit in evenwicht brengt door de verdeling te zoeken die het dichtst bij de natuurlijke prior ligt terwijl een verwachte activatiebeperking wordt voldaan.
3. EnergyDPS-algoritme: Een praktische, trainingsvrije steekproefnemer die het KLSC-principe realiseert met behulp van diffusiemodellen. Het vermijdt de informatieknelpunten van prompt-gebaseerde methoden en de artefacten van optimalisatie-gebaseerde methoden.
4. Gefuseerde Taxonomie: Een systematische categorisering van visuele MI-methoden op basis van hun onderwerp van studie, vormgeving van beperkingen en steekproefmethodologie, wat verduidelijkt waarom eerdere methoden falen om zowel trouw als interpretabiliteit gelijktijdig te bereiken.

4. Experimentele Resultaten

De auteurs evalueerden EnergyDPS op DINOv3 ResNeXt Large-kenmerken met behulp van een transcoder (een variant van SAE).

• Kwantitatieve Metrieken:
  • Trouw: EnergyDPS bereikte activeringsniveaus die vergelijkbaar waren met de baselines (MACO, DiffExplainer) bij kalibratie.
  • Interpretabiliteit: EnergyDPS presteerde aanzienlijk beter dan de baselines op QualiCLIP (perceptuele interpretabiliteit) en NRQM (kwaliteitsmetriek zonder referentie). Bijvoorbeeld, op willekeurige kenmerken behaalde EnergyDPS een QualiCLIP-score van 0,5791, vergeleken met 0,4228 voor MACO en 0,3259 voor DiffExplainer.
• Blinde Interpretabiliteitsstudie:
  • Menselijke en AI-beoordelaars (GPT-5.4, Gemini-3-flash-lite) beoordeelden sets gegenereerde afbeeldingen op gedeelde semantische concepten.
  • EnergyDPS ontving de hoogste interpretabiliteitsscores (bijv. 2,92 van mensen versus 1,92 voor MACO) en de laagste gewogen variantie in semantische beschrijvingen, wat wijst op consistentere en helderdere gedeelde concepten.
• Validatie met Toy-model:
  • Experimenten op een 2D Gaussische Mengselmodel (GMM) bevestigden theoretische voorspellingen: Harde beperkingen vertoonden een hogere randmassa en TV-instabiliteit in vergelijking met het gladde KLSC-pad.
• Ablatiestudies:
  • Laagrobustheid: EnergyDPS bleef effectief over verschillende netwerklagen.
  • Prior-afhankelijkheid: Het gebruik van een bevooroordeelde prior (FFHQ-gezichten) verslechterde de resultaten, wat het belang bevestigt van een natuurlijke beeldprior die is uitgelijnd met de trainingsverdeling van het model.
  • Objectdrijver: Experimenten toonden aan dat het toevoegen van taakinjectie (CLIP-prompts of pixel-niveau referenties) significante semantische verschuivingen veroorzaakte, zelfs wanneer de intrinsieke activatie werd gematcht, wat de noodzaak bevestigt van uitsluitend intrinsieke doelen.

5. Betekenis en Aanspraken

Het artikel beweert dat de primaire bijdrage een fundamentele verschuiving in perspectief is van heuristische visualisatie naar distributionele inferentie.

• Theoretische Grondslagen: De auteurs betogen dat eerdere mislukkingen in visuele MI voortkomen uit structurele vertekeningen in de vormgeving van beperkingen (hard versus zacht) en steekproefneming (opzoeken/optimalisatie versus distributionele steekproefneming). Het KLSC-principe biedt een rigoureuze wiskundige basis voor het in evenwicht brengen van trouw en interpretabiliteit.
• Praktische Effectiviteit: EnergyDPS toont aan dat het mogelijk is visualisaties te genereren die zowel zeer trouw zijn aan de interne mechanica van het model als perceptueel natuurlijk, en dat het state-of-the-art methoden overtreft op DINOv3-kenmerken.
• Beperkingen: De auteurs erkennen bescheiden dat hoewel natuurlijke afbeeldingen een minimaal verliesgevend referentieruimte bieden, ze mogelijk niet alle voor mensen begrijpelijke concepten volledig vastleggen (bijv. niet-natuurlijke maar modelrelevante bewijzen). Bovendien brengt EnergyDPS een rekenkosten met zich mee vanwege het diffusie-steekproefproces, waardoor het trager is dan optimalisatie-gebaseerde baselines.

Kortom, het artikel stelt dat het begrijpen van visuele kenmerken vereist dat men modelleert hoe ze de natuurlijke beeldverdeling herschikken, en dat het KLSC-principe in combinatie met EnergyDPS een theoretisch onderbouwde en praktisch effectieve oplossing biedt voor deze uitdaging.