Technische Samenvatting: Evaluatie van de Interpreteerbaarheid van Sparse Autoencoders met Conceptannotaties

Probleemstelling

Sparse Autoencoders (SAEs) worden steeds vaker ingezet om hoogdimensionale interne representaties van visie- en visie-taalmodellen (bijv. CLIP, DINOv2) te deconstrueren naar ijle (sparse), interpreteerbare latente variabelen. De huidige evaluatiemethoden voor visie-gebaseerde SAEs leunen echter zwaar op structurele proxies (bijv. reconstructiefidelity, ijlheid) of kwalitatieve inspectie. Deze methoden falen in het meten van semantische correspondentie—de mate waarin geleerde latente variabelen overeenkomen met menselijk begrijpelijke concepten.

Bovendien vertonen visiemodellen systematische faalmodi zoals feature splitting (één concept versnipperd over meerdere latente variabelen), feature absorption (algemene features die blinde vlekken ontwikkelen) en feature composition (gelijktijdig voorkomende concepten die samensmelten). Huidige metrieken, die vaak zijn aangepast uit natuurlijke taalverwerking, worstelen met de vraag of een latente variabele werkelijk een specifieke semantische attribuut codeert of er slechts mee correleert door verstorende factoren. Cruciaal is dat functionele evaluatie in visie moeilijk is omdat het isoleren van een enkele semantische verandering in natuurlijke afbeeldingen niet triviaal is zonder gecontroleerde interventies.

Methodologie

De auteurs stellen een mens-gegrond evaluatiekader voor dat de afstemming tussen SAE-latente variabelen en menselijk geannoteerde concepten kwantificeert zonder gebruikersstudies te vereisen. Het kader bestaat uit drie kerncomponenten:

1. Latent-Concept Matching

Om statistische afstemming te meten, vergelijken de auteurs gebinariseerde SAE-activaties met binaire grondwaarheid-attribuutvectoren.

• One-to-One Matching: Selecteert de enkele latente variabele die de F1-score maximaliseert voor een gegeven attribuut.
• Fully-Binary Matching Pursuit (FBMP): In het besef dat features vaak over meerdere latente variabelen verspreid zijn, introduceren de auteurs een coalitie-gebaseerde matchingprocedure. FBMP is een gulzig (greedy), sequentieel selectiealgoritme dat is afgestemd op het binaire domein. In tegen tegenstelling tot standaard Matching Pursuit, opereert het volledig in de binaire ruimte:
  • Het gebruikt binaire gelijkenismetrieken (bijv. $F_\beta$) in plaats van inproducten.
  • Het gebruikt logische OF ($\lor$) om bijdragen op te tellen en logische EN/NIET ($\land, \neg$) om residuen bij te werken.
  • Het bouwt een kleine subset (coalitie) van latente variabelen die gezamenlijk de attribuutannotatie reconstrueren, wat veel-op-één mapping ondersteunt.
• $\Delta$MATCHScore: Om de inflatie van matching scores in grotere dictionaries (waarbij willekeurige correlaties toenemen) op te vangen, trekken de auteurs de matching score van een ongetrainde (met willekeurige gewichten) SAE af van de score van de getrainde SAE.

2. Synthetische Interventie Benchmarks

Om functionele validatie mogelijk te maken, construeren de auteurs twee synthetische datasets waarbij afbeeldingen in exact één semantisch attribuut verschillen:

• synCUB: Afgeleid van CUB-200-2011, richt deze dataset zich op fijnmazige attribuut-perturbaties (bijv. het veranderen van een "solide" buikpatroon naar een "gespikkeld" patroon) in afbeeldingen van vogels met één enkel object. Het gebruikt Flux2 om basisafbeeldingen te bewerken onder begeleiding van referentieafbeeldingen, waarbij identiteit, pose en achtergrond behouden blijven.
• synCOCO: Afgeleid van MS-COCO, richt deze dataset zich op objectverwijdering in complexe scènes met meerdere objecten. Het verwijdert specifieke objecten terwijl de rest van de scène behouden blijft, wat de uitdaging van gecontroleerde interventies in naturalistische settings aanpakt.

3. Targeted Attribute Perturbation Alignment Score (TAPAScore)

Deze metriek test of gematchte latente variabelen selectief reageren en in de verwachte richting onder gerichte perturbaties.

• Voor een paar afbeeldingen $(x, \hat{x})$ die in één attribuut verschillen, berekenen de auteurs de gesigneerde respons van de latente coalitie die gematcht is aan het toegevoegde of verwijderde attribuut.
• TAPAScore wordt gedefinieerd als $\Delta_{add} - \Delta_{rem}$, waarbij $\Delta$ de gemiddelde verandering is in de maximale activatie van de gematchte set latente variabelen. Een positieve score geeft aan dat de latente variabelen toenemen wanneer het attribuut wordt toegevoegd en afnemen wanneer het wordt verwijderd, wat causale codering bevestigt.

Belangrijkste Bijdragen

1. FBMP Algoritme: Een nieuwe coalitie-gebaseerde matchingprocedure die veel-op-één mappings tussen SAE-latente variabelen en concepten ondersteunt. De auteurs demonstreren dat FBMP consequent beter presteert dan one-to-one baselines en sanity checks doorstaat die bestaande metrieken (zoals Feature Monosemanticity Score of CKNNA) niet halen.
2. Synthetische Benchmarks (synCUB & synCOCO): De eerste interventie-stijl benchmarks voor de evaluatie van SAEs in naturalistische afbeeldingen, wat gecontroleerde attribuut- en object-perturbaties mogelijk maakt.
3. TAPAScore: Een functionele metriek die valideert of statistische matches overeenkomen met causale semantische coderingen door de richting van de respons te testen onder perturbatie.
4. Empirische Richtlijnen: De studie biedt bruikbare richtlijnen voor beoefenaars, waarbij een moderate dictionary grootte en de combinatie van FBMP met TAPAScore wordt aanbevolen voor optimale interpretatie-evaluatie.

Experimentele Resultaten

Het framework werd geëvalueerd op SAEs getraind op CLIP- en DINOv2-embeddings over variërende dictionary groottes ($128$ tot $4096$) en SAE-varianten (TopK, BatchTopK, Matryoshka, JumpReLU).

• Sanity Checks: TAPAScore en $\Delta$MATCHScore (met FBMP) waren de enige metrieken die in staat waren om getrainde SAEs betrouwbaar te onderscheiden van ongetrainde of willekeurige baselines. Metrieken zoals CKNNA en Feature Monosemanticity Score (FMS) vertoonden beperkte sensitiviteit of inconsistent gedrag (bijv. CKNNA die toenam voor ongetrainde SAEs).
• Matching Prestaties: FBMP presteerde consequent beter dan one-to-one matching over alle varianten. De $F_{0.5}$ variant van FBMP (die precisie bevoordeelt) leverde over het algemeen de hoogste scores op.
• Dictionary Grootte Trade-offs:
  • Het vergroten van de dictionary grootte (overcompleetheid) verbeterde de statistische matching scores ($\Delta$MATCHScore) tot op een bepaald punt, maar verslechterde vaak de perturbatie-afstemming (TAPAScore).
  • Voor TopK SAEs op CUB piekte de TAPAScore vroeg en daalde vervolgens scherp naarmate de dictionary grootte toenam, wat aangeeft dat grotere dictionaries een betere statistische afstemming bereikten zonder causaal geldige concepten te coderen.
  • Moderate dictionary groottes (bijv. 256–1024 afhankelijk van de variant) boden de beste afweging tussen semantische dekking en functionele selectiviteit.
• Correlatie: Hoewel matching scores en TAPAScore over het algemeen positief gecorreleerd waren, benadrukte de divergentie bij grote dictionary groottes (waar matching verbeterde maar TAPAScore daalde) dat statistische afstemming onvoldoende is om de garantie van interpretabiliteit te bieden.

Betekenis en Claims

Het artikel claimt dat interpretabiliteit niet kan worden verondersteld op basis van architectonisch ontwerp of reconstructiekwaliteit alleen; het moet expliciet worden geëvalueerd tegen menselijk begrijpelijke concepten. Het voorgestelde framework operationaliseert interpretabiliteit als de afstemming tussen geleerde features en geannoteerde concepten, gevalideerd door gecontroleerde interventies.

De auteurs concluderen dat moderate dictionary groottes de optimale balans bieden, wat resulteert in de meest interpreteerbare SAEs. Ze bevelen FBMP ($F_{0.5}$, $k=3$) aan, gekoppeld aan TAPAScore, als het standaard evaluatieprotocol. Het werk benadrukt dat verhoogde overcompleetheid de perturbatie-afstemming kan verminderen, wat suggereert dat een toename in interpretabiliteit kan leiden tot een verlies van functionele selectiviteit ondanks verbeterde statistische metrieken.

De auteurs erkennen beperkingen en merken op dat de kwaliteit van het framework begrensd wordt door de granulariteit en nauwkeurigheid van menselijke annotaties. Ze suggereren dat toekomstig werk de afhankelijkheid van handmatige annotaties kan verminderen door gebruik te maken van visie-taalmodellen voor automatische attribuutgeneratie en het gebruik van TAPAScore als instrument voor actieve modelsturing kan verkennen.