From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

Probleemstelling

Met de grootschalige implementatie van Vision-Language Models (VLMs) zoals CLIP, wordt het cruciaal om hun interne werkingsmechanismen te begrijpen. Bestaande methoden voor interpretbaarheid zijn echter beperkt door drie belangrijke tekortkomingen:

1. Afhankelijkheid van data: De meeste methoden (zoals TextSpan) analyseren modelactivaties op grote datasets (bijv. ImageNet). Dit maakt ze kwetsbaar voor dataset-bias en beperkt hun toepasbaarheid zonder specifieke data.
2. Grofkorrelige uitleg: Bestaande technieken leveren vaak uitleg op het niveau van de hele "attention head" (bijv. "deze head ziet kleuren"), in plaats van te onthullen welke specifieke interne componenten welke concepten coderen.
3. Ontbrekende mechanistische diepgang: Ze kijken vaak naar wat het model doet (activaties) in plaats van hoe het dit doet via de gewichten, wat essentieel is voor mechanische interpretbaarheid.

Methodologie: SITH en COMP

De auteurs introduceren SITH (Semantic Inspection of Transformer Heads), een volledig data-vrij en training-vrij raamwerk dat direct de gewichten van CLIP analyseert in plaats van activaties.

1. Analyse van de Value-Output (VO) Matrix:
In plaats van het hele model te doorlopen, isoleert SITH de Value-Output (VO) gewichtsmatrix ($W_{VO}$) van elke attention head in de Vision Transformer. Volgens de theorie van Elhage et al. bepaalt deze matrix welke informatie een head "schrijft" naar de residual stream. Omdat deze matrix een lineaire transformatie is, kan deze worden ontbonden om de dominante computationele richtingen te vinden.

2. Singular Value Decomposition (SVD):
SITH past SVD toe op de VO-matrix van elke head:
$$W_{VO} = U \Sigma V^T$$
Dit levert singuliere vectoren op. De rechter singuliere vectoren ($v_i$) definiëren de uitgangsrichtingen (wat er wordt geschreven) en de linker vectoren ($u_i$) de ingangsrichtingen. De bijbehorende singuliere waarden ($\sigma_i$) geven de sterkte van deze transformatie aan. Dit breekt de head op in kleinere, orthogonale sub-ruimtes.

3. COMP (Coherent Orthogonal Matching Pursuit):
Om deze abstracte singuliere vectoren semantisch te interpreteren, stellen de auteurs COMP voor. Dit is een nieuw algoritme dat elke singuliere vector uitdrukt als een spare, niet-negatieve lineaire combinatie van menselijk interpreteerbare concepten uit een conceptenpool $\Gamma$ (bijv. ConceptNet).

• Het probleem: Standaard methoden zoals NNOMP (Non-Negative Orthogonal Matching Pursuit) maximaliseren alleen de reconstructie-accuraatheid, wat vaak leidt tot semantisch oncoherente conceptsets (bijv. "rood" en "toaster" samen).
• De oplossing: COMP introduceert een coherentie-term in de selectiefunctie. Bij het kiezen van het volgende concept, wordt niet alleen gekeken naar de correlatie met het resterende vectordeel, maar ook naar de semantische consistentie met de reeds geselecteerde concepten.
  • Score-formule: $score(\hat{\gamma}_i) = \langle r_{k-1}, \hat{\gamma}_i \rangle + \frac{\lambda}{|S_{k-1}|} \sum_{j \in S_{k-1}} \langle \hat{\gamma}_i, \hat{\gamma}_j \rangle$
  • Hierbij zorgt $\lambda$ voor de afweging tussen reconstructie en semantische samenhang.

Belangrijkste Bijdragen

1. SITH Framework: Een data-vrij, training-vrij raamwerk dat CLIP's attention heads interpreteert door direct de gewichten te ontbinden, waardoor dataset-bias wordt vermeden.
2. Finere Granulariteit: In plaats van het interpreteren van hele heads, ontleedt SITH deze tot singuliere vectoren. Dit maakt het mogelijk om specifieke semantische sub-ruimtes (bijv. "groen" binnen een "kleuren"-head) te isoleren.
3. COMP Algoritme: Een nieuwe decompositietechniek die singuliere vectoren vertaalt naar coherente, menselijke concepten, wat leidt tot betere interpretatie dan bestaande methoden.
4. Data-vrije Modelbewerking: Het vermogen om het model te bewerken (concepten versterken of onderdrukken) zonder retraining of data, door simpelweg de singuliere waarden aan te passen.
5. Inzicht in Adaptatie: Een analyse van hoe fine-tuning werkt: het blijkt dat fine-tuning voornamelijk de bestaande semantische basis herschikt (reweighting) in plaats van volledig nieuwe features te leren.

Resultaten

• Interpreteerbaarheid en Fideliteit: Experimenten tonen aan dat COMP een optimale balans vindt tussen het nauwkeurig reconstrueren van de singuliere vectoren (fideliteit) en het leveren van semantisch samenhangende uitleg (interpreteerbaarheid), beter dan NNOMP of simpele Top-k selectie.
• Visuele Grounding: De geïnterpreteerde vectoren corresponderen sterk met visuele inhoud in grote datasets (CC12M). Bijvoorbeeld, vectoren geassocieerd met "groen" tonen beelden van groene objecten.
• Modelbewerking zonder Training:
  • Onderdrukken van Spurious Correlaties: Door vectoren gerelateerd aan achtergronden (bijv. op de Waterbirds dataset) te verwijderen, verbetert de robustheid en de "worst-group" nauwkeurigheid aanzienlijk.
  • Veiligheid (NSFW): Het is mogelijk om vectoren die NSFW-concepten coderen te identificeren en te onderdrukken, wat de veiligheid van het model verbetert zonder dat het model opnieuw getraind hoeft te worden.
  • Verbeterde Classificatie: Het versterken van vectoren die relevant zijn voor een specifieke taak (bijv. bloemen) leidt tot verbeterde zero-shot classificatieprestaties.
• Model Adaptatie: Analyse toont aan dat bij fine-tuning de singuliere vectoren stabiel blijven, maar hun gewichten (singuliere waarden) worden aangepast om de taak te ondersteunen. De veranderingen zijn semantisch uitgelijnd met de doeltaak (bijv. bloemen-concepten worden sterker bij fine-tuning op bloemendata).

Significantie

Dit paper is baanbrekend omdat het de interpretbaarheid van VLMs verschuift van een data-afhankelijke naar een gewicht-gebaseerde benadering.

• Het bewijst dat de kennis van een model "ingebakken" zit in de gewichten en kan worden ontrafeld zonder een enkele afbeelding of tekst te hoeven verwerken.
• Het biedt een krachtige tool voor veiligheid en controle: ontwikkelaars kunnen specifieke ongewenste concepten (zoals bias of NSFW-inhoud) chirurgisch verwijderen zonder de rest van het model te beschadigen of te hertrainen.
• Het biedt inzicht in de aard van transfer learning: fine-tuning is minder het leren van nieuwe features en meer het herschikken van bestaande, universele semantische basisvectoren.

Kortom, SITH biedt een fundamenteel nieuw perspectief op hoe neurale netwerken concepten representeren en stelt onderzoekers in staat om deze netwerken preciezer, veiliger en efficiënter te sturen.