💻 computer science

Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP

Deze paper introduceert 'informatiesfeer' als een nieuwe dimensie voor het interpreteren van Sparse Autoencoders in CLIP, waarbij de Contextual Dependency Score wordt gebruikt om te onderscheiden tussen features die gebaseerd zijn op lokale, positie-stabiele cues en die welke reageren op globale, beeldniveau-signalen.

Oorspronkelijke auteurs: Yusung Ro, Jaehyun Choi, Junmo Kim

Gepubliceerd 2026-04-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yusung Ro, Jaehyun Choi, Junmo Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstwerk bekijkt, zoals een schilderij van een hond in een park. Een kunstenaar (of in dit geval, een kunstmatige intelligentie genaamd CLIP) kijkt niet alleen naar het hele plaatje, maar splitst het op in duizenden kleine stukjes, alsof het een mozaïek is.

De onderzoekers van dit paper hebben een nieuw gereedschap ontwikkeld om te begrijpen hoe deze AI precies "denkt" over die stukjes. Ze noemen het SAE (een soort "woordenboek" voor de AI), maar het oude onderzoek keek alleen naar wat de AI zag (bijvoorbeeld: "dit is een hond").

Deze paper zegt: "Wacht even, dat is niet het hele verhaal. We moeten ook kijken naar hoe breed de AI kijkt." Ze noemen dit het informatiebereik.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Twee soorten "kijkers" in de AI

De onderzoekers ontdekten dat de AI twee heel verschillende soorten "kijkers" (of features) heeft die ze kunnen onderscheiden:

De "Lijm-looker" (Lage CDS):
Stel je voor dat je een vergrootglas hebt. Je houdt het heel dicht bij de vacht van de hond. Je ziet precies de haren, de textuur en de vorm van de snuit. Dit is wat de Lage CDS-kenmerken doen. Ze kijken heel lokaal, heel specifiek naar één klein stukje van de afbeelding. Als je de hond een beetje op de foto verplaatst, blijft deze "kijker" nog steeds naar die vacht kijken. Ze zijn stabiel en betrouwbaar voor details.
- Vergelijking: Een fotograaf die zich alleen concentreert op de details van een bloemblaadje, ongeacht of de bloem links of rechts in de tuin staat.
De "Bliksem-looker" (Hoge CDS):
Nu stel je je een bliksemschicht voor die over de hele hemel slaat. Deze kijkt niet naar één haren, maar naar het geheel: "Is het een park? Is het een binnenkamer? Is er een hond in de buurt?" Deze Hoge CDS-kenmerken kijken naar de hele context. Maar hier is het vreemde: als je de foto een heel klein beetje verschuift (alsof je de camera een millimeter opzij beweegt), verandert deze "kijker" volledig van gedachte. Hij wordt heel onstabiel.
- Vergelijking: Een weerman die zegt: "Het regent!" Maar zodra je de raam een centimeter opent, zegt hij plotseling: "Oh, het is nu zonnig!" Hij is afhankelijk van de hele omgeving, niet van één specifiek ding.

2. De "Verschuivende Camera" Test (SCC)

Hoe hebben ze dit ontdekt? Ze deden een slimme test.
Stel je voor dat je een foto maakt van een hond. Dan maak je een tweede foto van exact dezelfde hond, maar je beweegt je camera heel, heel weinig opzij. De hond staat op dezelfde plek in de wereld, maar voor de computer is het nu een heel andere "ruimte" omdat de randen van de foto anders zijn.

De Lijm-lookers (Lage CDS) zeggen: "Geen probleem, ik zie nog steeds die vacht."
De Bliksem-lookers (Hoge CDS) raken in paniek: "Wacht, de achtergrond is anders! Is het nog steeds een hond? Of is het nu een boom? Ik weet het niet meer!"

Ze noemen dit de Contextuele Afhankelijkheid. Hoe meer een kenmerk afhankelijk is van de omgeving (context), hoe "hoger" de score.

3. Waarom is dit belangrijk?

Vroeger dachten we: "Als een kenmerk zegt 'hond', dan is het een hond-kenmerk." Maar dit paper zegt: "Nee, het kan zijn dat het kenmerk zegt 'hond' omdat het naar de vacht kijkt (lokaal), of omdat het naar de hele scène kijkt waar een hond in staat (globaal)."

Dit heeft grote gevolgen voor wat de AI doet:

Voor het herkennen van details (zoals: "Waar staat de neus van de hond?"): De AI heeft de Lijm-lookers nodig. Als je die weghaalt, wordt de AI stom voor details.
Voor het begrijpen van de sfeer (zoals: "Is dit een vrolijke of een sombere foto?"): De Bliksem-lookers zijn hier goed voor.
Het verrassende resultaat: Als je de AI dwingt om alleen naar de "Bliksem-lookers" te kijken (de globale context), wordt hij soms zelfs beter in het simpelweg benoemen van wat er op de foto staat (bijvoorbeeld: "Dit is een hond"). Het lijkt erop dat de AI soms verward wordt door al die kleine details, en dat hij het beste werkt als hij zich concentreert op het grote plaatje.

Samenvatting in één zin

De onderzoekers hebben ontdekt dat AI niet alleen kijkt naar wat er op een foto staat, maar ook hoe breed het kijkt: sommige delen van de hersenen van de AI zijn als een vergrootglas voor details (stabiel), en andere delen zijn als een bliksemschicht voor de hele sfeer (onstabiel), en beide zijn nodig om de wereld te begrijpen.

Dit helpt ons om AI veiliger en begrijpelijker te maken, zodat we weten waarom hij soms raar doet als we een foto een beetje verschuiven.

Probleemstelling

Bestaande interpretatiemethoden voor Sparse Autoencoders (SAE's) in visuele modellen (zoals CLIP) focussen voornamelijk op de semantische betekenis van individuele features (bijv. "dit feature activeert op honden"). Hoewel dit nuttig is, is deze conceptgerichte aanpak beperkt:

Het bepaalt niet hoe een feature informatie verzamelt. Een feature gelabeld als "hond" kan reageren op de hele objectstructuur of slechts op een lokaal detail zoals vacht.
Naarmate SAE-dictionaries groeien en features fijner worden, wordt semantische interpretatie alleen te breekbaar om de functionele rol van features consistent te karakteriseren.
Er is een gebrek aan inzicht in het informatiebereik (information scope): tot welke ruimtelijke schaal (lokaal vs. globaal) een feature bijdraagt aan de voorspelling van het model.

Het paper introduceert het concept van informatiebereik als een nieuwe, complementaire dimensie voor interpretatie, die zich richt op de ruimtelijke extent waarin een feature visuele bewijslast aggregatieert.

Methodologie

De auteurs stellen een nieuwe methode voor om het informatiebereik te kwantificeren, gebaseerd op de stabiliteit van features onder contextuele verschuivingen.

1. Shifted Context Cropping (SCC)

Om de ruimtelijke stabiliteit te testen, gebruiken ze een techniek genaamd Shifted Context Cropping:

Vanuit één origineel beeld worden twee overlappende crops gegenereerd ( $I_1$ en $I_2$ ).
$I_2$ is een verschuiving van $I_1$ met precies één patch (horizontaal en verticaal).
Hierdoor hebben de crops een groot overlappend gebied met identieke pixelinhoud, maar verschillen ze in:
- De absolute positie-embeddings (door de verschuiving).
- De niet-overlappende contextpatches die de self-attention-mechanismen beïnvloeden.

2. Analyse van Outlier Tokens

Het paper bouwt voort op eerdere bevindingen dat Vision Transformers (ViT's) "outlier tokens" hebben (patches met uitzonderlijk hoge normen) die globale informatie aggregatieert.

De auteurs tonen aan dat de locatie van deze outlier tokens extreem instabiel is onder de SCC-verschuiving. Zelfs bij een minimale verschuiving verandert de positie van de outlier tokens onvoorspelbaar.
Dit suggereert dat globale signalen sterk afhankelijk zijn van de bredere context, terwijl lokale signalen stabieler blijven.

3. Contextual Dependency Score (CDS)

Om dit fenomeen te kwantificeren voor individuele SAE-features, introduceren ze de Contextual Dependency Score (CDS):

Berekening: Voor een gegeven feature wordt de activatiekaart gegenereerd voor de twee verschoven crops ( $I_1$ en $I_2$ ).
Meting: De dissimilariteit tussen deze twee activatiekaarten wordt gemeten met de Earth Mover's Distance (EMD).
Normalisatie: De EMD wordt genormaliseerd door de diagonale afstand van het raster om model-agnostisch te zijn.
Definitie:
- Lage CDS: Features die ruimtelijk stabiel blijven onder verschuivingen (lokaal informatiebereik).
- Hoge CDS: Features die sterk variëren onder verschuivingen (globaal informatiebereik).

4. Experimenteel Ontwerp

Modellen: Getraind op CLIP ViT-modellen (B/16, L/14, L/14-336px) en uitgebreid naar andere ViT-families (DINOv2, SigLIP2, DeiT3).
Feature Removal: Auteurs verwijderen systematisch ofwel de lage-CDS of hoge-CDS features uit de embeddings en testen de impact op downstream taken (ImageNet classificatie, ADE20K segmentatie, NYUd diepsschatting) via lineaire probing.

Belangrijkste Bijdragen

Informatiebereik als nieuwe interpretatie-as: Het paper verschuift de focus van "wat" een feature voorstelt (semantiek) naar "hoe breed" het informatie aggregatieert (informatiebereik).
Contextual Dependency Score (CDS): Een nieuwe, kwantitatieve metric om features te scheiden op basis van hun ruimtelijke stabiliteit en contextuele afhankelijkheid.
Principiële Partitionering: Het aantonen dat CDS leidt tot een natuurlijke splitsing van SAE-features in twee groepen:
- Low-CDS: Gelokaliseerde, patch-specifieke cues.
- High-CDS: Globale, beeldniveau signalen en context.
Validatie van Outlier Tokens: Het koppelt het fenomeen van "outlier tokens" in ViT's direct aan de high-CDS features, wat verklaart waarom deze tokens zo contextgevoelig en ruimtelijk instabiel zijn.

Resultaten

1. Ruimtelijke Instabiliteit

Outlier tokens vertonen een veel hogere EMD (instabiliteit) dan niet-outlier tokens onder SCC-verschuivingen (zie Tabel 1). Dit bevestigt dat hun status niet inherent is aan de patchinhoud, maar afhangt van de bredere context.

2. Feature Partitionering

De CDS-verdeling toont een bimodale vorm: een dominante piek voor lage CDS en een aparte piek voor hoge CDS.
Tabel 2: High-CDS features activeren sterk op outlier tokens, terwijl low-CDS features sterker reageren op niet-outlier tokens.

3. Functionele Rol in Downstream Taken

Classificatie (ImageNet):
- Het verwijderen van high-CDS features leidt vaak tot betere lineaire classificatieprestaties. Dit suggereert dat globale context soms "ruis" toevoegt voor een lineaire classifier of dat de lokale signalen (low-CDS) voldoende en scherp zijn.
- Het verwijderen van low-CDS features veroorzaakt een sterke daling in prestaties, wat aangeeft dat lokale details essentieel zijn voor classificatie.
Dense Prediction (Segmentatie & Diepte):
- Het verwijderen van low-CDS features veroorzaakt een drastische daling in prestaties voor ADE20K en NYUd. Dit bevestigt dat lokale, patch-specifieke informatie cruciaal is voor pixel-level taken.
- Het verwijderen van high-CDS features heeft een minimaal effect of verbetert zelfs de prestaties, wat aangeeft dat globale context complementair is maar niet de primaire drijver is voor lokale details.

4. Generalisatie

De bevindingen gelden niet alleen voor CLIP, maar ook voor andere ViT-architecturen (DINOv2, SigLIP2, DeiT3), wat suggereert dat dit een fundamenteel kenmerk is van transformer-gebaseerde visuele modellen.

Significantie

Dit paper biedt een fundamenteel nieuw perspectief op het interpreteren van interne representaties in grote visuele modellen:

Complementair aan Semantiek: Het vult de bestaande semantische analyse aan door te laten zien dat twee features met dezelfde semantische label (bijv. "hond") functioneel zeer verschillend kunnen zijn afhankelijk van hun informatiebereik.
Diagnostisch Inzicht: Het biedt een diagnose voor waarom bepaalde features (zoals outlier tokens) zo gevoelig zijn voor contextveranderingen, wat belangrijk is voor het begrijpen van modelrobuustheid en bias.
Toekomstige Toepassingen: Het inzicht in informatiebereik kan helpen bij het ontwerpen van betere SAE-trainingen, het selecteren van features voor specifieke taken (bijv. alleen lokale features voor objectdetectie), en het begrijpen van hoe modellen globale versus lokale context integreren.

Kortom, het paper beweert dat "informatiebereik" een kritieke, maar tot nu toe onderbelichte dimensie is die essentieel is voor een volledig begrip van hoe CLIP en vergelijkbare modellen visuele informatie verwerken.