Technische Samenvatting: Het verklaren van beeldgelijkenis met automatisch geëxtraheerde Concept Activation Vectors

Probleemstelling

Beeldgelijkenis (image similarity) is een fundamenteel onderdeel van talrijke computer vision-toepassingen, waaronder beeldextractie, gezichtsherkenning en modecompatibiliteit. Hoewel gelijkenis doorgaans wordt gemeten in de latente embedding-ruimtes van vooraf getrainde diepe netwerken, blijft de ratio achter specifieke gelijkenisscores opaak. Bestaande xAI-methoden (explainability), die primair zijn ontworpen voor classificatietaken met een enkele input, hebben moeite met het bieden van globale inzichten in gelijkenisfuncties, die inherent twee inputs vereisen. Huidige benaderingen vertrouwen vaak op gradiëntgebaseerde attributiemaps of handmatig gedefinieerde attributen (bijv. "strepen" of "kleur") om saliency maps te genereren. Deze methoden kampen met twee primaire beperkingen:

1. Gebrek aan globaal inzicht: Ze slagen er vaak niet in uit te leggen wat specifiek de gelijkenis over regio's van een embedding-ruimte heen drijft (bijv. textuur versus vorm).
2. Afhankelijkheid van handmatige definities: Ze vereisen vaak vooraf gedefinieerde conceptdatabases of doelbewust gelabelde datasets, wat hun toepasbaarheid op nieuwe domeinen of modellen beperkt.
3. Distributionele getrouwheid: Perturbaties in de ruwe pixelruimte (bijv. maskering) duwen inputs vaak van de datamanifold af, wat leidt tot onbetrouwbare verklaringen.

Methodologie

De auteurs stellen een model- en metriek-agnostisch framework voor dat beeldgelijkenis verklaart met behulp van Concept Activation Vectors (CAVs) die automatisch worden geëxtraheerd via Sparse Autoencoders (SAEs). De methodologie bestaat uit drie primaire stappen:

1. Sparse Dictionary Learning (Concept Extractie)

Gegeven een dataset $\mathcal{X}$ en een embeddingfunctie $g: \mathcal{X} \to \mathbb{R}^d$, decomponeren de auteurs de activatiematrix $A$ in een gewichtsmatrix $U$ en een concept-dictionary $V$. Dit wordt bereikt door de Frobenius-norm te minimaliseren:
$$(U, V) = \arg \min_{U,V} \|A - UV^\top\|_F^2$$
Dit proces maakt gebruik van diverse SAE-formuleringen (Top-K, JumpReLU en Vanilla SAE) om een dictionary van concepten te leren zonder menselijke labeling. Elke activatie wordt benaderd als een lineaire combinatie van deze geleerde concepten.

2. Latente Ruimte Perturbatie voor Paar-verklaring

Om de gelijkenis tussen twee afbeeldingen met embeddings $a_i$ en $a_j$ te verklaren, medieert de methode de embeddings langs de richtingen van de geleerde concepten. Het belang van een specifiek concept $c_k$ wordt bepaald door de verandering in de gelijkenisfunctie $f$ te meten wanneer de bijdrage van het concept wordt verwijderd:
$$e_l^k(a_i, a_j) = (f(a_i, a_j) - f(a_i/c_k, a_j)) + (f(a_i, a_j) - f(a_i, a_j/c_k))$$
waarbij $a_i/c_k = a_i - u_{i,k}v_k^\top$. Deze symmetrische aanpak zorgt ervoor dat de verklaring rekening houdt met de bijdragen van beide inputs. Het resultaat is een lokale verklaringvector die gedeelde en onderscheidende attributen karakteriseert.

3. Groepsniveau Verklaring en Exemplar Retrieval

Het framework wordt uitgebreid naar groepsinstellingen door lokale verklaringen te middelen over een groep $G$:
$$e_G = \frac{1}{\binom{|G|}{2}} \sum_{i,j \in G, i<j} e_l(a_i, a_j)$$
Dit maakt analyse van clusters in de embedding-ruimte mogelijk. Bovendien introduceren de auteurs Exemplar Retrieval, een taak waarbij, gegeven een query-referentiepaar, het systeem andere beeldparen vindt die dezelfde onderliggende redenen voor gelijkenis delen (d.w.z. vergelijkbare verklaringvectoren) in plaats van alleen vergelijkbare algemene verschijningsvormen.

Belangrijkste Bijdragen

1. Nieuw Framework: Een model- en metriek-agnostisch explainability-framework voor beeldgelijkenis gebaseerd op automatisch geëxtraheerde CAVs, wat zowel paar- als groepsniveau analyse mogelijk maakt zonder vooraf gedefinieerde conceptdatabases.
2. Gelijkenis-gebaseerde Attributie: Een methode om conceptbelangrijkheidsscores direct af te leiden uit de gelijkenisfunctie, wat zowel lokalisatie (via heatmaps) als kwantificering van de impact van concepten biedt.
3. Getrouwe Perturbaties: Experimenteel bewijs dat perturbaties in de latente ruimte getrouwer zijn aan de onderliggende datadistributie dan baselines in de pixelruimte (zoals maskering), wat resulteert in minder Out-of-Distribution (OOD) embeddings.
4. Actiegerichte Inzichten: De introductie van Exemplar Retrieval en groepsanalyse, waardoor gebruikers gelijkenis-oordelen kunnen begrijpen en manipuleren op basis van semantische concepten.

Experimentele Resultaten

De auteurs evalueerden hun aanpak op de VITON-HD (mode) dataset en een synthetische Multi-CIFAR-10 Collage dataset met zes visuele backbones (DINOv2, DINOv3, ResNet50, ConvNeXt, ViT, SigLIP).

• Concept Verificatie: Op de synthetische dataset slaagde de methode erin de symmetrie van de gelijkenisfunctie te behouden. Getrainde dictionaries bereikten ongeveer 90% herstel van de oorspronkelijke gelijkenisscores na concept-swaps, waarbij Top-K SAEs de laagste afwijking vertoonden.
• Distributionele Getrouwheid: Latente perturbaties behaalden consistent lagere Wasserstein (W1) en OOD scores vergeleken met input-ruimte maskeringstrategieën (bijv. vervaging, willekeurige maskering) over alle geteste modellen. Dit bevestigt dat latente perturbaties dichter bij de datamanifold blijven.
• Lineaire Herstelbaarheid: Een lineair regressiemodel getraind op de verklaringvectoren kon de oorspronkelijke gelijkenisscores met hoge nauwkeurigheid voorspellen ($R^2 > 0,87$ voor zowel Cosine als Euclidean metrics), waarmee het presteerde boven baselines zoals CSIM, blur-gebaseerde vectoren en gradiëntgebaseerde attributie.
• Kwalitatieve Bruikbaarheid: In casestudy's identificeerde de methode succesvol de semantische drijfveren van gelijkenis (bijv. "strepen", "halslijn") en maakte het Exemplar Retrieval mogelijk dat beelden ophaalde op basis van gedeelde concepten (bijv. het ophalen van gestreepte shirts voor een query van een gestreept shirt) in plaats van alleen visuele gelijkenis.

Betekenis en Claims

Het artikel claimt dat de aanpak een meer getrouwe en interpreteerbare begrip van beeldgelijkenis biedt dan bestaande methoden. Door in de latente ruimte te opereren, vermijdt de methode de valkuilen van pixelruimte-perturbaties die vaak onrealistische beelden genereren. De auteurs benadrukken dat hun framework geautomatiseerd is, geen handmatige conceptdefinitie vereist en flexibel is, toepasbaar op elk vooraf getraind model en elke gelijkenismetriek.

De betekenis ligt in het vermogen om verder te gaan dan "waar" een model zich op focust (saliency) naar "wat" semantische kenmerken de gelijkenis drijven. De auteurs positioneren hun werk als een stap naar actiegerichte inzichten, waardoor modelontwerpers ongewenste gelijkenis-drijvers (bijv. achtergrondartefacten) kunnen identificeren en potentieel kunnen mitigeren, en geavanceerde retrieval-taken mogelijk maken die geconditioneerd zijn op specifieke semantische redenen. De auteurs merken echter bescheiden op dat hun aanpak ervan uitgaat dat een lineaire reconstructie van de embedding-ruimte via CAVs mogelijk is, wat een benadering van de eerste orde is, en dat de stabiliteit van SAE's een punt van aandacht blijft.