💻 computer science

Explaining Image Similarity with Automatically Extracted Concept Activation Vectors

Dieses Paper führt ein modell- und metrikagnostisches Framework ein, das Bildähnlichkeit erklärt, indem es automatisch Concept Activation Vectors mittels Sparse Autoencoders extrahiert, was treue, interpretierbare Einblicke in die spezifischen Konzepte (wie Textur, Form oder Farbe) ermöglicht, welche die Ähnlichkeitswerte sowohl für einzelne Bildpaare als auch für Bildgruppen antreiben.

Ursprüngliche Autoren: Isaac Roberts, Petra Bevandic, Alexander Schulz, Barbara Hammer

Veröffentlicht 2026-07-31

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Isaac Roberts, Petra Bevandic, Alexander Schulz, Barbara Hammer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch eine riesige, unsichtbare Bibliothek, in der jedes Buch ein Bild ist. In dieser Bibliothek sind die Bücher nicht nach Titel oder Autor sortiert, sondern danach, wie sehr sie sich „ähnlich fühlen“. Ein Bild eines Golden Retrievers könnte direkt neben einem Bild einer flauschigen Katze liegen, nicht weil es dasselbe Tier ist, sondern weil sie eine gewisse „Flauschigkeit“-Vibe teilen. So sehen Computer heute die Welt: Sie übersetzen Bilder in geheime Codes (genannt Embeddings) und messen die Distanz zwischen ihnen, um zu entscheiden, ob zwei Bilder ähnlich sind. Das ist die Magie hinter dem Finden Ihrer verlorenen Fotos, dem Erkennen von Gesichtern oder dem Vorschlagen des perfekten Outfits. Aber hier liegt der knifflige Teil: Der Computer kann Ihnen zwar sagen, dass zwei Bilder ähnlich sind, aber er kann oft nicht erklären, warum. Es ist, als würde ein Freund sagen: „Diese zwei Songs klingen ähnlich“, aber sich weigern zu erklären, ob es an den Drums, der Stimme des Sängers oder dem Tempo liegt. Lange Zeit haben Wissenschaftler versucht, hinter den Vorhang zu blicken, indem sie Karten verwendeten, die helle Stellen in einem Bild hervorheben, aber diese Karten übersehen oft das große Ganze, wie zum Beispiel die spezifischen „Zutaten“ (wie Textur oder Form), die die Ähnlichkeit ausmachen.

Dieses Paper stellt eine neue, clevere Methode vor, um dieses Rätsel zu lösen. Die Autoren, Isaac Roberts und sein Team, haben ein System gebaut, das wie ein „Geschmacksdetektor“ für Bilder fungiert. Anstatt nur das Bild anzusehen, zerlegen sie den geheimen Code des Bildes in seine grundlegenden Bausteine, die sie „Konzepte“ nennen. Denken Sie an diese Konzepte als die einzelnen Noten in einem Akkord; eine Note könnte „Streifen“ sein, eine andere „Rot“ und eine weitere „rund“. Das Team verwendet ein spezielles Werkzeug (einen Sparse Autoencoder), um diese Noten automatisch zu finden, ohne dass ein Mensch ihnen beibringen muss, was sie sind. Sobald sie die Liste der Noten haben, spielen sie ein kleines Spiel: Sie nehmen eine bestimmte Note aus dem Code des Bildes heraus und schauen, wie stark der „Ähnlichkeitswert“ sinkt. Wenn das Entfernen der „Streifen“-Note zwei Hemden für den Computer völlig unterschiedlich aussehen lässt, dann waren die Streifen der Hauptgrund, warum sie sich ähnlich waren. Sie testeten dies an tausenden von Bildern und fanden heraus, dass ihre Methode viel zuverlässiger ist als ältere Wege des Ratens. Sie zeigten, dass sie durch das direkte Verändern des geheimen Codes genau erklären konnten, warum ein gestreiftes Hemd mit einem anderen gestreiften Hemd übereinstimmt, selbst wenn die Farben unterschiedlich sind. Sie nutzten dies sogar, um Gruppen von Bildern zu finden, die denselben Grund für ihre Ähnlichkeit teilen, was beweist, dass ihr „Geschmacksdetektor“ uns helfen kann, die verborgene Logik zu verstehen, wie Computer die Welt sehen.

Technische Zusammenfassung: Erklärung der Bildähnlichkeit mittels automatisch extrahierter Concept Activation Vectors

Problemstellung

Bildähnlichkeit ist eine grundlegende Komponente zahlreicher Anwendungen im Bereich Computer Vision, einschließlich Bildabruf, Gesichtserkennung und Modekompatibilität. Während Ähnlichkeit typischerweise in den latenten Einbettungsräumen vortrainierter tiefer Netzwerke gemessen wird, bleibt die Begründung für spezifische Ähnlichkeitswerte opak. Bestehende Methoden zur Erklärbarkeit (xAI), die primär für Klassifizierungsaufgaben mit einem einzelnen Input entwickelt wurden, haben Schwierigkeiten, globale Einblicke in Ähnlichkeitsfunktionen zu liefern, die inhärent zwei Inputs erfordern. Aktuelle Ansätze stützen sich oft auf gradientenbasierte Attributionskarten oder manuell definierte Attribute (z. B. „Streifen“ oder „Farbe“), um Salienzkarten zu generieren. Diese Methoden stehen vor zwei primären Einschränkungen:

Mangel an globalem Einblick: Sie scheitern oft daran zu erklären, was spezifisch die Ähnlichkeit über Regionen eines Einbettungsraums hinweg antreibt (z. B. Textur vs. Form).
Abhängigkeit von manuellen Definitionen: Sie erfordern häufig vordefinierte Konzeptdatenbanken oder gezielt gelabelte Datensätze, was ihre Anwendbarkeit auf neue Domänen oder Modelle einschränkt.
Distributionale Treue: Perturbationen im Rohpixelraum (z. B. Maskierung) führen die Inputs oft von der Daten-Manifold weg, was zu unzuverlässigen Erklärungen führt.

Methodik

Die Autoren schlagen ein modell- und metrikagnostisches Framework vor, das die Bildähnlichkeit mithend Concept Activation Vectors (CAVs) erklärt, die automatisch via Sparse Autoencoders (SAEs) extrahiert werden. Die Methodik besteht aus drei primären Schritten:

1. Sparse Dictionary Learning (Konzeptextraktion)

Gegeben sei ein Datensatz $\mathcal{X}$ und eine Einbettungsfunktion $g: \mathcal{X} \to \mathbb{R}^d$ , zerlegt die Autoren die Matrix der Aktivierungen $A$ in eine Gewichtmatrix $U$ und ein Konzept-Dictionary $V$ . Dies wird durch Minimierung der Frobenius-Norm erreicht:
$(U, V) = \arg \min_{U,V} \|A - UV^\top\|_F^2$
Dieser Prozess nutzt verschiedene SAE-Formulierungen (Top-K, JumpReLU und Vanilla SAE), um ein Dictionary von Konzepten ohne menschliche Kennzeichnung zu lernen. Jede Aktivierung wird als Linearkombination dieser gelernten Konzepte approximiert.

2. Latente Raum-Perturbation für paarweise Erklärung

Um die Ähnlichkeit zwischen zwei Bildern mit den Einbettungen $a_i$ und $a_j$ zu erklären, perturbiert die Methode die Einbettungen entlang der Richtungen der gelernten Konzepte. Die Wichtigkeit eines spezifischen Konzepts $c_k$ wird bestimmt, indem die Änderung der Ähnlichkeitsfunktion $f$ gemessen wird, wenn der Beitrag des Konzepts entfernt wird:
$e_l^k(a_i, a_j) = (f(a_i, a_j) - f(a_i/c_k, a_j)) + (f(a_i, a_j) - f(a_i, a_j/c_k))$
wobei $a_i/c_k = a_i - u_{i,k}v_k^\top$ . Dieser symmetrische Ansatz stellt sicher, dass die Erklärung die Beiträge von beiden Inputs berücksichtigt. Das Ergebnis ist ein lokaler Erklärungsvektor, der gemeinsame und distinkte Attribute charakterisiert.

3. Gruppenbasierte Erklärung und Exemplar-Retrieval

Das Framework lässt sich auf Gruppeneinstellungen erweitern, indem lokale Erklärungen über eine Gruppe $G$ gemittelt werden:
$e_G = \frac{1}{\binom{|G|}{2}} \sum_{i,j \in G, i<j} e_l(a_i, a_j)$
Dies ermöglicht die Analyse von Clustern im Einbettungsraum. Darüber hinaus führen die Autoren Exemplar Retrieval ein, eine Aufgabe, bei der gegeben ein Query-Referenz-Paar das System andere Bildpaare findet, die dieselben zugrunde liegenden Gründe für die Ähnlichkeit teilen (d. h. ähnliche Erklärungsvektoren anstatt nur ähnlicher visueller Gesamterscheinungswerte).

Kernbeiträge

Neuartiges Framework: Ein modell- und metrikagnostisches Erklärbarkeitsframework für Bildähnlichkeit basierend auf automatisch extrahierten CAVs, das paarweise und gruppenspezifische Analysen ohne vordefinierte Konzeptdatenbanken ermöglicht.
Ähnlichkeitsbasierte Attribution: Eine Methode zur Ableitung von Konzeptwichtigkeitsscores direkt aus der Ähnlichkeitsfunktion, die sowohl Lokalisierung (via Heatmaps) als auch die Quantifizierung des Konzept-Impacts bietet.
Truere Perturbationen: Experimentelle Belege, die zeigen, dass Perturbationen im latenten Raum treuer gegenüber der zugrunde liegenden Datenverteilung sind als Baselines im Pixelraum (z. B. Maskierung), was zu weniger Out-of-Distribution (OOD) Einbettungen führt.
Handlungsorientierte Erkenntnisse: Die Einführung von Exemplar Retrieval und Gruppenanalyse, die es Nutzern ermöglicht, Ähnlichkeitsurteile basierend auf semantischen Konzepten zu verstehen und zu manipulieren.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz auf dem VITON-HD (Mode) Datensatz und einem synthetischen Multi-CIFAR-10 Collage Datensatz unter Verwendung von sechs Vision-Backbones (DINOv2, DINOv3, ResNet50, ConvNeXt, ViT, SigLIP).

Konzeptverifikation: Auf dem synthetischen Datensatz konnte die Methode die Symmetrie der Ähnlichkeitsfunktion erfolgreich bewahren. Trainierte Dictionaries erreichten eine Annäherung von etwa 90 % der ursprünglichen Ähnlichkeitswerte nach Konzept-Swaps, wobei Top-K SAEs die geringste Abweichung zeigten.
Distributionale Treue: Latente Perturbationen erzielten konsistent niedrigere Wasserstein (W1) und OOD Scores im Vergleich zu Maskierungsstrategien im Eingaberaum (z. B. Unschärfe, Random Masking) über alle getesteten Modelle hinweg. Dies bestätigt, dass latente Perturbationen näher an der Daten-Manifold bleiben.
Lineare Rekuperierbarkeit: Ein auf den Erklärungsvektoren trainiertes lineares Regressionsmodell konnte die ursprünglichen Ähnlichkeitswerte mit hoher Genauigkeit vorhersagen ( $R^2 > 0,87$ für sowohl Cosine als auch Euclidean Metriken) und übertraf damit Baselines wie CSIM, Blur-basierte Vektoren und gradientenbasierte Attribution.
Qualitative Nützlichkeit: In Fallstudien identifizierte die Methode erfolgreich semantische Treiber der Ähnlichkeit (z. B. „Streifen“, „Ausschnitt“) und ermöglichte Exemplar Retrieval, das Bilder basierend auf geteilten Konzepten abruft (z. B. das Abrufen von gestreiften Hemden für eine gestreifte Hemd-Query anstatt nur visuelle Ähnlichkeit).

Bedeutung und Ansprüche

Das Paper behauptet, dass sein Ansatz ein treueres und interpretierbareres Verständnis der Bildähnlichkeit bietet als bestehende Methoden. Durch die Arbeit im latenten Raum vermeidet die Methode die Fallstricke von Pixelraum-Perturbationen, die oft unrealistische Bilder erzeugen. Die Autoren betonen, dass ihr Framework automatisiert ist, keine manuelle Konzeptdefinition erfordert und flexibel anwendbar auf jedes vortrainierte Modell und jede Ähnlichkeitsmetrik ist.

Die Bedeutung liegt in der Fähigkeit, über das „Wo“ (Salienz), worauf ein Modell fokussiert, hinaus zu dem „Was“ (semantische Merkmale), welches die Ähnlichkeit antreibt. Die Autoren positionieren ihre Arbeit als Schritt hin zu handlungsorientierten Erkenntnissen, die es Designern ermöglichen, unerwünschte Ähnlichkeitsfaktoren (z. B. Hintergrundartefakte) zu identifizieren und potenziell zu mildern, sowie fortgeschrittene Retrieval-Aufgaben zu ermöglichen, die auf spezifischen semantischen Gründen konditioniert sind. Die Autoren merken jedoch bescheiden an, dass ihr Ansatz eine lineare Rekonstruktion des Einbettungsraums via CAVs voraussetzt, was eine First-Order-Approximation darstellt, und dass die Stabilität von SAEs weiterhin ein Aspekt bleibt.