💻 computer science

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

Die Arbeit stellt SITH vor, ein daten- und trainingsfreies Framework, das durch Singulärwertzerlegung und einen neuen COMP-Algorithmus die Aufmerksamkeitsköpfe von CLIP direkt im Gewichtsraum in interpretierbare Konzepte zerlegt, um präzise Modell-Edits und ein tieferes Verständnis von Anpassungsmechanismen zu ermöglichen.

Ursprüngliche Autoren: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Veröffentlicht 2026-03-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen riesigen, hochintelligenten Roboter-Künstler namens CLIP. Dieser Roboter kann Bilder sehen und verstehen, was sie bedeuten, und er kann diese Bilder auch mit Text beschreiben. Er ist unglaublich gut darin, aber er ist wie eine „Black Box": Wir sehen das Ergebnis (z. B. „Das ist ein Hund"), aber wir wissen nicht genau, wie er im Inneren denkt.

Bisher haben Wissenschaftler versucht, in diesen Roboter zu schauen, indem sie ihn mit Tausenden von Bildern gefüttert haben und beobachtet haben, welche Teile seines Gehirns dabei leuchteten (die sogenannten „Aktivierungen"). Das Problem dabei: Es ist wie ein Koch, der nur Rezepte auswendig lernt, weil er oft das gleiche Gericht kocht. Wenn man ihm ein neues Gericht gibt, weiß er vielleicht nicht, warum er es so zubereitet hat. Außerdem hängt alles davon ab, welche Bilder man ihm zeigt – wenn die Bilder voreingenommen sind, ist auch das Verständnis des Roboters voreingenommen.

Die Autoren dieses Papers haben eine völlig neue Methode namens SITH entwickelt. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Analogien:

1. Der neue Ansatz: Nicht das Feuer beobachten, sondern den Ofen zerlegen

Statt zu schauen, was passiert, wenn der Roboter ein Bild sieht (Aktivierung), schauen sie sich direkt die Baupläne des Roboters an (die Gewichte/Weights).

Stell dir den Roboter vor wie ein riesiges Bürogebäude mit vielen Abteilungen (den „Attention Heads"). Jede Abteilung hat einen Chef, der entscheidet, welche Informationen weitergegeben werden.

Die alte Methode: Man stellt sich vor die Tür und schaut zu, welche Mitarbeiter wann hereinkommen und was sie tragen.
Die SITH-Methode: Man geht direkt in das Büro, nimmt den Chef heraus und analysiert sein Notizbuch, in dem steht, welche Art von Informationen er überhaupt speichern und weiterleiten kann.

2. Die Entschlüsselung: Das „SITH"-Werkzeug

Der Roboter hat in jedem dieser Büros riesige Listen mit Zahlen (Matrizen), die niemand versteht. SITH nimmt diese Listen und zerlegt sie mit einer mathematischen Schere (einer sogenannten Singulärwertzerlegung).

Die Analogie: Stell dir vor, du hast einen dicken, bunten Wollknäuel, das ist die Liste des Chefs. SITH schneidet den Knäuel in einzelne, klare Fäden auf. Jeder Faden repräsentiert eine ganz bestimmte Richtung, in die der Chef Informationen senden kann.
Ein Faden könnte bedeuten: „Ich sende nur Informationen über Rot weiter."
Ein anderer Faden: „Ich sende nur Informationen über Hunde weiter."
Ein dritter: „Ich sende Informationen über Strände weiter."

3. Das Verstehen: Der „COMP"-Übersetzer

Jetzt haben wir diese Fäden, aber sie sind immer noch nur Zahlen. Wie wissen wir, was „Faden 42" bedeutet?
Hier kommt COMP ins Spiel. Das ist wie ein super-intelligenter Dolmetscher, der diese Zahlen-Fäden mit einer riesigen Bibliothek von menschlichen Begriffen (Wörtern wie „Hund", „Rot", „Strand") vergleicht.

Das Problem: Manchmal passt ein Faden nicht perfekt auf ein Wort. Vielleicht ist es eine Mischung aus „Roter Apfel" und „Grüner Apfel".
Die Lösung von COMP: Anstatt nur das eine beste Wort zu wählen, sucht COMP nach einer kleinen, logischen Gruppe von Wörtern, die zusammen den Faden perfekt beschreiben.
- Beispiel: Statt nur „Farbe" zu sagen, sagt COMP: „Dieser Faden bedeutet: Pink-Rot, Rotes Telefon, Scharlachrot." Das ist viel präziser und macht mehr Sinn!

4. Warum ist das so cool? (Die Vorteile)

A. Kein Training nötig (Data-Free)
Du musst dem Roboter keine neuen Bilder zeigen. Du musst ihn nicht neu programmieren. Du nimmst einfach die Baupläne (die Gewichte), die er schon hat, und analysierst sie. Das spart Zeit, Geld und Energie.

B. Präzise Chirurgie statt Hammer
Früher, wenn man wollte, dass der Roboter keine „Hintergrund-Bilder" mehr beachtet (z. B. wenn er Vögel erkennt, aber nur, weil sie am Strand sind, und nicht wegen ihrer Federn), musste man ganze Abteilungen im Gehirn des Roboters ausschalten. Das war wie ein Hammer, der alles kaputt macht.
Mit SITH kann man einen einzigen Faden (einen spezifischen Begriff) herauspicken und leiser drehen oder ganz ausschalten.

Analogie: Statt das ganze Licht im Haus auszuschalten, weil ein Zimmer zu hell ist, dimmt man nur genau die eine Lampe, die stört. Der Rest des Hauses funktioniert perfekt weiter.

C. Sicherheit und Anpassung

Sicherheit: Man kann die Fäden finden, die mit „gefährlichen" oder unangemessenen Inhalten zu tun haben, und sie einfach entfernen. Der Roboter wird sicherer, ohne dass man ihn neu trainieren muss.
Lernen: Wenn man den Roboter auf eine neue Aufgabe trainiert (z. B. nur Blumen zu erkennen), zeigt SITH, dass der Roboter nicht sein ganzes Gehirn umbaut. Er dreht nur die Lautstärke bei den Fäden hoch, die für Blumen wichtig sind, und lässt den Rest so, wie er ist.

Zusammenfassung

SITH ist wie ein Röntgenbild für das Gehirn eines KI-Modells.
Anstatt zu raten, was der Roboter denkt, indem man ihm Bilder zeigt, schauen wir direkt in seine Baupläne, schneiden die Informationen in ihre kleinsten, verständlichen Teile (Fäden) und geben ihnen menschliche Namen. Damit können wir den Roboter präzise, sicher und ohne ihn neu zu programmieren verbessern.

Es ist der Unterschied zwischen:

„Ich hoffe, er macht das Richtige, wenn ich ihm Bilder zeige." (Die alte Methode)
„Ich habe den Schalter gefunden, der für 'Hunde' zuständig ist, und kann ihn jetzt genau so einstellen, wie ich will." (Die SITH-Methode).

Problemstellung

Mit dem zunehmenden Einsatz von Vision-Language-Modellen (VLMs) wie CLIP wird das Verständnis ihrer internen Mechanismen kritisch. Bestehende Methoden zur Interpretierbarkeit (Interpretability) stützen sich überwiegend auf Aktivierungen (Activations), die durch das Durchlaufen großer Datensätze (z. B. ImageNet) gewonnen werden. Dies führt zu drei Hauptproblemen:

Datensatzabhängigkeit: Die Interpretationen sind verzerrt durch die Bias des verwendeten Datensatzes.
Grobe Granularität: Methoden wie TextSpan liefern oft nur Erklärungen auf Ebene ganzer Attention-Heads (z. B. „dieser Kopf erkennt Farben"), ohne zu differenzieren, welche spezifischen internen Merkmale innerhalb des Heads welche Konzepte kodieren.
Ressourcenaufwand: Die Notwendigkeit von Trainingsdaten oder Aktivierungssammlungen schränkt die Anwendbarkeit ein.

Das Ziel ist es, eine datenfreie, trainingsfreie Methode zu entwickeln, die die semantischen Funktionen der Attention-Heads direkt aus den Gewichten ableitet und dabei eine feinere Granularität (auf Ebene einzelner Vektoren) erreicht.

Methodik: SITH und COMP

Die Autoren stellen SITH (Semantic Inspection of Transformer Heads) vor, ein Framework, das die Gewichte der Vision-Transformer-Heads in CLIP analysiert, ohne auf Eingabedaten zurückzugreifen. Der Prozess gliedert sich in drei Schritte:

Isolierung der Value-Output (VO) Matrix:
Anstatt die Aktivierungen zu betrachten, isoliert SITH die Value-Output-Gewichtsmatrix ( $W_{VO}$ ) eines jeden Attention-Heads. Diese Matrix bestimmt, welche Informationen in den Residual-Stream geschrieben werden. Da $W_{VO}$ eine lineare Transformation ist, repräsentiert sie die dominanten Richtungen der Informationsverarbeitung des Heads.
Singular Value Decomposition (SVD):
Die $W_{VO}$ -Matrix wird mittels SVD faktorisiert ( $W_{VO} = U\Sigma V^T$ ). Dies zerlegt die Matrix in singuläre Vektoren (links $U$ für Eingaberichtungen, rechts $V$ für Ausgaberichtungen) und zugehörige Singulärwerte. Jeder singuläre Vektor entspricht einer dominanten semantischen Richtung, die der Head verarbeiten kann.
Semantische Interpretation durch COMP:
Um diese abstrakten Vektoren in menschlich verständliche Konzepte zu übersetzen, wird ein neuer Algorithmus namens COMP (Coherent Orthogonal Matching Pursuit) eingeführt.
- Problem: Eine einfache Suche nach den ähnlichsten Konzepten (Top-k) oder ein standardmäßiges Orthogonal Matching Pursuit (NNOMP) führt oft zu inkohärenten oder unvollständigen Erklärungen.
- Lösung: COMP formuliert die Interpretation als ein spärliches, nicht-negatives Optimierungsproblem. Es sucht eine Linearkombination von Konzepten aus einem Pool (z. B. ConceptNet 5.5), die den singulären Vektor rekonstruiert.
- Kohärenz-Regularisierung: Ein entscheidendes Merkmal von COMP ist eine zusätzliche „Kohärenz"-Komponente in der Bewertungsfunktion. Diese bestraft die Auswahl von Konzepten, die semantisch nicht mit den bereits ausgewählten Konzepten übereinstimmen. Das Ergebnis ist eine sparse, aber semantisch kohärente Menge von Konzepten (z. B. statt nur „rot" und „Hund" liefert COMP „rote Farbe" und „roter Hund").

Wichtige Beiträge

Datenfreie und trainingsfreie Interpretierbarkeit: SITH benötigt keine Bilddaten und kein Fine-Tuning. Die Analyse erfolgt rein im Gewichtsraum.
Feingranulare Erklärung (Intra-Head): Im Gegensatz zu Head-level-Analysen zerlegt SITH jeden Head in seine singulären Vektoren. Dies erlaubt es, spezifische Subräume innerhalb eines Heads zu identifizieren (z. B. ein Vektor für „grüne Farbe" und ein anderer für „grüne Pflanzen" im selben Kopf).
Neuer Algorithmus (COMP): Die Einführung von COMP als kohärenz-geregelter Sparse-Coding-Algorithmus, der eine bessere Balance zwischen Rekonstruktionsgenauigkeit (Fidelity) und menschlicher Interpretierbarkeit findet als bestehende Methoden.
Datenfreie Modell-Editierung: Da die Konzepte direkt aus den Gewichten bekannt sind, können Singulärwerte gezielt manipuliert werden, um das Modellverhalten zu ändern, ohne das Modell neu zu trainieren.

Ergebnisse und Evaluation

Die Autoren validieren SITH durch umfangreiche Experimente:

Interpretierbarkeit vs. Treue (Fidelity):
- COMP erreicht einen optimalen Kompromiss zwischen der Fähigkeit, den ursprünglichen Vektor genau zu rekonstruieren, und der semantischen Kohärenz der Erklärung.
- Im Vergleich zu TextSpan (Head-Level) und NNOMP (Top-k) liefert COMP deutlich kohärentere und dennoch treue Erklärungen.
- Die Rekonstruktion der singulären Vektoren führt zu vernachlässigbaren Verlusten in der Zero-Shot-Klassifikationsgenauigkeit auf Benchmarks wie ImageNet, Flowers 102 und Oxford Pets.
Visuelle Grounding:
- Bilder, die am ähnlichsten zu den rekonstruierten singulären Vektoren sind, stimmen stark mit den von COMP generierten Textbeschreibungen überein (z. B. Vektoren für „Wasser" zeigen tatsächlich Bilder von Wasser).
Modell-Editierung (Interventionen):
- Unterdrückung spurioser Korrelationen: Auf dem Waterbirds-Dataset (Vögel auf falschen Hintergründen) konnte die Genauigkeit für die schlechtesten Gruppen (Worst-Group) signifikant verbessert werden, indem singuläre Vektoren, die Hintergrundmerkmale kodieren, einfach auf Null gesetzt wurden. Dies übertraf TextSpan-basierte Ansätze.
- Sicherheit (NSFW): Unerwünschte Konzepte (z. B. Nacktheit, Gewalt) konnten identifiziert und unterdrückt werden, was die Retrieval-Sicherheit verbesserte, ohne das Training neu durchzuführen.
- Leistungssteigerung: Durch das Verstärken (Amplifying) von singulären Werten, die für eine spezifische Aufgabe relevant sind (z. B. Blütenmerkmale bei Flowers 102), konnte die Klassifikationsleistung ohne Labels verbessert werden.
Analyse von Modell-Adaptation (Fine-Tuning):
- Die Studie zeigt, dass Fine-Tuning die semantische Basis der Gewichte nicht grundlegend verändert, sondern eher eine subtile Neuausrichtung (Re-weighting) der bestehenden singulären Vektoren bewirkt. Die Änderungen sind semantisch mit dem Fine-Tuning-Ziel ausgerichtet (z. B. Verschiebung hin zu „Hunderassen" bei Pet-Datasets).

Bedeutung und Ausblick

Die Arbeit stellt einen Paradigmenwechsel in der mechanistischen Interpretierbarkeit dar, indem sie von der Analyse von Aktivierungen (die datenabhängig und oft verrauscht sind) zur direkten Analyse von Gewichten übergeht.

Robustheit: Da keine Trainingsdaten benötigt werden, sind die Ergebnisse frei von Datensatz-Bias.
Präzision: Die Fähigkeit, einzelne semantische Subräume innerhalb eines Attention-Heads zu isolieren und zu manipulieren, ermöglicht präzise Eingriffe in das Modellverhalten.
Effizienz: Die Möglichkeit, Modelle ohne rechenintensives Training zu editieren (z. B. zur Entfernung von Bias oder zur Sicherheitsverbesserung), ist für den praktischen Einsatz von VLMs von großer Bedeutung.

Zukünftige Arbeiten sollen diese Methoden auf andere Komponenten von VLMs (wie FFN-Schichten) und auf Query-Key-Matrizen ausweiten, um ein noch vollständigeres Bild der neuronalen Schaltkreise zu erhalten.