💻 computer science

A Distributional View for Visual Mechanistic Interpretability: KL-Minimal Soft-Constraint Principle

Dieser Artikel schlägt eine distributionale Sichtweise für die visuelle mechanistische Interpretierbarkeit vor, die die Aufgabe als ein KL-minimales Optimierungsproblem formuliert, um statistische Verzerrungen in bestehenden Paradigmen aufzulösen, und führt ein KL-minimales Weich-Constraint-Prinzip ein, das durch energiegeleitetes Diffusions-Posterior-Sampling realisiert wird, um ein theoretisches Gleichgewicht zwischen Interpretierbarkeit und Treue zu erreichen.

Ursprüngliche Autoren: Guancheng Zhou, Yisi Luo, Zhengfu He, Zhenyu Jin, Xuyang Ge, Wentao Shu, Deyu Meng, Xipeng Qiu

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guancheng Zhou, Yisi Luo, Zhengfu He, Zhenyu Jin, Xuyang Ge, Wentao Shu, Deyu Meng, Xipeng Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine superintelligente KI, die Fotos betrachtet und versteht, was darauf zu sehen ist. Doch für uns ist diese KI eine „Blackbox". Wir können das Bild sehen, das sie verarbeitet, und wir können die endgültige Antwort sehen, die sie gibt, aber die Millionen winziger Zahnräder und Schalter im Inneren (die Neuronen) sind ein Rätsel. Wir wollen wissen: Worüber denkt dieser spezifische kleine Schalter eigentlich nach?

Dieser Artikel schlägt eine neue Methode vor, um in diese Blackbox zu spähen, speziell für visuelle Modelle. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien.

Das Problem: Die Ansätze des „schlechten Detektivs"

Derzeit versuchen Forscher, diese KI-Schalter mit zwei Hauptmethoden zu verstehen, die beide Mängel aufweisen:

Die „Schnitzeljagd" (Datensatz-Suche): Sie durchsuchen eine riesige Bibliothek bestehender Fotos, um diejenigen zu finden, die den Schalter am lautesten zum „Klingeln" bringen.
- Der Mangel: Es ist so, als würde man versuchen, einen „Hund"-Detektor zu verstehen, indem man nur die 100 besten Hundebilder in einer Bibliothek betrachtet. Man könnte die seltsamen, einzigartigen Hunde verpassen oder man findet nur ein paar glückliche Bilder, die zufällig wie Hunde aussehen, aber nicht wirklich das sind, worüber die KI „nachdenkt". Sie ist durch das, was bereits in der Bibliothek ist, begrenzt.
Die „Traumweber" (Optimierung): Sie beginnen mit einem leeren, statischen Bildschirm und manipulieren die Pixel mathematisch, bis der Schalter so laut wie möglich „klingelt".
- Der Mangel: Dies erzeugt oft „Super-Reize" – Bilder, die für die KI mathematisch perfekt sind, aber für Menschen wie fremdartiges Rauschen oder seltsame Muster aussehen. Es ist so, als würde man ein Radio so lange abstimmen, bis man einen Ton hört, der so laut ist, dass es die Ohren schmerzt, aber der Ton ist nur reines Rauschen, kein Lied. Die KI ist zufrieden, aber Menschen können es nicht verstehen.

Die neue Idee: Die „Verteilungsperspektive"

Die Autoren schlagen vor, aufhören, einzelne Bilder zu betrachten, und stattdessen über Verteilungen (oder „Wolken" von Möglichkeiten) nachzudenken.

Stellen Sie sich das Verständnis der Welt durch die KI als eine riesige, unscharfe Wolke aus „natürlichen Bildern" (Fotos von echten Katzen, Hunden, Bäumen usw.) vor. Wenn ein bestimmter Schalter innerhalb der KI aktiviert wird, wählt er nicht einfach ein Foto aus; er formt diese gesamte Wolke neu. Er sagt: „Okay, innerhalb dieser Wolke aller möglichen Bilder konzentriere ich mich nun auf den Teil, der wie dieses spezifische Merkmal aussieht."

Das Ziel ist es, eine neue Wolke von Bildern zu finden, die:

Treue ist: Sie aktiviert den Schalter wirklich stark.
Interpretierbar ist: Sie sieht immer noch wie eine Wolke natürlicher, realer Fotos aus, nicht wie fremdartiges Rauschen.

Die Lösung: Das Prinzip der „weichen Einschränkung"

Die Autoren führen ein Prinzip namens KL-minimale weiche Einschränkung ein.

Der alte Weg (harte Einschränkung): Stellen Sie sich einen Türsteher in einem Club vor, der sagt: „Wenn dein Score nicht exakt über 90 liegt, bist du draußen." Dies schneidet den unteren Teil der Wolke abrupt ab. Es entsteht eine scharfe Kante, an der die Bilder plötzlich aufhören, Sinn zu ergeben.
Der neue Weg (weiche Einschränkung): Stellen Sie sich einen Türsteher vor, der sagt: „Wir wollen Menschen mit hohen Scores, aber lassen Sie uns die ganze Menge sanft in Richtung des VIP-Bereichs schieben, anstatt alle anderen rauszuwerfen." Dies hält die Menge (die Verteilung) glatt und natürlich, nur leicht in Richtung des Merkmals verschoben, das der KI wichtig ist.

Diese „weiche Einschränkung" stellt sicher, dass die generierten Bilder immer noch als echte Fotos erkennbar sind (interpretierbar), während sie gleichzeitig beweisen, dass sie den Schalter der KI auslösen (treu).

Das Werkzeug: Energie-gesteuerte Diffusion (EnergyDPS)

Um diese Bilder tatsächlich zu erstellen, verwenden sie ein Werkzeug namens EnergyDPS.

Stellen Sie sich ein Diffusionsmodell als einen Meistermaler vor, der weiß, wie man jede realistische Szene von Grund auf neu malt. Normalerweise arbeitet dieser Maler allein.

Die Innovation: Die Autoren geben dem Maler einen „magnetischen Führer" (die Energie-Funktion). Dieser Führer ist der KI-Schalter, den sie verstehen wollen.
Wie es funktioniert: Während der Maler beginnt, ein zufälliges Bild zu skizzieren, zieht der Führer die Pinselstriche sanft in Richtung von Mustern, die den KI-Schalter zufriedenstellen.
Das Ergebnis: Der Maler erstellt ein schönes, realistisches Bild, das natürlich das Merkmal enthält, nach dem die KI sucht, ohne dass es nötig ist, es mit seltsamen Textaufforderungen zu erzwingen oder durch Millionen bestehender Fotos zu scannen.

Warum dies wichtig ist

Der Artikel testete dies an einem modernen visuellen Modell (DINOv3). Sie stellten fest, dass:

Alte Methoden oft Bilder produzierten, die entweder zu seltsam waren, um sie zu verstehen, oder die das wahre Denken der KI nicht wirklich darstellten.
Ihre neue Methode Bilder produzierte, die Menschen leicht erkennen konnten (wie „Herzformen" oder „Flügelmuster") und die die KI bestätigte, als hochrelevant zu sein.

Kurz gesagt: Anstatt die KI zu zwingen, uns ihre Hand mit einer starren Regel oder einer chaotischen Suche zu zeigen, führen sie einen generativen Künstler sanft an, genau das zu malen, worüber die KI nachdenkt, wobei das Ergebnis wie ein natürliches, reales Foto aussieht. Dies gibt uns ein klareres, ehrlicheres Fenster in das „Gehirn" der KI.

Technische Zusammenfassung: Eine distributionelle Sichtweise für die visuelle mechanistische Interpretierbarkeit

1. Problemstellung

Die aktuellen Paradigmen in der visuellen mechanistischen Interpretierbarkeit (MI) haben Schwierigkeiten, Treue (die genaue Wiedergabe, wie ein Modell spezifische Merkmale aktiviert) und Interpretierbarkeit (die Erzeugung für Menschen verständlicher Visualisierungen) in Einklang zu bringen. Bestehende Methoden verlassen sich typischerweise auf heuristische Ansätze, die einem fundamentalen Zielkonflikt unterliegen:

Datensatz-Suche: Sucht nach Beispielen mit hoher Aktivierung in endlichen Datensätzen. Obwohl dies visuell plausibel ist, leidet dieser Ansatz unter Verzerrungen an den Grenzen und Instabilität der Schwellenwerte, wodurch er oft versagt, die vollständige Verteilung der Semantik eines Merkmals zu erfassen.
Optimierung mit Regularisierung (Aktivierungsmaximierung): Synthetisiert Eingaben, um die Merkmalsaktivierung zu maximieren. Obwohl diese Methoden der Aktivierungsbewertung sehr treu sind, erzeugen sie oft „Super-Reize" oder hochfrequente Artefakte, die erheblich von der natürlichen Bildverteilung abweichen und sie visuell uninterpretierbar machen.
Proxy-gesteuerte Generierung (z. B. promptbasierte Diffusion): Nutzt Text-Prompts, um Diffusionsmodelle zu steuern. Dies führt zu einem Informationsengpass und einer semantischen Lücke, da Text-Prompts feinkörnige, nicht-verbale oder polysemantische interne Merkmale (z. B. SAE-Merkmale) nicht vollständig erfassen können.

Das Kernproblem besteht darin, dass diese Methoden die Merkmalsinterpretation als eine auf einzelnen Stichproben basierende Mustererkennungsaufgabe und nicht als ein distributionelles Inferenzproblem behandeln, was zu Erklärungen führt, die entweder mechanistisch untreu oder visuell uninterpretierbar sind.

2. Methodik

2.1. Die distributionelle Sichtweise

Die Autoren schlagen vor, die visuelle MI als ein Kullback-Leibler (KL)-minimales Optimierungsproblem neu zu rahmen. Anstatt ein einzelnes „bestes" Bild zu finden, besteht das Ziel darin, eine induzierte Verteilung $q$ zu identifizieren, die zwei konkurrierende Ziele erfüllt:

Treue: $q$ muss sich auf Eingaben konzentrieren, die den intrinsischen Score $s(x)$ (z. B. eine SAE-Merkmalsaktivierung) stark aktivieren.
Interpretierbarkeit: $q$ muss nahe an der natürlichen Bildprior $p(x)$ bleiben, um die menschliche Wahrnehmbarkeit sicherzustellen.

Diese Sichtweise zerlegt MI-Paradigmen in drei orthogonale Dimensionen:

Untersuchungsobjekt: Was wird interpretiert (z. B. Neuronen vs. SAE-Merkmale).
Formulierung der Einschränkung: Wie wird Treue erzwungen (harte vs. weiche Einschränkungen).
Stichprobenmethode: Wie wird die induzierte Verteilung realisiert (Abruf, Optimierung oder Diffusion).

2.2. Das KL-minimale weiche Einschränkung (KLSC)-Prinzip

Um die Verzerrungen früherer Methoden zu beheben, führt die Arbeit das KLSC-Prinzip ein. Im Gegensatz zu Methoden mit harten Einschränkungen (die die Verteilung bei einem Schwellenwert $m$ abschneiden, d. h. $s(x) > m$ ), verwendet KLSC eine weiche Einschränkung, die verlangt, dass der erwartete Aktivierungswert ein Zielniveau erreicht: $\mathbb{E}_{q}[s(X)] \geq m$ .

Theoretisch ist die eindeutige Lösung zur Minimierung von $KL(q \| p)$ unter dieser weichen Einschränkung eine exponentiell geneigte Verteilung:
$q_{\beta}(x) \propto p(x) \exp(\beta s(x))$
wobei $\beta$ ein Lagrange-Multiplikator ist, der die Stärke der Steuerung kontrolliert.

Theoretische Vorteile von KLSC gegenüber harten Einschränkungen:

Reduzierte Randverzerrung: Harte Einschränkungen konzentrieren die Wahrscheinlichkeitsmasse in einer dünnen Schale nahe dem Schwellenwert (der „gerade noch aktivierten" Region), während KLSC die Masse glatter verteilt und die Empfindlichkeit gegenüber kleinen Schwellenwertänderungen verringert.
Schwellenwertstabilität: Harte Einschränkungen induzieren diskontinuierliche Sprünge in der KL-Divergenz und der Total-Variations-(TV-)Distanz, wenn der Schwellenwert gestört wird. KLSC bildet eine glatte exponentielle Familie und gewährleistet lokale Stetigkeit.
Interpretierbarkeitslücke: Selbst bei angepasster erwarteter Treue minimiert die KLSC-Lösung die Abweichung von der natürlichen Bildprior $p$ effektiver als hart abgeschnittene Lösungen.

2.3. Vermeidung von Task-Injektion und Proxy-Engpässen

Die Arbeit argumentiert gegen das Einbringen externer Task-Ziele (z. B. Klassifizierungslabels oder Text-Prompts) in den Interpretationsprozess.

Objekt-Drift: Das Einbringen eines Task-Scores $f_c(x)$ (z. B. CLIP-Ausrichtung) verzerrt die intrinsische induzierte Verteilung. Die Arbeit beweist, dass das Erreichen einer Task-Anforderung einen strikt positiven KL-Kosten verursacht, was zu Erklärungen führt, die den Task widerspiegeln und nicht den intrinsischen Mechanismus.
Prompt-Engpass: Proxy-gesteuerte Methoden beschränken den Suchraum auf eine prompt-parametrisierte Familie $Q_{prompt}$ . Die Arbeit zeigt, dass diese Familie oft keine feinkörnigen oder polysemantischen Merkmale darstellen kann, was zu untreuen Stichproben führt.

2.4. Energy-Guided Diffusion Posterior Sampling (EnergyDPS)

Um das KLSC-Prinzip praktisch umzusetzen, schlagen die Autoren EnergyDPS vor.

Mechanismus: Es behandelt den intrinsischen Score $s(x)$ (z. B. SAE-Merkmalsaktivierung) als Energiefunktion.
Prozess: Es nutzt Diffusion Posterior Sampling (DPS). Anstatt einen Text-Prompt zu optimieren, injiziert EnergyDPS den Gradienten des intrinsischen Scores, $\nabla_x s(\hat{x}_0)$ , direkt in den inversen Diffusionsprozess bei jedem Schritt.
Vorteil: Dies ermöglicht das direkte Sampling aus der KLSC-induzierten Verteilung ohne den Informationsverlust, der mit Text-Prompts verbunden ist, oder die mode-suchende Verzerrung der punktweisen Optimierung. Es ist training-frei und auf jeden differenzierbaren intrinsischen Score anwendbar.

3. Hauptbeiträge

Distributionelle Sichtweise für visuelle MI: Die Arbeit etabliert einen theoretischen Rahmen, der die Merkmalsinterpretation als KL-minimales distributionelles Inferenzproblem modelliert und systematische statistische Verzerrungen (Randverzerrung, Schwellenwertinstabilität und Interpretierbarkeitslücken) in bestehenden Paradigmen identifiziert.
KL-minimales weiches Einschränkung (KLSC)-Prinzip: Eine neue Formulierung von Einschränkungen, die theoretisch Treue und Interpretierbarkeit in Einklang bringt, indem sie die Verteilung sucht, die der natürlichen Prior am nächsten kommt, während eine erwartete Aktivierungsbedingung erfüllt wird.
EnergyDPS-Algorithmus: Ein praktischer, training-freier Sampler, der das KLSC-Prinzip unter Verwendung von Diffusionsmodellen realisiert. Er vermeidet die Informationsengpässe promptbasierter Methoden und die Artefakte optimierungsbasierter Methoden.
Vereinheitlichte Taxonomie: Eine systematische Kategorisierung visueller MI-Methoden basierend auf ihrem Untersuchungsobjekt, ihrer Formulierung von Einschränkungen und ihrer Stichprobenmethode, die klärt, warum frühere Methoden versagen, sowohl Treue als auch Interpretierbarkeit gleichzeitig zu erreichen.

4. Experimentelle Ergebnisse

Die Autoren bewerteten EnergyDPS an DINOv3 ResNeXt Large-Merkmals mit einem Transcoder (einer SAE-Variante).

Quantitative Metriken:
- Treue: EnergyDPS erreichte bei Kalibrierung Aktivierungsniveaus, die mit den Baselines (MACO, DiffExplainer) vergleichbar waren.
- Interpretierbarkeit: EnergyDPS schnitt bei QualiCLIP (visuelle Interpretierbarkeit) und NRQM (No-Reference-Qualitätsmetrik) deutlich besser ab als die Baselines. Beispielsweise erreichte EnergyDPS bei zufälligen Merkmalen einen QualiCLIP-Score von 0,5791 im Vergleich zu 0,4228 für MACO und 0,3259 für DiffExplainer.
Verblindete Interpretierbarkeitsstudie:
- Menschliche und KI-Bewerter (GPT-5.4, Gemini-3-flash-lite) bewerteten Sätze generierter Bilder auf gemeinsame semantische Konzepte.
- EnergyDPS erhielt die höchsten Interpretierbarkeitswerte (z. B. 2,92 von Menschen vs. 1,92 für MACO) und die niedrigste gewichtete Varianz in semantischen Beschreibungen, was auf konsistentere und klarere gemeinsame Konzepte hindeutet.
Toy-Modell-Validierung:
- Experimente an einem 2D-Gaußschen Mischmodell (GMM) bestätigten theoretische Vorhersagen: Harte Einschränkungen zeigten im Vergleich zum glatten KLSC-Pfad eine höhere Randmasse und TV-Instabilität.
Ablationsstudien:
- Schicht-Robustheit: EnergyDPS blieb über verschiedene Netzwerkschichten hinweg effektiv.
- Prior-Abhängigkeit: Die Verwendung eines verzerrten Priors (FFHQ-Gesichter) verschlechterte die Ergebnisse, was die Bedeutung eines natürlichen Bildpriors bestätigt, der mit der Trainingsverteilung des Modells übereinstimmt.
- Objekt-Drift: Experimente zeigten, dass das Hinzufügen von Task-Injektion (CLIP-Prompts oder pixelweise Referenzen) zu signifikanten semantischen Verschiebungen führte, selbst wenn die intrinsische Aktivierung angepasst war, was die Notwendigkeit rein intrinsischer Ziele validiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ihr primärer Beitrag ein fundamentaler Perspektivwechsel von der heuristischen Visualisierung zur distributionellen Inferenz ist.

Theoretische Fundierung: Die Autoren argumentieren, dass frühere Misserfolge in der visuellen MI auf strukturelle Verzerrungen in der Formulierung von Einschränkungen (hart vs. weich) und beim Sampling (Abruf/Optimierung vs. distributionelles Sampling) zurückzuführen sind. Das KLSC-Prinzip bietet eine rigorose mathematische Grundlage für den Ausgleich von Treue und Interpretierbarkeit.
Praktische Wirksamkeit: EnergyDPS zeigt, dass es möglich ist, Visualisierungen zu erzeugen, die sowohl hochgradig treu zu den internen Mechanismen des Modells als auch visuell natürlich sind und die State-of-the-Art-Methoden bei DINOv3-Merkmalen übertreffen.
Limitationen: Die Autoren geben bescheiden zu, dass natürliche Bilder zwar einen minimal verlustbehafteten Referenzraum bieten, aber möglicherweise nicht alle für Menschen verständlichen Konzepte vollständig erfassen (z. B. nicht-natürliche, aber für das Modell relevante Beweise). Darüber hinaus verursacht EnergyDPS aufgrund des Diffusions-Sampling-Prozesses Rechenkosten, was es langsamer macht als optimierungsbasierte Baselines.

Zusammenfassend geht die Arbeit davon aus, dass das Verständnis visueller Merkmale erfordert, wie diese die natürliche Bildverteilung umgestalten, und dass das KLSC-Prinzip in Kombination mit EnergyDPS eine theoretisch fundierte und praktisch wirksame Lösung für diese Herausforderung bietet.