🤖 machine learning

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models

Dieser Beitrag stellt residualisierte zeitlich sparse Autoencoder vor, ein neuartiges Framework, das Aktivierungstrajektorien von Diffusionsmodellen in einen Anfangszustand und linear nicht vorhersagbare Residuen zerlegt, um die Entdeckung und Analyse von sparse, zeitlich strukturierten interpretierbaren Merkmalen zu ermöglichen.

Ursprüngliche Autoren: Calvin Yeung, Prathyush Poduval, Ali Zakeri, Zhuowen Zou, Mohsen Imani

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Calvin Yeung, Prathyush Poduval, Ali Zakeri, Zhuowen Zou, Mohsen Imani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einen Film ansehen, nicht ein Standbild

Stellen Sie sich eine Text-zu-Bild-KI (wie Stable Diffusion) nicht als Maschine vor, die sofort ein Foto macht, sondern als einen Künstler, der langsam ein Bild auf einer Leinwand malt. Es beginnt mit einer leeren Leinwand, die mit statischem Rauschen bedeckt ist (wie TV-Schnee), und entfernt Schritt für Schritt das Rauschen, um das Bild freizulegen.

Die meisten Menschen betrachten die Hand des Künstlers nur zu einem Zeitpunkt, um zu verstehen, was sie denkt. Doch dieses Papier argumentiert, dass man, um die KI wirklich zu verstehen, den gesamten Film des Malprozesses ansehen muss. Die „Gedanken" (Aktivierungen) der KI verändern und entwickeln sich vom ersten verrauschten Kratzer bis zum finalen polierten Bild.

Das Problem: Der „Echo"-Effekt

Die Forscher stellten beim Ansehen dieses Films etwas Tückisches fest. Da der Malprozess glatt und allmählich verläuft, sind die Gedanken der KI im Schritt 10 fast exakt dieselben wie im Schritt 11, nur mit etwas weniger Rauschen. Es ist, als würde man einem Lied lauschen, bei dem dieselbe Note immer und immer wieder mit einem winzigen Echo wiederholt wird.

Versucht man, einem Computer beizubringen, diesen Film zu verstehen, indem man ihm jeden einzelnen Frame zeigt, langweilt sich der Computer. Er verbringt seine gesamte Energie damit, die „Echos" (die vorhersehbaren Teile) auswendig zu lernen, anstatt die interessanten neuen Details zu lernen, die das Bild tatsächlich verändern.

Die Lösung: Der „Residualisierte"-Trick

Um dies zu beheben, erfanden die Autoren ein neues Werkzeug namens Residualized Temporal Sparse Autoencoder (SAE). So funktioniert es, aufgeteilt in einfache Schritte:

Den nächsten Frame vorhersagen: Bevor dem KI den nächsten Schritt des Malens zeigt, versucht das System zunächst, basierend auf dem vorherigen Schritt zu erraten, wie er aussehen wird. Es ist, als würde man sagen: „Okay, wenn der Künstler gerade einen blauen Punkt hinzugefügt hat, wird der nächste Frame wahrscheinlich ein etwas größerer blauer Punkt sein."
Die Überraschung finden: Das System betrachtet dann den tatsächlichen nächsten Frame und zieht seine Vorhersage davon ab. Was bleibt übrig? Die Überraschung. Dies ist der Teil des Bildes, den die KI nicht allein durch den Blick auf den vorherigen Schritt vorhersagen konnte.
- Analogie: Stellen Sie sich vor, Sie beobachten einen Zauberer. Sie wissen, dass die Karte von der linken Hand in die rechte Hand wandern wird (das ist der vorhersehbare Teil). Das „Residuum" ist der Handgriff – die spezifische, einzigartige Art und Weise, wie der Zauberer sie verschwinden lässt. Das ist der interessante Teil.
Der KI die Überraschungen beibringen: Die Forscher trainieren ihr neues KI-Werkzeug (den SAE) ausschließlich auf diesen „Überraschungen". Dies zwingt das Werkzeug, die langweiligen, repetitiven Echos zu ignorieren und sich vollständig auf die einzigartigen, bedeutungsvollen Veränderungen zu konzentrieren, die während des Malprozesses stattfinden.

Was sie fanden: Die „Feature-Trajektorien"

Durch die Anwendung dieser Methode konnten sie spezifische „Features" (wie eine bestimmte Art von Textur, eine Form oder ein Konzept wie „Schmuck") identifizieren und verfolgen, wie sie sich im Laufe der Zeit bewegen.

Frühe Features: Diese sind wie die grobe Skizze. Sie erscheinen früh im Prozess und sind sehr breit gefasst. Wenn Sie betrachten, wo sie auf dem Bild erscheinen, decken sie große Bereiche ab (wie den gesamten Himmel oder die allgemeine Form einer Person).
Späte Features: Dies sind die feinen Details (Wimpern, Schmuck, Textur). Sie erscheinen später im Prozess und sind sehr spezifisch für kleine Stellen auf der Leinwand.

Das Papier zeigt, dass diese Features nicht statisch sind; sie haben eine Trajektorie. Sie haben eine „Lebensgeschichte" innerhalb der Bildgenerierung.

Die Experimente: Das Schiff steuern

Die Forscher testeten ihr Werkzeug, indem sie versuchten, die Bildgenerierung zu „steuern". Sie stellten fest, dass sie, wenn sie eine bestimmte „Feature-Trajektorie" (wie die für „Schmuck") leicht anstießen, die KI dazu bringen konnten, Schmuck zum Bild hinzuzufügen.

Globale Steuerung: Wenn sie das Feature für das gesamte Bild anstießen, veränderte sich das gesamte Bild so, dass es mehr nach Schmuck aussah.
Lokale Steuerung: Wenn sie das Feature nur für eine bestimmte Stelle anstießen (wie die obere linke Ecke), veränderte sich nur diese Stelle.

Sie führten auch ein Experiment zur „Feature-Übertragung" durch. Sie nahmen die „Schmuck"-Features aus einem Bild eines Marienkäfers und versuchten, sie auf ein Bild einer Frau zu übertragen. Das Ergebnis war eine Frau, die aussah, als würde sie marienkäferähnlichen Schmuck tragen. Dies bewies, dass ihr Werkzeug spezifische Konzepte zwischen verschiedenen Bildern isolieren und verschieben konnte.

Warum dies wichtig ist

Das Papier kommt zu dem Schluss, dass wir durch das Entfernen der vorhersehbaren „Echos" und den Fokus auf die „Überraschungen" eine viel klarere Karte davon erstellen können, wie Diffusionsmodelle denken. Anstatt einen verschwommenen Datenwirrwarr zu sehen, können wir nun distinkte, sich bewegende Teile erkennen, die realen visuellen Konzepten entsprechen. Dies gibt uns einen besseren Weg, um zu verstehen, zu steuern und zu interpretieren, wie diese leistungsstarken KI-Modelle Kunst erschaffen.

Kurz gesagt: Sie hörten auf, dem Echo zu lauschen, und fingen an, der Musik zu lauschen, was es ihnen ermöglichte, den kreativen Prozess der KI viel besser zu verstehen.

Technische Zusammenfassung: Residualisierte temporale Sparse Autoencoder zur Interpretation von Diffusionsmodellen

Problemstellung

Text-zu-Bild-Diffusionsmodelle erzeugen Bilder durch einen iterativen Denoising-Prozess, wodurch interne neuronale Schichten Trajektorien von Aktivierungen statt einzelner statischer Repräsentationen produzieren. Während Sparse Autoencoder (SAEs) kürzlich angewendet wurden, um Diffusionsaktivierungen in interpretierbare Merkmalsrichtungen zu zerlegen, analysieren bestehende Ansätze typischerweise Aktivierungen an isolierten Zeitschritten, konditionieren auf die Zeit oder wenden SAEs auf Architekturen wie Diffusion Transformer an.

Eine kritische Einschränkung dieser bestehenden Methoden besteht darin, dass sie die starke zeitliche Korrelation nicht explizit berücksichtigen, die Diffusionsaktivierungen innewohnt. Aktivierungen an benachbarten Zeitschritten sind hochkorreliert, wobei ein Großteil des Signals in einem Schritt linear vom vorherigen Schritt vorhersagbar ist. Das direkte Trainieren eines SAE auf rohen, zeitlich verketteten Aktivierungen riskiert, die Modellkapazität darauf zu verschwenden, diese redundanten, linear vorhersagbaren Dynamiken zu lernen, anstatt die zugrunde liegende spärliche Struktur der Merkmale zu erfassen.

Methodik

Die Autoren schlagen Residualisierte Temporale SAEs vor, ein Framework, das entwickelt wurde, um spärliche Merkmale aus Aktivierungstrajektorien zu lernen, indem es linear vorhersagbare Dynamiken explizit von der residualen Struktur trennt.

1. Datensammlung und Vorverarbeitung

Quelle: Aktivierungen werden aus dem konditionierten Zweig des U-Net in Stable Diffusion 1.5 während der classifier-free guidance gesammelt. Spezifisch wird der residuale Beitrag der Cross-Attention-Schicht des Mid-Blocks extrahiert.
Konstruktion der Trajektorie: Für ein generiertes Bild werden Aktivierungen alle $\ell$ Denoising-Schritte unterabgetastet (z. B. $\ell=10$ ), um eine Sequenz von Aktivierungstensoren $\{a(\tau_i)\}$ zu bilden.

2. Lineare Residualisierung

Um zeitliche Redundanzen zu entfernen, passt die Methode lineare Prädiktoren zwischen aufeinanderfolgenden normalisierten Aktivierungsblöcken an:

Normalisierung: Aktivierungen werden pro Zeitschritt unter Verwendung von Trainingsset-Statistiken normalisiert.
Ridge-Regression: Für jeden aufeinanderfolgenden Übergang $i-1 \to i$ wird ein Ridge-Regressor $(W_i, b_i)$ angepasst, um die aktuelle Aktivierung $\bar{a}_{q,i}$ aus der vorherigen $\bar{a}_{q,i-1}$ vorherzusagen.
Berechnung des Residuums: Das Residuum $r_{q,i} = \bar{a}_{q,i} - (W_i \bar{a}_{q,i-1} + b_i)$ erfasst die Komponente der Aktivierung, die nicht linear vom vorherigen Schritt vorhersagbar ist.

3. SAE-Training auf residualisierten Trajektorien

Die Eingabe für den SAE ist ein verketteter Vektor $z_q$ , der aus der initialen Aktivierung und den nachfolgenden Residuen besteht:
$z_q = [\bar{a}_{q,0}, r_{q,1}, \dots, r_{q,T-1}]$
Ein BatchTopK SAE wird auf dieser residualisierten Repräsentation trainiert. Das Ziel besteht darin, den normalisierten Input zu rekonstruieren und gleichzeitig Spärlichkeit durchzusetzen (nur die top $K$ aktiven Latenten pro Batch beizubehalten). Dies fördert, dass die spärlichen Latenten Strukturen erfassen, die über den linear vorhersagbaren zeitlichen Drift hinaus existieren.

4. Interpretation im Aktivierungsraum

Ein Schlüsselelement der Methode ist das Zurückführen der gelernten Merkmale in den ursprünglichen Aktivierungsraum, um sie als Trajektorien zu analysieren:

Decoder-Richtungen: Die Decoder-Vektoren des SAE befinden sich zunächst im normalisierten residualisierten Raum.
Entnormalisierung: Skalierungen werden angewendet, um zum normalisierten Residualraum zurückzukehren.
Integration linearer Dynamik: Die Residualrichtungen werden durch die angepassten linearen Prädiktoren ( $W_i$ ) zurückgemappt, um die vollständige Trajektorienrichtung im normalisierten Aktivierungsraum zu rekonstruieren.
Endgültige Abbildung: Das Ergebnis wird entnormalisiert, um die Decoder-Trajektorie $\{\phi_{k,i}\}$ in den ursprünglichen Aktivierungseinheiten zu erhalten. Dies ermöglicht, dass jede Latente als eine über die Denoising-Zeit evolvierte Merkmals-Trajektorie analysiert wird.

Hauptbeiträge

Residualisierte Temporale SAEs: Die Einführung einer Methode, die Diffusionsaktivierungstrajektorien in linear vorhersagbare Komponenten und Residuen trennt und SAEs spezifisch auf Letztere trainiert, um die Modellierung redundanter zeitlicher Dynamiken zu vermeiden.
Interpretation des Decoders im Aktivierungsraum: Eine Herleitung, die residualisierte Decoder-Richtungen zurück in den ursprünglichen Aktivierungsraum abbildet und die Analyse jeder Latente als spatiotemporale Merkmals-Trajektorie ermöglicht.
Empirische Charakterisierung: Eine umfassende Evaluierung an Stable Diffusion 1.5, die zeigt, dass diese Repräsentationen zeitlich strukturierte, räumlich lokalisierte Richtungen mit semantisch bedeutsamen generativen Effekten erfassen.

Ergebnisse und Evaluierung

Rekonstruktionsleistung

Überlegenheit der Residualisierung: Unter einem festen Spärlichkeitsbudget auf Trajektorien-Ebene übertreffen residualisierte Varianten konsistent nicht-residualisierte Gegenstücke (sowohl verkettete als auch zeitschrittweise) in Bezug auf den mittleren quadratischen Fehler (MSE) und die erklärte Varianz (EV).
Effizienz: Das residualisierte verkettete Modell erreicht eine konkurrenzfähige Rekonstruktionsleistung, während es einen einzigen spärlichen Code für die gesamte Trajektorie verwendet, wohingegen zeitschrittweise Baselines verteilte Codes erfordern.
Vergleich mit Baselines: Die Methode übertrifft eine Matryoshka-SAE-Baseline (die nicht-residualisierte, komponenten-normalisierte Trajektorien verwendet) in der Rekonstruktionsqualität.

Analyse der spatiotemporalen Struktur

Zeitliche Spezialisierung: Latenten zeigen ausgeprägte zeitliche Profile. „Frühe" Merkmale neigen zu einer breiten zeitlichen Unterstützung und hoher Selbstähnlichkeit über Zeitschritte hinweg, was darauf hindeutet, dass sie persistente strukturelle Konzepte erfassen. „Späte" Merkmale sind zeitschrittspezifischer und zeitlich weniger stabil.
Räumliche Lokalisierung:
- Frühe Merkmale zeigen eine breitere positive räumliche Unterstützung (höhere räumliche Entropie) und decken oft diffuse oder randähnliche Bereiche ab.
- Mittlere und späte Merkmale sind räumlich konzentrierter (niedrigere Entropie) und lokalisieren sich auf spezifische objektähnliche Bereiche oder hervorstechende Regionen.

Lenkungsexperimente (Steering Experiments)

Lenkung einzelner Merkmale: Das Eingreifen mit spezifischen Latenten erzeugt sichtbare generative Effekte. Frühe Merkmale beeinflussen die globale Struktur, während mittlere Merkmale Änderungen lokalisieren können (z. B. das Hinzufügen von Schmuck zu einem Rumpf). Späte Merkmale zeigten in einigen Beispielen weniger klare semantische Effekte.
Merkmalsübertragung: Unter Verwendung des RIEBench-Datensatzes führten die Autoren eine Merkmalsübertragung von Quelle zu Ziel durch. Das residualisierte verkettete Modell erreichte die beste Balance zwischen Bearbeitungseffizienz (Verbesserung der CLIP-Ähnlichkeit zum Ziel-Prompt) und Erhaltung der Quellbildstruktur (Minimierung des LPIPS-Abstands). Es übertraf nicht-residualisierte und zeitschrittweise Varianten in der Bearbeitungseffizienz.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass residualisierte temporale SAEs ein nützliches Framework für die Untersuchung von zeitlich strukturierten Diffusionsaktivierungen bieten. Durch das explizite Entfernen linear vorhersagbaren Drifts ermöglicht die Methode, dass sich spärliche Latenten auf die nicht-redundante, semantisch bedeutsame Struktur des Generierungsprozesses konzentrieren.

Die Autoren betonen, dass ihr Ansatz sich von vorheriger Arbeit dadurch unterscheidet, dass er spärliche Wörterbücher über residualisierte Aktivierungstrajektorien lernt und nicht über isolierte Zeitschritte oder nicht-residualisierte zeitliche Repräsentationen. Die Fähigkeit, diese Latenten als Trajektorien zurück in den Aktivierungsraum zu mapen, ermöglicht ein tieferes Verständnis davon, wann und wo spezifische Merkmale während des Denoising-Prozesses zum Ausdruck kommen.

Von den Autoren festgestellte Einschränkungen:

Die Experimente konzentrieren sich auf eine einzelne U-Net-Aktivierungsquelle (Cross-Attention des Mid-Blocks) in Stable Diffusion 1.5.
Lenkungsexperimente sind qualitativ; die Arbeit beansprucht keine optimierte Bildbearbeitungsleistung, sondern nutzt Lenkung, um die Interpretierbarkeit und den kausalen Einfluss der gelernten Merkmale zu validieren.