💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

Dieses Paper führt Spectral Denoising Signatures (SDS) ein, eine nicht-invasive Attributionsmethode, die die Quelle von durch Diffusion generierten Bildern identifiziert, indem sie die einzigartige spektrale Geometrie jedes Modells in dessen Denoising-Verhalten als Fingerabdruck erfasst und dabei eine hohe Genauigkeit über diverse Architekturen und Trainingsbedingungen hinweg erreicht, ohne Inversion oder Optimierung zu erfordern.

Ursprüngliche Autoren: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige Bibliothek voller Kunstwerke, aber jedes Gemälde sieht für das bloße Auge exakt gleich aus. Sie können nicht unterscheiden, ob ein bestimmtes Gemälde von „Künstler A“ oder „Künstler B“ stammt, nur indem Sie das fertige Bild betrachten. In der Welt der KI ist dies das Problem mit Diffusionsmodellen. Dies sind die Motoren hinter Werkzeugen wie Stable Diffusion, die Bilder aus Text erstellen. Selbst wenn zwei verschiedene KI-Modelle auf unterschiedlichen Datensätzen von Fotos trainiert wurden, lernen sie oft so ähnlich zu malen, dass ihre fertigen Bilder ununterscheidbar sind.

Dieses Paper stellt ein neues Detektiv-Werkzeug namens Spectral Denoising Signatures (SDS) vor, um dieses Rätsel zu lösen. So funktioniert es, einfach erklärt:

Das Problem: Das „fertige Gemälde“ ist eine Sackgasse

Die meisten aktuellen Methoden versuchen, den Künstler zu identifizieren, indem sie das fertige Gemälde (das generierte Bild) betrachten.

Der Fehler: Wenn zwei Künstler die gleiche Art von Leinwand und Farbe verwenden (dieselbe zugrunde liegende „Autoencoder“-Technologie), sehen ihre fertigen Gemälde statistisch gesehen identisch aus. Es ist, als würde man versuchen, einen Kuchen zu unterscheiden, der von zwei verschiedenen Bäckern mit genau demselben Rezept und demselben Ofen gebacken wurde; der Kuchen selbst liefert keine Hinweise.
Der alte Weg: Einige Methoden versuchen, das Gemälde zurück in seine Rohzutaten zu zerlegen (ein Prozess namens „Inversion“). Dies ist langsam, rechenintensiv und scheitert völlig, wenn die Bäcker denselben Ofen verwendet haben.

Die Lösung: Dem „Denoising“-Prozess zuhören

Die Autoren erkannten, dass das Geheimnis nicht im fertigen Bild liegt, sondern darin, wie der Künstler das Rauschen beseitigt, um es zu erstellen.

Stellen Sie sich ein Diffusionsmodell wie einen Bildhauer vor, der mit einem Block aus verrauschtem, statischem Ton beginnt. Um die fertige Statue zu erhalten, muss der Bildhauer das Rauschen Schritt für Schritt abtragen.

Die Erkenntnis: Selbst wenn zwei Bildhauer am Ende dieselbe Statue haben, tragen sie den Ton vielleicht in leicht unterschiedlichen Mustern ab. Der eine arbeitet vielleicht sehr vorsichtig an den feinen Details (hohe Frequenzen), während ein anderer sich zuerst auf die großen Formen konzentriert (tiefe Frequenzen).
Der „spektrale“ Teil: Die Autoren behandeln diese „Abtragemuster“ wie Schallwellen. Sie zerlegen das Rauschen in verschiedene „Frequenzen“ (ähnlich wie Bass, Mitten und Höhen in der Musik).

Wie SDS funktioniert: Die „Frequenz-Sonde“

Anstatt darauf zu warten, dass die Statue fertig ist, fungiert die SDS-Methode wie eine Stimmgabel oder ein Sonar, das den Bildhauer während der Arbeit abklopft.

Der Aufbau: Das System nimmt ein Standardbild und wandelt es in einen „Latent“-Code um (eine komprimierte Version des Bildes).
Das Klopfen: Es injiziert eine winzige, kontrollierte Menge an „Rauschen“ in einen spezifischen Frequenzbereich (als würde man eine bestimmte Note in das Ohr des Bildhauers flüstern).
Die Reaktion: Es bittet das KI-Modell, genau einen Schritt seines Reinigungsprozesses (Denoising) durchzuführen.
Der Fingerabdruck: Das System misst, wie dieses spezifische Flüstern des Rauschens gestreut wurde. Ist das Rauschen im Bassbereich geblieben? Ist es in die Höhen gesprungen? Ist es verschwunden?
- Jedes KI-Modell hat eine einzigartige „Persönlichkeit“ darin, wie es diese Energie bewegt. Dieses Bewegungsmuster ist die Spectral Denoising Signature.

Warum es ein Gamechanger ist

Kein Nachtraining erforderlich: Sie müssen die KI nicht modifizieren oder versteckte Wasserzeichen hinzufügen. Sie stellen ihr einfach eine Frage und hören auf die Antwort.
Es funktioniert bei „Zwillingen“: Das Paper testete dies an Modellen, die fast identisch sind (wie Stable Diffusion v1.4 und v1.5, die zu 99 % denselben Code teilen). Obwohl sie identisch aussehende Bilder erzeugen, waren ihre „Abtragemuster“ (spektrale Geometrie) unterschiedlich genug, damit SDS sie mit einer Genauigkeit von 99,9 % unterscheiden konnte.
Es ist robust: Selbst wenn Sie das fertige Bild weichzeichnen, zuschneiden oder die Helligkeit ändern, bleibt der „Fingerabdruck“ intakt, da der Fingerabdruck darüber handelt, wie das Modell denkt, und nicht darum, wie das Bild aussieht.

Das Fazit

Das Paper beweist, dass man, um ein KI-Modell zu identifizieren, nicht das Ergebnis (das Bild) betrachten sollte, sondern den Prozess (wie es das Rauschen bereinigt).

Indem die Autoren das interne „Reinigungsverhalten“ der KI wie ein einzigartiges Musikinstrument behandeln, haben sie eine Methode geschaffen, die zuverlässig sagen kann: „Dieses Bild wurde von Modell X gemacht“, selbst wenn Modell X und Modell Y für unsere Augen exakt gleich aussehen. Es ist, als wäre man in der Lage, einen Sänger nicht anhand des fertigen Liedes zu identifizieren, sondern durch die einzigartige Art und Weise, wie er sich vor der ersten Note räuspert.

Technisches Resümee: Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

1. Problemstellung

Die Arbeit adressiert die Herausforderung der Diffusion Model Attribution: die Bestimmung, welches spezifische Diffusionsmodell ein gegebenes Bild generiert hat. Dies ist entscheidend für die Herkunftssicherung (Provenance Verification), den Schutz des geistigen Eigentums und die Erkennung von Missbrauch.

Die Kernschwierigkeit liegt darin, dass Diffusionsmodelle, die auf unterschiedlichen Datensätzen trainiert wurden, oft zu ähnlichen Score-Funktionen konvergieren und visuell ununterscheidbare Ergebnisse produzieren. Infolgedessen stoßen Attributionsmethoden, die sich ausschließlich auf generierte Bilder (Signale im Output-Raum) verlassen, auf inhärente Ambiguität. Bestehende nicht-invasive Ansätze leiden unter fundamentalen Einschränkungen:

Klassifikationsbasierte Methoden haben Schwierigkeiten, architektonisch ähnliche Varianten zu unterscheiden, die visuell ähnliche Outputs erzeugen.
Inversionsbasierte Methoden (z. B. RONAN, LATENTTRACER) stützen sich auf Rekonstruktionsverluste. Wenn Kandidatenmodelle densen Autoencoder (VAE) teilen, werden diese Verluste nicht informativ, was dazu führt, dass diese Methoden auf das Niveau des Zufalls kollabieren.
Invasive Methoden (z. B. Wasserzeichen) erfordern Modifikationen oder ein Retraining des Modells, was die Generierungsqualität verschlechtert und für bestehende Open-Source-Modelle unpraktikabel ist.

Die Arbeit postuliert, dass das diskriminative Signal nicht im generierten Output liegt, sondern in der Denoising-Funktion selbst, spezifisch in deren spektraler Geometrie.

2. Methodik: Spectral Denoising Signatures (SDS)

Die Autoren schlagen Spectral Denoising Signatures (SDS) vor, eine nicht-invasive Attributionsmethode, die ein Modell durch die Untersuchung seines Denoising-Verhaltens identifiziert (fingerprints), anstatt seine Outputs zu analysieren.

Kernaspekt

Die Score-Funktion eines Modells weist eine charakteristische spektrale Geometrie auf, die sich darin widerspiegelt, wie sie während des Denoising-Prozesses Energie über räumliche Frequenzbänder hinweg umverteilt. Dieses Verhalten ist intrinsisch mit der gelernten Score-Funktion des Modells verknüpft und ist unabhängig vom spezifischen Prompt oder dem verwendeten Noise-Seed der Generierung.

Die SDS-Pipeline

Standardisierung: Um sicherzustellen, dass die Signaturen die Modellidentität und nicht Artefakte widerspiegeln, verwenden alle Kandidatenmodelle einen gemeinsamen VAE zur Kodierung von Eingabebildern in einen konsistenten latenten Raum ( $z_0$ ) sowie einen gemeinsamen Scheduler. Das Probing erfolgt mit leeren Text-Embeddings, um promptabhängige Signale zu eliminieren.
Spektrale Partitionierung: Die Frequenzebene des latenten Raums wird in $K$ konzentrische Ringe unterteilt. Ring 0 deckt niedrige Frequenzen (globale Struktur) ab, während Ring $K-1$ hohe Frequenzen (feine Textur) abdeckt.
Frequenzgesteuertes Probing:
- Injektion: Bandbegrenztes Rauschen ( $\eta^{(k)}$ ) wird in einen spezifischen Frequenzring $k$ zu einem gewählten Zeitschritt $t$ injiziert.
- Denoiser-Abfrage: Der Denoiser $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ wird abgefragt, um das Rauschen vorherzusagen.
- Residuenanalyse: Das Residuum $r = \hat{\eta} - \eta^{(k)}$ wird berechnet. Die Energie dieses Residuums wird über alle Output-Frequenzringe $j$ gemessen.
- Kopplungsmatrix: Dies ergibt eine Kopplungsmatrix $C \in \mathbb{R}^{K \times K}$ , wobei $C[k, j]$ quantifiziert, wie die in Ring $k$ injizierte Energie durch den Denoiser in den Ring $j$ geleitet wird. Diese Matrix ist eine Projektion der Jacobi-Matrix des Denoisers.
Signatur-Aggregation:
- Die Messungen erfolgen über mehrere Perturbationsamplituden ( $S$ ) und mehrere Zeitschritte ( $T_n$ ), die die gesamte Denoising-Trajektorie abdecken.
- Die resultierenden Kopplungsmatrizen werden konkateniert und geglättet (flattened), um einen hochdimensionalen Signaturvektor $\Phi(M, z_0)$ zu bilden.
- Prototypen-Konstruktion: Für jedes Modell wird ein Prototyp-Signatur $\Psi(M)$ erstellt, indem die Signaturen von $N$ Referenzbildern gemittelt werden. Eine Zeilen-Normalisierung wird angewendet, um inhaltsabhängige Skalierungsunterschiede zu entfernen.
Identifikation: Ein Abfragebild wird kodiert, geprobt, um seine Signatur zu generieren, und mit einem gespeicherten Prototypen mittels Nearest-Prototype-Match (argmin) oder einem trainierten linearen Klassifikator (LinearSVC) verglichen.

3. Zentrale Beiträge

SDS-Framework: Eine nicht-invasive Attributionsmethode, die die spektrale Geometrie des Denoisers allein durch Standard-Forward-Passes abfragt und keine Inversion, Optimierung oder Modifikation des Modells erfordert.
Intrinsische Modell-Signaturen: Nachweis, dass spektrale Kopplungssignaturen modell-intrinsisch, distorsionsrobust und diskriminativ gegenüber Variationen in Trainingsdaten, Architektur und Trainingsverfahren sind.
Lösung von Baseline-Fehlermodi: Beweis, dass das direkte Probing des Denoisers das fundamentale Versagen bestehender inversionsbasierter Baselines löst, wenn Modelle denselben Autoencoder teilen.

4. Experimentelle Ergebnisse

Die Methode wurde in einer Closed-Set-Aufgabe mit acht diversen Diffusionsmodellen (einschließlich Stable Diffusion v1.4/v1.5, SDXL, PixArt- $\alpha$ und feinabgestimmten Varianten) evaluiert, die unterschiedliche Trainingsdaten, Architekturen und Trainingsverfahren aufweisen.

Attributionsgenauigkeit: SDS erreichte eine Genauigkeit von $\approx$ 99,9 % über die acht Modelle hinweg unter Verwendung eines LinearSVC-Klassifikators. Es konnte erfolgreich zwischen SD v1.4 und SD v1.5 unterscheiden (die fast alle Gewichte und denselben VAE teilen) – ein Fall, in dem Output-basierte Merkmale vollständig versagten.
Domänenübergreifende Generalisierung: Wenn mit SD-Prompts erstellte Prototypen auf Bilder getestet wurden, die aus MS-COCO-Prompts generiert wurden, behielt der LinearSVC eine Genauigkeit von 96,2 % bei, was ein Minus von nur 3,8 Prozentpunkten bedeutet. Dies zeigt, dass die Signaturen weitgehend modell-intrinsisch und nicht promptabhängig sind.
Robustheit: SDS blieb gegenüber starken Post-Processing-Distortionen (Rotation, JPEG-Kompression, Cropping, Helligkeitsskalierung, Rauschen und Unschärfe) äußerst robust. Während Pixel-Raum-Distortionen die Bildqualität signifikant verschlechterten, blieb die spektrale Routing-Signatur intakt, wobei der LinearSVC selbst unter starkem Rauschen und Unschärfe eine Genauigkeit von >90 % erreichte.
Vergleich mit Baselines:
- RONAN und LATENTTRACER (inversionsbasiert) kollabierten auf eine Genauigkeit von ~20–27 % (nahe am Zufall) für die fünf Modelle, die denselben VAE teilen.
- SDS erreichte 100 % Genauigkeit bei denselben Modellen und übertraf damit die beste Baseline (LATENTTRACER) um 55 Prozentpunkte und RONAN um 70 Prozentpunkte bei den anspruchsvollsten Modellpaaren.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass die Modellidentität in der spektralen Geometrie der Jacobi-Matrix des Denoisers kodiert ist, nicht in den generierten Outputs. Diese Erkenntnis liefert eine fundierte Basis für die Attribution, die unabhängig vom verwendeten Autoencoder ist.

Praktikabilität: SDS erfordert lediglich Standard-Forward-Passes, was es für das gesamte Ökosystem bestehender Open-Source-Diffusionsmodelle anwendbar macht, ohne dass ein Retraining oder Wasserzeichen erforderlich sind.
Fundamentale Erkenntnis: Die Arbeit zeigt, dass selbst wenn Modelle visuell zu ähnlichen Score-Funktionen konvergieren, sie dennoch distinkte "spektrale Fingerabprints" in der Art und Weise behalten, wie sie Energie über Frequenzbänder leiten.
Einschränkungen: Die Autoren räumen ein, dass SDS derzeit in einem Closed-Set-Szenario arbeitet (das Quellmodell muss im Register vorhanden sein) und einen White-Box-Zugriff auf die Gewichte der Kandidatenmodelle erfordert (was bei Open-Source-Modellen gegeben ist). Es detektiert keine Manipulationen nach der Generierung.

Zusammenfassend argumentiert die Arbeit, dass man durch die Verlagerung des Fokus von dem, was ein Modell generiert, hin zu dem, wie es denentwertet (denoising), eine zuverlässige, nicht-invasive Attribution erreicht – selbst in den anspruchsvollsten Szenarien, in denen Modelle dieselben Architekturen und Autoencoder nutzen.