💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

Dit artikel introduceert Spectral Denoising Signatures (SDS), een niet-invasieve attributiemethode die de bron van door diffusie gegenereerde afbeeldingen identificeert door de unieke spectrale geometrie van elk model in diens denoising-gedrag te fingerprinten, waarbij een hoge nauwkeurigheid wordt bereikt over diverse architecturen en trainingscondities zonder dat inversie of optimalisatie vereist is.

Oorspronkelijke auteurs: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Gepubliceerd 2026-06-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek met kunst hebt, maar elk schilderij ziet er voor het blote oog exact hetzelfde uit. Je kunt niet zien of een specifiek schilderij is gemaakt door "Kunstenaar A" of "Kunstenaar B" door alleen naar het eindresultaat te kijken. In de wereld van AI is dit het probleem met Diffusiemodellen. Dit zijn de motoren achter tools zoals Stable Diffusion die afbeeldingen maken op basis van tekst. Zelfs als twee verschillende AI-modellen zijn getraind op verschillende sets foto's, leren ze vaak zo vergelijkbaar te schilderen dat hun uiteindelijke beelden ononderscheidbaar zijn.

Dit paper introduceert een nieuw detectie-instrument genaamd Spectral Denoising Signatures (SDS) om dit mysterie op te lossen. Hier is hoe het werkt, eenvoudig uitgelegd:

Het Probleem: Het "Afgewerkte Schilderij" is een doodlopende weg

De meeste huidige methoden proberen de kunstenaar te identificeren door naar het afgewerkte schilderij (de gegenereerde afbeelding) te kijken.

Het Gebrek: Als twee kunstenaars hetzelfde type canvas en verf gebruiken (de onderliggende "Autoencoder"-technologie), zien hun afgewerkte schilderijen er statistisch gezien identiek uit. Het is alsof je probeert te achterhalen of een taart is gebakken door twee verschillende bakkers die precies hetzelfde recept en dezelfde oven gebruikten; de taart zelf geeft je geen aanwijzingen.
De Oude Manier: Sommige methoden proberen het schilderij terug te herleiden naar de ruwe ingrediënten (een proces dat "inversie" wordt genoemd). Dit is traag, rekenintensief en faalt volledig als de bakkers dezelfde oven hebben gebruikt.

De Oplossing: Luisteren naar het "Denoising" Proces

De auteurs realiseerden zich dat het geheim niet in de eindafbeelding zit, maar in hoe de kunstenaar de ruis opruimt om deze te creëren.

Denk aan een diffusiemodel als een beeldhouwer die begint met een blok ruizige, statische klei. Om het uiteindelijke beeld te krijgen, moet de beeldhouwer de ruis stap voor stap weghalen.

Het Inzicht: Zelfs als twee beeldhouwers uiteindelijk met hetzelfde beeld eindigen, kunnen ze de klei op net iets andere manieren weghalen. De een is misschien heel voorzichtig met de fijne details (hoge frequenties), terwijl een ander zich eerst concentreert op de grote vormen (lage frequenties).
Het "Spectrale" Deel: De auteurs behandelen deze "hakpatronen" als geluidsgolven. Ze breken de ruis af in verschillende "frequenties" (zoals bas, midden en hoge tonen in muziek).

Hoe SDS Werkt: De "Frequentieprobe"

In plaats van te wachten tot het beeld af is, werkt de SDS-methode als een stemvork of sonar die de beeldhouwer aanstipt terwijl hij aan het werk is.

De Opstelling: Het systeem neemt een standaardafbeelding en zet deze om in een "latente" code (een gecomprimeerde versie van de afbeelding).
De Tik: Het injecteert een kleine, gecontroleerde hoeveelheid "ruis" in een specifieke frequentieband (zoals een specifieke noot fluisteren in het oor van de beeldhouwer).
De Reactie: Het vraagt het AI-model om slechts één stap van zijn schoonmaakproces (denoising) uit te voeren.
De Vingerafdruk: Het systeem meet hoe die specifieke fluistering van ruis werd verspreid. Bleef de ruis in het basbereik? Sprong het naar de hoge tonen? Verdwijnt het?
- Elk AI-model heeft een unieke "persoonlijkheid" in hoe het deze energie rondbeweegt. Dit bewegingspatroon is de Spectral Denoising Signature.

Waarom het een Game Changer is

Geen Her-training Nodig: Je hoeft de AI niet aan te passen of verborgen watermerken toe te voegen. Je stelt simpelweg een vraag en luistert naar het antwoord.
Het Werkt op "Tweelingen": Het paper testte dit op modellen die bijna identiek zijn (zoals Stable Diffusion v1.4 en v1.5, die 99% van hun code delen). Hoewel ze identiek ogende afbeeldingen produceren, waren hun "hakpatronen" (spectrale geometrie) verschillend genoeg voor SDS om ze met 99,9% nauwkeurigheid uit elkaar te houden.
Het is Robuust: Zelfs als je de eindafbeelding vervaagt, cropt of de helderheid aanpast, blijft de "vingerafdruk" intact omdat de vingerafdruk gaat over hoe het model denkt, niet over hoe het plaatje eruitziet.

De Kernboodschap

Het paper bewijst dat om een AI-model te identificeren, je niet naar de output (het plaatje) moet kijken, maar naar het proces (hoe het de ruis opruimt).

Door het interne "opruimgedrag" van de AI te behandelen als een uniek muziekinstrument, hebben de auteurs een methode gecreëerd die betrouwbaar kan zeggen: "Deze afbeelding is gemaakt door Model X", zelfs wanneer Model X en Model Y er voor onze ogen exact hetzelfde uitzien. Het is alsof je een zanger kunt identificeren, niet door het lied dat hij heeft afgerond, maar door de unieke manier waarop hij zijn keel vrijmaakt voordat hij een enkele noot zingt.

Technische Samenvatting: Diffusiemodel-attributie via Spectrale Koppeling van Denoiser-responsen

1. Probleemstelling

Het artikel behandelt de uitdaging van diffusiemodel-attributie: het bepalen welk specifiek diffusiemodel een bepaalde afbeelding heeft gegenereerd. Dit is cruciaal voor herkomstverificatie, bescherming van intellectueel eigendom en misbruikdetectie.

De kern van de moeilijkheid ligt in het feit dat diffusiemodellen die op verschillende datasets zijn getraind, vaak convergeren naar vergelijkbare scorefuncties, waardoor ze visueel ononderscheidbare outputs produceren. Bijgevolg kampen attributiemethoden die uitsluitend vertrouwen op gegenereerde afbeeldingen (signalen in de outputruimte) met inherente ambiguïteit. Bestaande niet-invasieve benaderingen lijden aan fundamentele beperkingen:

Classificatiegebaseerde methoden hebben moeite met het onderscheiden van architecturaal vergelijkbare varianten die visueel vergelijkbare outputs produceren.
Inversiegebaseerde methoden (bijv. RONAN, LATENTTRACER) vertrouwen op reconstructieverliezen. Wanneer kandidaat-modellen dezelfde autoencoder (VAE) delen, worden deze verliezen informatiefloos, waardoor deze methoden vervallen tot willekeurige kans.
Invasieve methoden (bijv. watermerken) vereisen modelwijziging of hertraining, wat de generatiekwaliteit verslechtert en niet toepasbaar is op bestaande open-source modellen.

Het artikel stelt dat het discriminerende signaal niet in de gegenereerde output zit, maar in de denoising-functie zelf, specif으로 in de spectrale geometrie ervan.

2. Methodologie: Spectrale Denoising Signaturen (SDS)

De auteurs stellen Spectral Denoising Signatures (SDS) voor, een niet-invasieve attributiemethode die een model vingerafdruk geeft door het denoising-gedrag te beproeven in plaats van de outputs te analyseren.

Kerninzicht

De scorefunctie van een model's denoising vertoont een kenmerkende spectrale geometrie, weerspiegeld in hoe het energie herverdeelt over ruimtelijke frequentiebanden tijdens het denoising-proces. Dit gedrag is intrinsiek aan de geleerde scorefunctie van het model en is onafhankelijk van de specifieke prompt of de ruis-seed die voor de generatie wordt gebruikt.

De SDS-pipeline

Standaardisatie: Om ervoor te zorgen dat signaturen de modelidentiteit reflecteren in plaats van artefacten, gebruiken alle kandidaat-modellen een gedeelde VAE om inputafbeeldingen naar een consistente latente ruimte ( $z_0$ ) te coderen en een gedeelde scheduler. Het beproeven gebeurt met lege tekst-embeddings om prompt-afhankelijke signalen te verwijderen.
Spectrale Partitionering: Het frequentievlak van de latente ruimte wordt gepartitioneerd in $K$ concentrische radiale ringen. Ring 0 beslaat lage frequenties (globale structuur), terwijl Ring $K-1$ hoge frequenties (fijne textuur) beslaat.
Frequentie-gecontroleerde Probing:
- Injectie: Bandbeperkte ruis ( $\eta^{(k)}$ ) wordt geïnjecteerd in een specifieke frequentiering $k$ op een gekozen tijdstap $t$ .
- Denoiser Query: De denoiser $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ wordt bevraagd om de ruis te voorspellen.
- Residu-analyse: Het residu $r = \hat{\eta} - \eta^{(k)}$ wordt berekend. De energie van dit residu wordt gemeten over alle output-frequentieringen $j$ .
- Koppelingsmatrix: Dit levert een koppelingsmatrix $C \in \mathbb{R}^{K \times K}$ op, waarbij $C[k, j]$ kwantificeert hoe energie geïnjecteerd in ring $k$ door de denoiser naar ring $j$ wordt gerouteerd. Deze matrix is een projectie van de Jacobiaan van de denoiser.
Signature Aggregatie:
- Metingen worden genomen over meerdere perturbatie-amplitudes ( $S$ ) en meerdere tijdstappen ( $T_n$ ) die het denoising-traject beslaan.
- De resulterende koppelingsmatrices worden geconcateneerd en geflaten om een hoogdimensionale signature-vector $\Phi(M, z_0)$ te vormen.
- Prototype Constructie: Voor elk model wordt een prototype signature $\Psi(M)$ gemaakt door de signatures van $N$ referentieafbeeldingen te middelen. Rij-normalisatie wordt toegepast om inhoud-afhankelijke schaalvariaties te verwijderen.
Identificatie: Een query-afbeelding wordt gecodeerd, beproefd om zijn signature te genereren, en vergeleken met opgeslagen prototypen met behulp van een nearest-prototype match (argmin) of een getrainde lineaire classifier (LinearSVC).

3. Belangrijkste Bijdragen

SDS-Framework: Een niet-invasieve attributiemethode die de spectrale geometrie van de denoiser beproeft via enkel standaard forward passes, zonder dat inversie, optimalisatie of modelwijziging nodig is.
Intrinsieke Modelsignaturen: Demonstratie dat spectrale koppelingssignaturen model-intrinsiek, distortie-robuust en discriminerend zijn over variaties in trainingsdata, architectuur en trainingsprocedures.
Oplossing voor Baseline Falen: Bewijs dat het direct beproeven van de denoiser het fundamentele falen van bestaande inversie-gebaseerde baselines oplost wanneer modellen dezelfde autoencoder delen.

4. Experimentele Resultaten

De methode werd geëvalueerd op een closed-set taak met acht diverse diffusiemodellen (inclusief Stable Diffusion v1.4/v1.5, SDXL, PixArt-α en fine-tuned varianten) met variërende trainingsdata, architecturen en trainingsprocedures.

Attributienauwkeurigheid: SDS bereikte een nauwkeurigheid van ≈99,9% over de acht modellen met behulp van een LinearSVC classifier. Het onderscheidde succesvol tussen SD v1.4 en SD v1.5 (die bijna alle gewichten en dezelfde VAE delen), een geval waarbij output-gebaseerde features volledig faalden.
Cross-Domain Generalisatie: Wanneer prototypes gebouwd uit SD-prompts werden getest op afbeeldingen gegenereerd vanuit MS-COCO prompts, behield LinearSVC een nauwkeurigheid van 96,2%, een daling van slechts 3,8 procentpunt. Dit geeft aan dat de signatures grotendeels model-intrinsiek zijn en niet prompt-afhankelijk.
Robuustheid: SDS bleef zeer robuust tegen sterke post-processing distorties (rotatie, JPEG-compressie, cropping, helderheidsschaal, ruis en blur). Hoewel pixel-ruimte distorties de beeldkwaliteit aanzienlijk verslechterden, bleef de spectrale routing-signature intact, waarbij LinearSVC zelfs onder zware ruis en blur een nauwkeurigheid van >90% behaalde.
Baseline Vergelijking:
- RONAN en LATENTTRACER (inversie-gebaseerd) vervielen tot ~20–27% nauwkeurigheid (nabij willekeurige kans) voor de vijf modellen die dezelfde VAE delen.
- SDS bereikte 100% nauwkeurigheid op deze zelfde modellen, waarmee het de beste baseline (LATENTTRACER) met 55 procentpunt overtrof en RONAN met 70 procentpunt op de meest uitdagende modelparen.

5. Betekenis en Claims

Het artikel claimt dat modelidentiteit is gecodeerd in de spectrale geometrie van de Jacobiaan van de denoiser, en niet in de gegenereerde outputs. Deze bevinding vestigt een principieel fundament voor attributie dat onafhankelijk is van de specifieke gebruikte autoencoder.

Praktische Bruikbaarheid: SDS vereist alleen standaard forward passes, waardoor het toepasbaar is op het enorme ecosysteem van bestaande open-source diffusiemodellen zonder de noodzaak voor hertraining of watermarking.
Fundamenteel Inzicht: Het werk demonstreert dat zelfs wanneer modellen visueel convergeren naar vergelijkbare scorefuncties, ze nog steeds onderscheidende "spectrale vingerafdrukken" behouden in de manier waarop ze energie door frequentiebanden routeren.
Beperkingen: De auteurs erkennen dat SDS momenteel opereert in een closed-set setting (het bronmodel moet in het register staan) en white-box toegang vereist tot de gewichten van het kandidaat-model (hoewel dit wordt voldaan door open-source modellen). Het detecteert geen manipulatie na de generatie.

Samenvattend betogen de auteurs dat door de focus te verschuiven van wat een model genereert naar hoe het denoiset, men een betrouwbare, niet-invasieve attributie kan bereiken, zelfs in de meest uitdagende scenario's waarin modellen architecturen en autoencoders delen.