Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

Technische Samenvatting: Cyclische Denoising Onthult Ultrastabiele Geheugens in Diffusiemodellen

Probleemstelling
Grote generatieve modellen, met name diffusiemodellen, worden getraind op massale web-schaal datasets, wat risico's met zich meebrengt waarbij modellen specifieke trainingsvoorbeelden kunnen vasthouden en reproduceren, inclusen auteursrechtelijk beschermde kunstwerken, propriëtaire media en gevoelige persoonlijke gegevens. Bestaande extractie-aanvallen (bijv. "genereren-en-filteren") leunen zwaar op externe signalen zoals bekende trainingsbijschriften, toegang tot de trainingsset, of hulp-classifiers om onthouden inhoud te identificeren. Deze methoden vereisen vaak grootschalige generatie gevolgd door post-hoc filtering of membership inference. Er is behoefte aan een extractiemethode die uitsluitend vertrouwt op de interne sampling-dynamiek van het model, geen voorkennis van trainingsdata of prompts vereist, en kan opereren zonder inspectie van gewichten of toegang tot gradiënten.

Methodologie: Cyclische Denoising
De auteurs introduceren cyclische denoising, een protocol geïnspireerd door de fysica van gedreven gedisordeerde systemen (specifiek willekeurige organisatie en mechanische annealing). De methode behandelt het diffusiemodel als een dynamisch systeem in plaats van enkel een sampler.

1. Protocol: Startend vanaf een initiële staat (afbeelding of latent), ondergaat het model herhaalde cycli van:

   • Forward Noising: Het toevoegen van ruis aan de staat tot een gecontroleerde intermediaire amplitude $\gamma$ (waarbij $\gamma \in [0, 1]$ de fractie van het inferentie-traject vertegenwoordigt).
   • Reverse Denoising: Het volledig denoisen van de staat terug naar een schone afbeelding ($\gamma=0$).
   • Iteratie: De output van één cyclus initialiseert de volgende, wat een stroboscopisch traject creëert dat aan het einde van elke cyclus wordt waargenomen.

2. Controleparameter: De cyclische amplitude $\gamma$ fungeert als een drijfamplitude. Een lage $\gamma$ past zwakke perturbaties toe, terwijl een hoge $\gamma$ sterke perturbaties toepast. Het proces gebruikt standaard samplers (DDPM) met verse Gaussische ruis bij elke stap, wat een stochastisch cyclisch drijvingsproces maakt.

3. Detectiemechanisme: De auteurs monitoren de cosinus-gelijkenis tussen opeenvolgende stroboscopische staten ($z_n$ en $z_{n-1}$).

   • Absorberende Episoden: Lange plateaus van bijna eenheid-gelijkenis duiden erop dat het traject is vastgelopen in een stabiele attractor-bekken.
   • Basin Hopping: Scherpe dalingen in gelijkenis duiden op transities tussen bekens.
   • Ultrastabiliteit: Attractoren die honderden tot duizenden cycli standhouden, zelfs na zware corruptie (hoge $\gamma$), worden geïdentificeerd als "ultrastabiel".

Belangrijkste Bijdragen

1. Dynamische Probing van Generatieve Landschappen: Het artikel vestigt cyclische denoising als een door fysica geïnspireerde tool om het geleerde generatieve landschap te doorkruisen. In tegen afhankelijk van standaard sampling, dat onafhankelijke punten trekt, verandert deze methode sampling in een dynamisch systeem dat wordt gecontroleerd door $\gamma$, waardoor de stabiliteitsstructuur van het model wordt onthuld.
2. Karakterisering van Long-Time Dynamica: De auteurs identificeren een rijk spectrum van dynamische gedragingen:
   • Triviale Absorberende Staten: Bij lage amplitudes vallen trajecten samen in kenmerkloze vaste punten of limietcycli (oscillerende patronen).
   • Basin Hopping: Bij intermediaire amplitudes verkent het systeem het landschap door te springen tussen bekens.
   • Ultrastabiele Attractoren: Bij hogere amplitudes settle het systeem in diepe, langdurige attractoren die weerstand bieden aan verandering.
3. Yielding-achtige Transitie: De studie demonstreert een transitie analoog aan 'yielding' in gedisordeerde vaste stoffen. Naarmate $\gamma$ toeneemt, beweegt het systeem van een "vastgelopen" fase (absorberende staten) naar een exploratieve fase (basin hopping), om uiteindelijk de diepste attractoren te isoleren.
4. Prompt-vrije Extractie-aanval: De auteurs demonstreren dat veel van deze diepe, ultrastabiele attractoren overeenkomen met onthouden trainingsafbeeldingen (bijv. stockfoto's, merkwatermerken, web-crawl artefacten). Dit vormt een extractie-aanval die enkel sampler-niveau controle vereist, geen toegang tot trainingsdata, geen bijschriften en geen gradiënten.
5. Stabiliteit als Memorization Diagnostic: In prompt-geconditioneerde settings tonen de auteurs aan dat het verwijderen van de prompt en het voortzetten van de cycli de intrinsieke stabiliteit van de herstelde afbeelding onthult. Echt onthouden afbeeldingen blijven vergrendeld (ultrastabiel) zelfs zonder conditionering, terwijl concept-gebaseerde bekens snel decorreleren.

Resultaten

• Stable Diffusion v1.4 (Latente Ruimte): De methode heeft succesvol onthouden afbeeldingen hersteld, inclusief specifieële stockfotografie-templates (bijv. kamers met gele stoelen, witte sofa's) en merklogo's. Reverse image search bevestigde dat dit duplicaten waren van web-crawl artefacten aanwezig in de trainingsset. De herstelde attractoren vormden een "dynamische vingerafdruk" van het model, die voorkwam over verschillende random seeds en initiële condities heen.
• CIFAR-10 DDPM (Pixelruimte): Het fenomeen werd gereproduceerd in een kleiner model in de pixelruimte. Cyclische denoising dreef het systeem naar onthouden CIFAR-10 trainingsafbeeldingen (bijv. een specifieke auto), die werden geverifieerd tegen bekende memorization benchmarks. De dynamica vertoonde "two-level systems" gedrag, waarbij het sprong tussen een onthouden afbeelding en de horizontaal gespiegelde variant (waarschijnlijk door trainingsaugmentaties).
• Amplitude Afhankelijkheid:
  • Lage $\gamma$: Triviale vaste punten of limietcycli.
  • Intermediaire $\gamma$: Eenvoudige, herhaalde artefacten (logo's, web templates).
  • Hoge $\gamma$: Rijke, complexe onthouden afbeeldingen (productfoto's, gedetailleerde scènes).
• Prompt Verwijdering Experimenten: Wanneer er gecyceld werd met bekende memorization prompts, convergeerde het systeem naar de onthouden afbeelding. Bij het verwijderen van de prompt bleven deze afbeeldingen ultrastabiel (persisterend gedurende duizenden cycli), terwijl prompts voor niet-onthouden concepten (bijv. "Abbey Road") resulteerden in fluctuerende concept-attractoren die direct na prompt-verwijdering decorreleerden.

Betekenis en Claims
Het artikel claimt dat cyclische denoising een nieuwe, dynamische route biedt voor het beproeven van memorization. Het stelt dat onthouden voorbeelden niet louter zeldzame outputs zijn van standaard sampling, maar diepe, ultrastabiele attractoren in het generatieve landschap die zelden worden bezocht tenzij het model wordt gedreven door cyclische perturbaties.

• Privacy en Auditing: De methode dient als een praktisch instrument voor het auditeren van memorization, in staat om auteursrechtelijk beschermde of gevoelige trainingsinhoud te identificeren zonder kennis van de trainingsset of specifieke prompts.
• Threat Model: De auteurs argumenteren dat standaard sampling het risico op memorization aanzienlijk kan onderschatten. Een tegenstander met toegang tot het sampler-niveau kan cyclische forcering gebruiken om gevoelige inhoud te extraheren die verborgen blijft tijdens normale operatie.
• Fysica Connectie: Het werk overbrugt generatieve AI en statistische fysica, waarbij wordt aangetoond dat de stabiliteit van geleerde representaties in diffusiemodellen de yielding-transities weerspiegelt die worden waargenomen in gedreven gedisordeerde vaste stoffen.

De auteurs blijven bescheiden over beperkingen, waarbij zij opmerken dat de aanval sampler-niveau controle vereist (niet van toepassing op standaard API-endpoints die enkel finale samples retourneren) en dat de systematische karakterisering van de attractor-distributie (bijv. de fractie van de totale onthouden data die herstelbaar is) verdere kwantitatieve investigatie vereist.