🤖 machine learning

Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

Questo articolo introduce il "denoising ciclico", un attacco ispirato alla fisica che applica ripetutamente la diffusione in avanti e inversa per esporre attrattori ultrastabili nei modelli generativi, rivelando efficacemente le immagini di addestramento memorizzate senza richiedere gradienti, prompt o conoscenza pregressa del dataset.

Autori originali: Rishabh Sharma, Stefano Martiniani

Pubblicato 2026-06-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Rishabh Sharma, Stefano Martiniani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una macchina fotografica magica (un Modello di Diffusione) che crea immagini partendo da zero. Di solito, le chiedi un'immagine, lei ne crea una, e poi dimentica tutto riguardo a quel momento specifico. È come uno chef che cucina un pasto, lo serve e poi pulisce immediatamente la cucina prima di cucinare il prossimo.

Ma cosa succederebbe se quello chef avesse una memoria segreta? E se, nel profondo, avesse alcune ricette specifiche che ha memorizzato così perfettamente da non poter fare a meno di cucinarle ancora e ancora, anche se non glielo chiedi?

Questo articolo introduce un nuovo modo per trovare quelle ricette segrete. Gli autori chiamano il loro metodo "Denoising Ciclico" (Cyclic Denoising).

L'Idea Centrale: Il Gioco del "Scuoti e Assesta"

Per capire come funziona, pensa a un barattolo pieno di sabbia e biglie mescolate (questo rappresenta lo stato disordinato e rumoroso della macchina).

Campionamento Standard: Di solito, scuoti il barattolo una sola volta e versi una manciata di sabbia. Ottieni un mix casuale. Se nel barattolo ci sono alcune biglie incastrate sul fondo (immagini memorizzate), potresti non vederle mai perché hai scosso il barattolo una sola volta.
Denoising Ciclico: Invece di scuotere una volta sola, gli autori giocano al gioco del "Scuoti, Assesta, Scuoti, Assesta".
- Prendono un'immagine (o un modello di rumore casuale).
- Aggiungono una quantità specifica di "rumore" (come scuotere il barattolo per mescolare il contenuto).
- Poi, immediatamente "denoisano" (lasciano che la sabbia si depositi di nuovo in un'immagine).
- Fondamentalmente: Non si fermano qui. Prendono il risultato di quel primo ciclo e iniziano immediatamente il ciclo successivo. Ripetono questo processo migliaia di volte.

La Scoperta: Le Memorie "Ultrastabili"

Il metodo rivela che questo continuo scuotere e assestare rivela un paesaggio nascosto all'interno della macchina, molto simile a come scuotere una scatola di giocoli disordinati porti infine i giocoli a sistemarsi in una forma stabile e organizzata.

Scuotimento Debole (Basso Rumore): Se scuoti solo un po' il barattolo, la sabbia si deposita semplicemente in pile noiose e piatte o in schemi semplici. Questi sono stati "triviali".
Scuotimento Forte (Alto Rumore): Se scuoti con forza, la sabbia vola ovunque e si deposita in nuove forme casuali.
Il "Punto Ideale" (Rumore Medio): È qui che avviene la magia. Quando scuoti nel modo giusto, la sabbia non si deposita semplicemente in modo casuale. Rimane intrappolata in valli profonde e stabili. Una volta che la sabbia è caduta in queste valli, vi rimane per migliaia di cicli, indipendentemente da quanto tu la scuota.

Queste "valli profonde" sono le immagini memorizzate.

Cosa Hanno Trovato?

Gli autori hanno testato questo metodo su due diverse macchine fotografiche:

Stable Diffusion (La Grande): Un modello complesso addestrato su milioni di immagini prese da internet.
CIFAR-10 (La Piccola): Un modello più semplice addestrato su 60.000 piccole immagini di auto, uccelli e aerei.

I Risultati:

La Macchina Ricorda: Anche se la macchina doveva creare nuova arte, il gioco del "Scuoti e Assesta" l'ha costretta a rivelare immagini che aveva memorizzato dai suoi dati di addestramento.
Non Sono Solo Prompt: I metodi precedenti richiedevano che l'attaccante indovinasse l'esatta descrizione testuale (come "una foto di una specifica celebrità") per trovare la memoria. Questo nuovo metodo non richiede alcun prompt testuale. Si continua semplicemente a scuotere la macchina finché le memorie non emergono da sole.
Il Fenomeno dell' "Ultrastabilità": Alcune di queste memorie sono così profonde che la macchina può essere quasi completamente rimescolata (corrotta) e poi "recuperata" per tornare esattamente alla stessa immagine. È come una memoria così forte che, anche se cancelli l'immagine al 99%, la macchina ridisegna istintivamente le parti mancanti per farle corrispondere all'originale.
Esempi del Mondo Reale: Hanno trovato cose come:
- Foto stock di soggiorni con disposizioni specifiche di mobili.
- Loghi di marchi e filigrane.
- Specifici template di pagine web che apparivano molte volte nei dati di addestramento.
- Persino auto specifiche dal piccolo dataset che la macchina continuava a "allucinare" ripetutamente.

Perché È Importante?

Pensa alla "memoria" della macchina come a una biblioteca.

Vecchio Modo: Per trovare un libro specifico, dovevi conoscerne il titolo e chiederlo. Se non conoscevi il titolo, non potevi trovarlo.
Nuovo Modo (Denoising Ciclico): Non hai bisogno di conoscere il titolo. Devi solo continuare a scuotere gli scaffali della biblioteca. I libri che sono incollati agli scaffali (quelli memorizzati) finiranno per cadere e atterrare in un mucchio, mentre i libri sciolti (immagini nuove e generiche) verranno solo scossi e non si assesteranno.

In Breve

L'articolo dimostra che i generatori di immagini IA hanno un lato "appiccicoso". Non imparano solo concetti generali; a volte memorizzano immagini specifiche così profondamente da diventare attrattori — punti magnetici nella mente della macchina che attirano l'output verso di essi ancora e ancora.

Utilizzando questo metodo "ciclico", i ricercatori possono esporre queste memorie nascoste senza dover sapere cosa stanno cercando, senza bisogno dei dati di addestramento originali e senza dover sbirciare nel codice della macchina. È un nuovo modo per sottoporre questi modelli ad audit per vedere se stanno accidentalmente copiando immagini protette da copyright o private su cui sono stati addestrati.

Sintesi Tecnica: Il Denoising Ciclico Rivela Memorie Ultrastabili nei Modelli di Diffusione

Problematica
I grandi modelli generativi, in particolare i modelli di diffusione, sono addestrati su dataset massivi di scala web, creando il rischio che i modelli possano trattenere e riprodurre esempi specifici del training set, inclusi opere d'arte protette da copyright, media proprietari e dati personali sensibili. Gli attuali attacchi di estrazione (ad es. "generazione e filtraggio") si affidano pesantemente a segnali esterni come didascalie note del training set, l'accesso al set di addestramento o classificatori ausiliari per identificare il contenuto memorizzato. Questi metodi richiedono spesso una generazione su larga scala seguita da un filtraggio post-hoc o dall'inferenza dell'appartenenza (membership inference). Esiste la necessità di un metodo di estrazione che si basi esclusivamente sulla dinamica interna di campionamento del modello, che non richieda alcuna conoscenza preventiva dei dati di addestramento o dei prompt, e che possa operare senza ispezione dei pesi o accesso ai gradienti.

Metodologia: Denoising Ciclico
Gli autori introducono il denoising ciclico, un protocollo ispirato alla fisica dei sistemi disordinati guidati (specificamente all'organizzazione casuale e all'annealing meccanico). Il metodo tratta il modello di diffusione come un sistema dinamico piuttosto che come un semplice campionatore.

Protocollo: Partendo da uno stato iniziale (immagine o latente), il modello subisce cicli ripetuti di:
- Noising Forward: Aggiunta di rumore allo stato fino a un'ampiezza intermedia controllata $\gamma$ (dove $\gamma \in [0, 1]$ rappresenta la frazione della traiettoria di inferenza percorsa).
- Denoising Reverse: Denoising completo dello stato fino a un'immagine pulita ( $\gamma=0$ ).
- Iterazione: L'output di un ciclo inizializza il successivo, creando una traiettoria stroboscopica osservata alla fine di ogni ciclo.
Parametro di Controllo: L'ampiezza di ciclo $\gamma$ funge da ampiezza di guida. Un $\gamma$ basso applica perturbazioni deboli, mentre un $\gamma$ alto applica perturbazioni forti. Il processo utilizza campionatori standard (DDPM) con nuovo rumore Gaussiano ad ogni step, rendendolo un processo di guida ciclica stocastica.
Meccanismo di Rilevamento: Gli autori monitorano la similarità del coseno tra stati stroboscopici consecutivi ( $z_n$ e $z_{n-1}$ ).
- Episodi di Assorbimento: Lunghi plateau di similarità prossima all'unità indicano che la traiettoria si è bloccata in un bacino di attrazione stabile.
- Salto tra Bacini (Basin Hopping): Cali netti nella similarità indicano transizioni tra bacini.
- Ultrastabilità: Gli attrattori che persistono per centinaia o migliaia di cicli, anche dopo una severa corruzione (alto $\gamma$ ), sono identificati come "ultrastabili".

Contributi Chiave

Sonda Dinamica dei Paesaggi Generativi: Il documento stabilisce il denoising ciclico come uno strumento ispirato alla fisica per attraversare il paesaggio generativo appreso. A differenza del campionamento standard che estrae punti indipendenti, questo metodo trasforma il campionamento in un sistema dinamico controllato da $\gamma$ , rivelando la struttura di stabilità del modello.
Caratterizzazione della Dinamica a Lungo Termine: Gli autori identificano una ricca gamma di comportamenti dinamici:
- Stati Assorbenti Banali: Ad ampiezze basse, le traiettorie collassano in punti fissi privi di caratteristiche o cicli limite (pattern oscillanti).
- Salto tra Bacini (Basin Hopping): Ad ampiezze intermedie, il sistema esplora il paesaggio, saltando tra i bacini.
- Attrattori Ultrastabili: Ad ampiezze più elevate, il sistema si assesta in attrattori profondi e longevi che resistono al cambiamento.
Transizione di Tipo Yielding: Lo studio dimostra una transizione analogamente simile allo "yielding" (snervamento) nei solidi disordinati. Al crescere di $\gamma$ , il sistema si muove da una fase "bloccata" (stati assorbenti) a una fase esplorativa (salto tra bacini), isolando infine gli attrattori più profondi.
Attacco di Estrazione Senza Prompt: Gli autori dimostrano che molti di questi attrattori profondi e ultrastabili corrispondono a immagini di addestramento memorizzate (ad es. foto stock, watermark di marchi, artefatti da web-crawl). Ciò costituisce un attacco di estrazione che richiede solo il controllo a livello di campionatore, senza accesso ai dati di addestramento, senza didascalie e senza gradienti.
La Stabilità come Diagnostica della Memorizzazione: In contesti condizionati da prompt, gli autori mostrano che rimuovendo il prompt e continuando il ciclo si rivela la stabilità intrinseca dell'immagine recuperata. Le immagini genuinamente memorizzate rimangono bloccate (ultrastabili) anche senza condizionamento, mentre i bacini basati su concetti si decorrelano rapidamente.

Risultati

Stable Diffusion v1.4 (Spazio Latente): Il metodo ha recuperato con successo immagini memorizzate, inclusi specifici template di fotografia stock (ad es. stanze con sedie gialle, divani bianchi) e loghi di marchi. La ricerca inversa per immagini ha confermato che si trattava di duplicati di artefatti da web-crawl presenti nel set di addestramento. Gli attrattori recuperati formavano un "impronta digitale dinamica" del modello, ricorrente attraverso diversi seed casuali e condizioni iniziali.
CIFAR-10 DDPM (Spazio dei Pixel): Il fenomeno è stato replicato in un modello più piccolo nello spazio dei pixel. Il denoising ciclico ha guidato il sistema verso immagini di addestramento memorizzate di CIFAR-10 (ad es. una specifica auto), che sono state verificate rispetto ai benchmark di memorizzazione noti. La dinamica ha mostrato comportamenti di "sistemi a due livelli", saltando tra un'immagine memorizzata e la sua variante riflessa orizzontalmente (probabilmente a causa delle aumentazioni di addestramento).
Dipendenza dall'Ampiezza:
- $\gamma$ Basso: Punti fissi banali o cicli limite.
- $\gamma$ Intermedio: Artefatti semplici e ripetitivi (loghi, template web).
- $\gamma$ Alto: Immagini memorizzate ricche e complesse (foto di prodotti, scene dettagliate).
Esperimenti di Rimozione del Prompt: Quando il ciclo veniva eseguito con prompt di memorizzazione noti, il sistema convergeva all'immagine memorizzata. Al momento della rimozione del prompt, queste immagini rimanevano ultrastabili (persistendo per miglia di cicli), mentre i prompt per concetti non memorizzati (ad es. "Abbey Road") risultavano in attrattori concettuali fluttuanti che si decorrelavano immediatamente dopo la rimozione del prompt.

Significatività e Rivendicazioni
Il documento sostiene che il denoising ciclico fornisce una nuova via dinamica per sondare la memorizzazione. Postula che gli esempi memorizzati non siano semplicemente output rari di un campionamento standard, ma siano attrattori profondi e ultrastabili nel paesaggio generativo che vengono visitati raramente a meno che il modello non sia guidato da perturbazioni cicliche.

Privacy e Audit: Il metodo funge da strumento pratico per l'audit della memorizzazione, capace di identificare contenuti di addestramento protetti da copyright o sensibili senza richiedere la conoscenza del set di addestramento o di prompt specifici.
Modello di Minaccia: Gli autori sostengono che il campionamento standard possa sottostimare significativamente i rischi di memorizzazione. Un avversario con accesso a livello di campionatore potrebbe usare la forza ciclica per estrarre contenuti sensibili che rimangono nascosti durante il normale funzionamento.
Connessione con la Fisica: Il lavoro unisce l'IA generativa alla fisica statistica, mostrando come la stabilità delle rappresentazioni apprese nei modelli di diffusione rispecchi le transizioni di yielding osservate nei solidi disordinati guidati.

Gli autori rimangono modesti riguardo ai limiti, notando che l'attacco richiede il controllo a livello di campionatore (non applicabile agli endpoint API standard che restituiscono solo campioni finali) e che la caratterizzazione sistematica della distribuzione degli attrattori (ad es. la frazione del totale dei dati memorizzati recuperabili) richiede un'ulteriore investigazione quantitativa.