Sintesi Tecnica: Attribuzione di Modelli di Diffusione tramite Accoppiamento Spettrale delle Risposte del Denoiser

1. Definizione del Problema

Il documento affronta la sfida dell'attribuzione dei modelli di diffusione: determinare quale specifico modello di diffusione ha generato una determinata immagine. Ciò è fondamentale per la verifica della provenienza, la protezione della proprietà intellettuale e il rilevamento di usi impropri.

La difficoltà principale risiede nel fatto che i modelli di diffusione addestrati su dataset differenti spesso convergono verso funzioni di score simili, producendo output visivamente indistinguibili. Di conseguenza, i metodi di attribuzione che si basano esclusivamente sulle immagini generate (segnali nello spazio di output) affrontano un'ambiguità intrinseca. Gli approoli non invasivi esistenti soffrono di limitazioni fondamentali:

• I metodi basati su classificatori faticano a distinguere varianti architettonicamente simili che producono output visivamente simili.
• I metodi basati su inversione (ad es., RONAN, LATENTTRACER) si affidano alle perdite di ricostruzione. Quando i modelli candidati condividono lo stesso autoencoder (VAE), queste perdite diventano prive di informazione, causando il collasso di tali metodi verso il caso casuale.
• I metodi invasivi (ad es., watermarking) richiedono la modifica o il riaddestramento del modello, il che degrada la qualità della generazione e non è applicabile ai modelli open-source esistenti.

Il documento postula che il segnale discriminativo non risieda nell'output generato, ma nella funzione di denoising stessa, specificamente nella sua geometria spettrale.

2. Metodologia: Firme Spettrali di Denoising (SDS)

Gli autori propongono le Firme Spettrali di Denoising (SDS), un metodo di attribuzione non invasivo che identifica un modello sondando il suo comportamento di denoising piuttosto che analizzandone gli output.

Intuizione Centrale

La funzione di score di denoising di un modello esibisce una geometria spettrale distintiva, riflessa nel modo in cui ridistribuisce l'energia attraverso le bande di frequenza spaziale durante il processo di denoising. Questo comportamento è intrinseco alla funzione di score appresa dal modello ed è indipendente dal particolare prompt o dal seed di rumore utilizzato per la generazione.

La Pipeline SDS

1. Standardizzazione: Per garantire che le firme riflettano l'identità del modello e non artefatti, tutti i modelli candidati utilizzano un VAE condiviso per codificare le immagini di input in uno spazio latente ($z_0$) coerente e uno scheduler condiviso. Il sondaggio viene eseguito con embedding testuali vuoti per rimuovere i segnali dipendenti dal prompt.
2. Partizione Spettrale: Il piano delle frequenze dello spazio latente è partizionato in $K$ anelli radiali concentrici. L'Anello 0 copre le basse frequenze (struttura globale), mentre l'Anello $K-1$ copre le alte frequenze (trama fine).
3. Sondaggio Controllato in Frequenza:
   • Iniezione: Un rumore a banda limitata ($\eta^{(k)}$) viene iniettato in un anello di frequenza $k$ specifico a un timestep $t$ scelto.
   • Query del Denoiser: Il denoiser $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ viene interrogato per predire il rumore.
   • Analisi del Residuo: Il residuo $r = \hat{\eta} - \eta^{(k)}$ viene calcolato. L'energia di questo residuo viene misurata attraverso tutti gli anelli di frequenza di output $j$.
   • Matrice di Accoppiamento: Ciò produce una matrice di accoppiamento $C \in \mathbb{R}^{K \times K}$, dove $C[k, j]$ quantifica come l'energia iniettata nell'anello $k$ venga instradata all'anello $j$ dal denoiser. Questa matrice è una proiezione dello Jacobiano del denoiser.
4. Aggregazione della Firma:
   • Le misurazioni sono effettuate attraverso molteplici ampiezze di perturbazione ($S$) e molteplici timestep ($T_n$) che coprono l'intera traiettoria di denoising.
   • Le matrici di accoppiamento risultanti vengono concatenate e appiattite per formare un vettore di firma ad alta dimensione $\Phi(M, z_0)$.
   • Costruzione del Prototipo: Per ogni modello, viene creato un prototipo di firma $\Psi(M)$ mediando le firme di $N$ immagini di riferimento. Viene applicata la normalizzazione per riga per rimuovere le variazioni di scala dipendenti dal contenuto.
5. Identificazione: Un'immagine di query viene codificata, sondata per generare la sua firma e confrontata con i prototipi memorizzati tramite un match al prototipo più vicino (argmin) o un classificatore lineare addestrato (LinearSVC).

3. Contributi Chiave

1. Framework SDS: Un metodo di attribuzione non invasivo che sonda la geometria spettrale del denoiser attraverso soli passaggi forward standard, senza richiedere inversione, ottimizzazione o modifica del modello.
2. Firme del Modello Intrinseche: Dimostrazione che le firme di accoppiamento spettrale sono intrinseche al modello, robuste alle distorsioni e discriminanti rispetto alle variazioni di dati di addestramento, architettura e procedure di addestramento.
3. Risoluzione dei Modi di Fallimento dei Baseline: Prova del fatto che il sondaggio diretto del denoiser risolve il fallimento fondamentale degli esistenti baseline basati su inversione quando i modelli condividono lo stesso autoencoder.

4. Risultati Sperimentali

Il metodo è stato valutato su un compito a set chiuso coinvolgendo otto diversi modelli di diffusione (inclusi Stable Diffusion v1.4/v1.5, SDXL, PixArt-α e varianti fine-tuned) con differenti dati di addestramento, architetture e procedure di addestramento.

• Accuratezza di Attribuzione: SDS ha raggiunto un'accuratezza ≈99,9% tra gli otto modelli utilizzando un classificatore LinearSVC. Ha distinto con successo tra SD v1.4 e SD v1.5 (che condividono quasi tutti i pesi e lo stesso VAE), un caso in cui le feature basate sull'output sono fallite completamente.
• Generalizzazione Cross-Domain: Quando i prototipi costruiti con prompt SD sono stati testati su immagini generate da prompt MS-COCO, il LinearSVC ha mantenuto un'accuratezza del 96,2%, con un calo di soli 3,8 punti percentuali. Ciò indica che le firme sono largamente intrinseche al modello e non dipendenti dal prompt.
• Robustezza: SDS è rimasto altamente robusto contro forti distorsioni di post-elaborazione (rotazione, compressione JPEG, ritaglio, scalatura della luminosità, rumore e sfocatura). Mentre le distorsioni nello spazio dei pixel degradavano significativamente la qualità dell'immagine, la firma di routing spettrale rimaneva intatta, con il LinearSVC che raggiungeva un'accuratezza >90% anche sotto forte rumore e sfocatura.
• Confronto con i Baseline:
  • RONAN e LATENTTRACER (basati su inversione) sono crollati a un'accuratezza del ~20–27% (vicino al caso casuale) per i cinque modelli che condividono lo stesso VAE.
  • SDS ha raggiunto il 100% di accuratezza su questi stessi modelli, superando il miglior baseline (LATENTTRACER) di 55 punti percentuali e RONAN di 70 punti percentuali sulle coppie di modelli più impegnative.

5. Significato e Rivendicazioni

Il documento sostiene che l'identità del modello è codificata nella geometria spettrale dello Jacobiano del denoiser, non negli output generati. Questa scoperta stabilisce una base rigorosa per l'attribuzione che è indipendente dall'autoencoder specifico utilizzato.

• Praticità: SDS richiede solo passaggi forward standard, rendendolo applicabile al vasto ecosistema di modelli di diffusione open-source esistenti senza necessità di riaddestramento o watermarking.
• Intuizione Fondamentale: Il lavoro dimostra che anche quando i modelli convergono verso funzioni di score visivamente simili, mantengono "impronte digitali spettrali" distinte nel modo in cui instradano l'energia attraverso le bande di frequenza.
• Limitazioni: Gli autori riconoscono che l'SDS opera attualmente in un contesto a set chiuso (il modello sorgente deve essere nel registro) e richiede l'accesso white-box ai pesi del modello candidato. Non rileva la manipolazione post-generazione.

In sintesi, il documento argomenta che spostando l'attenzione da cosa un modello genera a come esso esegue il denoising, è possibile ottenere un'attribuzione affidabile e non invasiva anche negli scenari più difficili in cui i modelli condividono architetture e autoencoder.