Detecting and Mitigating Memorization in Diffusion Models through Anisotropy of the Log-Probability

Riassunto Tecnico: Rilevamento e Mitigazione della Memorizzazione nei Modelli di Diffusione tramite l'Anisotropia della Log-Probabilità

1. Il Problema: Il limite dei metodi basati sulla norma

I modelli di diffusione (come Stable Diffusion) sono soggetti al fenomeno della memorizzazione, ovvero la tendenza a riprodurre copie quasi esatte di immagini presenti nel dataset di addestramento. Questo solleva gravi problemi di privacy, copyright e bias.

Le metodologie recenti per rilevare la memorizzazione si sono concentrate sulla norma della differenza tra i punteggi (score) condizionali e incondizionali. Tuttavia, gli autori dimostrano che questi metodi basati sulla norma funzionano efficacemente solo se la distribuzione della log-probabilità è isotropa (ovvero, la curvatura è la stessa in tutte le direzioni).

• Nei livelli di rumore elevati/medi, la distribuzione è approssimativamente isotropa e la norma è un buon indicatore.
• Nei livelli di rumore bassi (vicino al manifold dei dati), la distribuzione diventa anisotropa (la curvatura varia drasticamente a seconda della direzione). In questo regime, un'alta norma in una direzione può essere compensata da una bassa norma in un'altra, portando a falsi negativi e rendendo i metodi basati sulla norma inefficaci.

2. Metodologia Proposta

Gli autori introducono un approccio che sfrutta la geometria della log-probabilità in entrambi i regimi (isotropo e anisotropo).

A. Caratterizzazione dell'Anisotropia:
Il paper dimostra teoricamente che, nel regime anisotropo a basso rumore, la memorizzazione si manifesta come un forte allineamento angolare tra il vettore di guida (la differenza tra score condizionale e incondizionale) e lo score incondizionale stesso. In altre parole, per i campioni memorizzati, la condizione non introduce nuove direzioni, ma rinforza la direzione già indicata dallo score incondizionale.

B. Nuova Metrica di Rilevamento (Denoising-free):
Invece di eseguire l'intero processo di denoising (costoso computazionalmente), gli autori propongono una metrica calcolata direttamente su input di puro rumore ($x_T$) tramite due passaggi in avanti (forward passes):
La metrica $M(x_T, c)$ è una somma pesata di due componenti:

1. Componente Anisotropa (Basso rumore): La cosine similarity tra il vettore di guida e lo score incondizionale.
2. Componente Isotropa (Alto rumore): La norma della differenza tra gli score.

C. Strategia di Mitigazione:
Per mitigare la memorizzazione durante l'inferenza, gli autori utilizzano la metrica come funzione di perdita ($Loss$) per ottimizzare i prompt embeddings tramite discesa del gradiente. L'obiettivo è trovare un embedding del prompt che minimizzi la probabilità di generazione di un'immagine memorizzata, mantenendo però l'allineamento semantico.

3. Contributi Chiave

• Identificazione del limite teorico: Dimostrazione che le metriche basate sulla norma falliscono nel regime anisotropo (basso rumore).
• Nuova prospettiva geometrica: Introduzione dell'allineamento angolare come indicatore di memorizzazione nel regime anisotropo.
• Efficienza computazionale: Sviluppo di una metrica "denoising-free" che richiede solo due passaggi del modello, eliminando la necessità di iterazioni di denoising.
• Mitigazione efficace: Un metodo di ottimizzazione dei prompt che riduce la somiglianza con i dati di training senza sacrificare la qualità estetica o la coerenza testuale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Stable Diffusion v1.4 e v2.0.

• Rilevamento (Detection):
  • La metrica proposta supera i metodi allo stato dell'arte (come quelli di Wen et al. e Jeon et al.) in termini di AUC (Area Under Curve) e TPR@1%FPR (True Positive Rate al 1% di False Positive Rate).
  • Velocità: Il metodo è circa 5 volte più veloce rispetto ai precedenti migliori approcci, grazie all'assenza di passaggi di denoising.
• Mitigazione (Mitigation):
  • Testata sul benchmark MemBench, la strategia di ottimizzazione dei prompt produce immagini che hanno una somiglianza molto bassa con i campioni memorizzati (basso score SSCD), pur mantenendo un alto punteggio CLIP (allineamento testo-immagine) e un alto Aesthetic Score (qualità visiva).

5. Significato e Impatto

Questo lavoro fornisce uno strumento fondamentale per rendere i modelli generativi più sicuri e rispettosi del copyright. Dimostrando che la "firma" della memorizzazione non è solo una questione di intensità (norma), ma anche di direzione (allineamento angolare), gli autori offrono un metodo più robusto, rapido e preciso per identificare e prevenire la riproduzione non intenzionale di dati sensibili durante la generazione di immagini.