Riepilogo Tecnico: La Memorizzazione in Stable Diffusion è Inaspettatamente Guidata dagli Embedding CLIP

Enunciato del Problema

I modelli di diffusione testo-immagine, in particolare Stable Diffusion, presentano un rischio critico per la privacy noto come memorizzazione, in cui il modello riproduce immagini specifiche del suo set di addestramento in risposta a determinati prompt. Ciò solleva preoccupazioni significative riguardo alle violazioni del copyright e alla fuoriuscita di dati privati. Sebbene ricerche precedenti abbiano indagato la memorizzazione attraverso la duplicazione dei dataset, i token attivatori e i pattern di attenzione incrociata, il ruolo dello spazio degli embedding testuali—in particolare come diversi componenti della sequenza di embedding contribuiscono alla memorizzazione—rimane poco esplorato. Questo lavoro ipotizza che la causa radice della memorizzazione in Stable Diffusion v1.4 non risieda meramente nei token stessi, ma in un disallineamento strutturale tra le dinamiche di addestramento del codificatore testuale CLIP e i meccanismi di inferenza del modello di diffusione.

Metodologia

Gli autori conducono un'indagine dettagliata sui vettori di embedding di Stable Diffusion, categorizzando i token di input in quattro tipi: <startoftext> ($v_{sot}$), token <prompt> ($v_{pr}$), <endoftext> ($v_{eot}$) e token <pad> ($v_{pad}$).

1. Analisi Empirica dei Contributi degli Embedding

Lo studio impiega interventi controllati durante l'inferenza per quantificare l'influenza di ciascun componente di embedding sui prompt memorizzati. Gli esperimenti includono:

• Mascheramento e Sostituzione: Mascheramento sistematico o sostituzione di specifici vettori di embedding (ad esempio, impostando $v_{pr}$ o $v_{pad}$ su vettori nulli, o sostituendoli con $v_{eot}$).
• Valutazione delle Metriche: Utilizzo di SSCD (Self-Supervised Contrastive Distance) per misurare la memorizzazione (somiglianza con l'immagine originale di addestramento), CLIPScore per l'allineamento testo-immagine e Aesthetic Score per la qualità visiva.
• Cura del Dataset: Gli autori hanno curato un set robusto di 458 prompt "Matching Verbatim" (MV) tratti da Webster [35] e Membench [13], filtrando casi instabili o degradati per garantire un'analisi affidabile.

2. Analisi Comparativa (v1.4 vs. v2.1)

Il lavoro confronta Stable Diffusion v1.4 (che utilizza il codificatore testuale CLIP originale) con v2.1 (che utilizza OpenCLIP). Gli autori ipotizzano che le differenze nel modo in cui questi modelli gestiscono i token di padding spieghino la variazione nei tassi di memorizzazione tra le versioni.

3. Strategie di Mitigazione

Sulla base dei risultati, vengono proposte due strategie di mitigazione a livello di inferenza:

1. Fix a Livello di Tokenizzatore: Sostituire il token <pad> predefinito (che è <eot> in v1.4) con un token semanticamente neutro (ad esempio, !) prima dell'embedding, e mascherare il singolo $v_{eot}$.
2. Mascheramento Parziale: Mascherare parzialmente gli embedding $v_{pad}$ (specificamente il 70%) per ridurre la ridondanza senza compromettere la qualità della generazione.

Risultati Chiave e Contributi

1. La Dominanza degli Embedding di Padding

Contrariamente all'assunzione che i token del prompt ($v_{pr}$) siano i principali motori della generazione, gli autori rilevano che $v_{pr}$ contribuiscono minimamente alla memorizzazione. In effetti, mascherare $v_{pr}$ o sostituirli con $v_{eot}$ preserva la struttura dell'immagine generata. Al contrario, gli embedding di padding ($v_{pad}$) svolgono un ruolo dominante. Quando $v_{pad}$ vengono mascherati, la generazione collassa, indicando che sono critici per la riproduzione di contenuti memorizzati.

2. Duplicazione Strutturale di $v_{eot}$

Il meccanismo fondamentale identificato è la duplicazione strutturale dell'embedding <endoftext>.

• In Stable Diffusion v1.4, i prompt più corti della lunghezza fissa (77 token) vengono riempiti ripetendo il token <eot>.
• Poiché CLIP è addestrato tramite apprendimento contrastivo per ottimizzare $v_{eot}$ come rappresentante della semantica a livello di frase, i token <eot> ripetuti risultano in molteplici vettori $v_{eot}$ quasi identici (come $v_{pad}$).
• Questa duplicazione involontaria amplifica l'influenza di $v_{eot}$ durante il processo di diffusione, portando il modello a fare un eccessivo affidamento su questo specifico embedding e causando la memorizzazione.

3. Spiegazione del Comportamento di Stable Diffusion v2.1

Il lavoro nota che Stable Diffusion v2.1 presenta tassi di memorizzazione significativamente inferiori. Gli autori attribuiscono ciò non alla de-duplicazione del dataset, ma all'uso di OpenCLIP, che utilizza un token neutro ! per il padding invece di duplicare <eot>. Questo cambiamento strutturale rimuove l'amplificazione di $v_{eot}$, riducendo di conseguenza la memorizzazione.

4. Strategie di Mitigazione Proposte

Gli autori propongono due strategie efficaci, plug-and-play, che non richiedono il retraining del modello:

• Strategia 1: Sostituire il <pad> predefinito del tokenizzatore con un token neutro (!) e mascherare l'originale $v_{eot}$. Questo disaccoppia $v_{pad}$ da $v_{eot}$.
• Strategia 2: Mascherare parzialmente il 70% degli embedding $v_{pad}$.
  Entrambi i metodi riducono significativamente i punteggi SSCD (indicando una ridotta memorizzazione) mantenendo alti i punteggi CLIPScore e Aesthetic Score, ripristinando efficacemente la diversità tra diversi semi casuali.

Risultati

• Soppressione della Memorizzazione: I metodi proposti riducono i punteggi SSCD da ~0.5 (indicante memorizzazione) a ~0.08–0.10, prevenendo efficacemente la riproduzione delle immagini di addestramento.
• Preservazione della Qualità: A differenza di metodi precedenti (ad esempio Ren et al. [24], Wen et al. [36]) che spesso degradano la qualità visiva o non riescono a sopprimere la memorizzazione in modo coerente, le strategie proposte mantengono l'allineamento al prompt e la qualità dell'immagine.
• Efficienza: La mitigazione aggiunge un sovraccarico computazionale trascurabile, con tempi di inferenza quasi identici alla generazione standard.
• Robustezza: I metodi funzionano coerentemente su prompt memorizzati e non memorizzati, senza mostrare un degrado significativo nella qualità generale della generazione.

Significato e Affermazioni

Il lavoro afferma di spostare la prospettiva sulla memorizzazione dagli interni del modello (ad esempio, pattern di attenzione incrociata) alle proprietà strutturali degli embedding testuali. Sostiene che il disallineamento tra l'obiettivo di addestramento di CLIP (ottimizzare solo $v_{eot}$) e l'inferenza del modello di diffusione (condizionamento sull'intera sequenza inclusa la $v_{eot}$ duplicata) crea un bias strutturale che guida la memorizzazione.

Il significato risiede nell'identificare un meccanismo precedentemente trascurato: l'amplificazione involontaria dell'embedding <endoftext> dovuta alla progettazione del tokenizzatore. Affrontando questo difetto strutturale, gli autori forniscono soluzioni semplici, efficaci e implementabili che mitigano la memorizzazione senza la necessità di filtraggio del dataset, tuning dei prompt o retraining del modello. I risultati suggeriscono che i futuri modelli di diffusione dovrebbero considerare attentamente le strategie dei token di padding per evitare bias strutturali simili.