Riepilogo Tecnico: Un Framework Unificato per l'Oblio dei Modelli di Diffusione con Divergenza f

1. Enunciato del Problema

I modelli di diffusione testo-immagine (T2I) (DM), addestrati su dataset su larga scala estratti da internet (ad es. LAION-5B), hanno dimostrato capacità generative notevoli ma ereditano anche proprietà indesiderate, inclusa la capacità di generare contenuti Non-Sicuri per il Lavoro (NSFW), stili artistici protetti da copyright e informazioni personali. Sebbene il riaddestramento dei modelli su dataset curati sia la soluzione teorica per cancellare concetti specifici, è computazionalmente proibitivo e spesso impraticabile a causa della cancellazione dei dati o dei vincoli di risorse.

Gli algoritmi di oblio esistenti si basano tipicamente su un paradigma in cui la generazione del modello per un concetto "target" (da cancellare) viene allineata a un concetto "ancora" (ad es. un concetto nullo, una superclasse o un concetto semanticamente correlato). Questo allineamento è ottenuto quasi esclusivamente minimizzando l'Errore Quadratico Medio (MSE) tra le uscite del denoiser del target e dell'ancora. Teoricamente, questa minimizzazione dell'MSE corrisponde alla minimizzazione della divergenza di Kullback-Leibler (KL) tra due distribuzioni gaussiane condizionate ai rispettivi concetti. Tuttavia, questo approccio limita il paesaggio di ottimizzazione a un singolo metrico di divergenza, potenzialmente subottimale per bilanciare l'efficacia dell'oblio con la preservazione della fedeltà generativa per i concetti non-target.

2. Metodologia

Gli autori propongono f-DMU, un framework unificato che generalizza l'obiettivo di oblio dalla divergenza KL standard a qualsiasi divergenza f. Il framework si basa sull'osservazione che il problema dell'oblio può essere formulato come la minimizzazione della divergenza tra le distribuzioni di probabilità del modello originale $\Phi$ (condizionato al concetto ancora $c$) e del modello obliato $\hat{\Phi}$ (condizionato al concetto target $c^*$) a specifici passi temporali del processo di diffusione.

L'obiettivo centrale è definito come:
$$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$$

Il framework offre due approcci distinti per risolvere questo obiettivo, a seconda delle proprietà della divergenza f scelta:

A. Funzioni di Perdita in Forma Chiusa

Per un sottoinsieme di divergenze f per le quali esiste un'espressione in forma chiusa per le distribuzioni gaussiane (specificamente quando le varianze sono fisse, una pratica standard nei DM), gli autori derivano funzioni di perdita specifiche. I casi principali includono:

• Distanza di Hellinger Quadratica ($H^2$): Produce una funzione di perdita che coinvolge un decadimento esponenziale dell'MSE: $J_{H^2} \propto -\exp(-\text{MSE})$. Questo risulta in gradienti limitati che diminuiscono all'aumentare dell'MSE, mitigando l'impatto degli outlier e prevenendo cambiamenti bruschi del modello.
• Divergenza $\chi^2$ di Pearson: Produce una funzione di perdita che coinvolge una crescita esponenziale dell'MSE: $J_{\chi^2} \propto \exp(\text{MSE})$. Questo risulta in gradienti illimitati e in rapida crescita per errori elevati, portando a aggiornamenti più aggressivi.
• Divergenza di Jeffreys: Si riduce a una formulazione MSE standard sotto specifiche assunzioni.

B. Funzioni di Perdita Variazionali

Per le divergenze f prive di un'espressione in forma chiusa (ad es. Variazione Totale, o quando si desidera una formulazione più generale), gli autori utilizzano la rappresentazione variazionale delle divergenze f. Questo trasforma il problema in un gioco di ottimizzazione min-max:
$$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$$
Qui, $T$ agisce come un discriminatore (parametrizzato da una rete neurale) che stima la divergenza, mentre $\hat{\Phi}$ agisce come il generatore che tenta di minimizzarla. Questo approccio permette al framework di applicare qualsiasi divergenza f al compito di oblio.

3. Analisi Teorica

Il documento fornisce un'analisi teorica rigorosa del framework proposto:

• Dinamiche del Gradiente: Gli autori analizzano le magnitudini dei gradienti delle funzioni di perdita in forma chiusa. Dimostrano che $H^2$ e $\chi^2$ esibiscono comportamenti opposti rispetto alla KL/MSE standard. $H^2$ sopprime i gradienti per errori elevati (outlier), mentre $\chi^2$ li amplifica. Questa ponderazione per campione è una proprietà intrinseca della scelta della divergenza f, distinta dai comuni schedulatori del tasso di apprendimento.
• Proprietà di Convergenza: Utilizzando la teoria dei sistemi dinamici non lineari, gli autori dimostrano la stabilità esponenziale locale della formulazione variazionale attorno ai punti di equilibrio. Derivano limiti sulla velocità di convergenza basati sugli autovalori della matrice Jacobiana. Crucialmente, mostrano che la scelta della divergenza f impatta la velocità di convergenza; specificamente, le divergenze con derivate seconde più grandi delle loro coniugate di Fenchel all'equilibrio (ad es. $H^2$ e Jensen-Shannon) convergono teoricamente più velocemente di altre come KL o $\chi^2$.
• Ricerca di Modalità vs Copertura delle Modalità: Il documento discute come diverse divergenze influenzino la distribuzione delle immagini generate. $H^2$ e Jensen-Shannon esibiscono proprietà di "ricerca di modalità" di "media" intensità, mentre KL e $\chi^2$ sono di "copertura delle modalità", potenzialmente assegnando una probabilità più elevata alle aree tra le modalità.

4. Risultati Sperimentali

Il framework è stato valutato su modelli Stable Diffusion (v1.4, v1.5, v2.1, XL e 3) e FLUX, mirando alla cancellazione di oggetti (ad es. R2D2), stili artistici (ad es. Van Gogh, Monet) e nudità.

• Stabilità del Gradiente: La validazione empirica conferma che $H$-DMU (utilizzando $H^2$) mantiene gradienti limitati durante tutto l'addestramento, evitando la generazione improvvisa di immagini degenerate osservata nei metodi basati su MSE durante le fasi intermedie di fine-tuning.
• Efficacia dell'Oblio vs Preservazione:
  • Forma Chiusa: $H$-DMU supera costantemente l'MSE standard nella preservazione dei concetti non-target (misurato dalla Distanza di Inizio del Kernel, KID) raggiungendo una cancellazione dei concetti target comparabile o migliore. Al contrario, $\chi^2$-DMU ottiene una cancellazione più forte ma spesso a scapito della qualità generativa e della preservazione del prior.
  • Variazionale: I metodi variazionali (ad es. $H_v$-DMU) tendono a essere più "aggressivi", ottenendo una cancellazione rapida in meno iterazioni ma risultando spesso in punteggi KID più elevati (qualità dell'immagine inferiore) a causa di stime di divergenza grossolane su piccoli batch.
• Robustezza: Nel contesto della cancellazione della nudità, $H$-DMU ha dimostrato una robustezza superiore contro prompt avversari (ad es. Ring-A-Bell, MMA-Diffusion) rispetto a metodi all'avanguardia come CAbl, DoCo e SLD, generando significativamente meno immagini NSFW sotto attacco.
• Cancellazione Multi-Concetto: Il framework ha gestito con successo la cancellazione sequenziale di 10 stili artistici, con $H$-DMU che mostra compromessi superiori tra cancellazione e preservazione rispetto all'MSE.

5. Significato e Affermazioni

Il documento afferma di presentare il primo framework unificato per l'oblio dei modelli di diffusione basato su divergenze f. I suoi contributi principali sono:

1. Generalizzazione: Superare l'assunzione implicita di KL/MSE verso una famiglia flessibile di divergenze, permettendo ai praticanti di selezionare l'obiettivo ottimale in base a obiettivi applicativi specifici (ad es. cancellazione aggressiva vs preservazione ad alta fedeltà).
2. Fondamento Teorico: Fornire un'analisi teorica della scalatura dei gradienti e delle proprietà di convergenza, collegando la scelta della divergenza alla stabilità e alla velocità algoritmica.
3. Utilità Pratica: Dimostrare che istanze specifiche, in particolare la Distanza di Hellinger Quadratica in forma chiusa ($H$-DMU), offrono una scelta predefinita superiore per la maggior parte dei compiti di oblio, bilanciando la rimozione efficace dei concetti con la preservazione delle capacità generative del modello.

Gli autori sottolineano che il loro framework è agnostico rispetto al modello (applicabile anche ai modelli basati su flusso) e non richiede un riaddestramento da zero, offrendo un'alternativa computazionalmente efficiente e teoricamente solida alle tecniche esistenti di cancellazione dei concetti.