Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

Riepilogo Tecnico: Dimenticanza dei Concetti tramite Proiezione dell'Attivazione dell'Attenzione Incrociata per Modelli Diffusivi

Enunciato del Problema

La dimenticanza dei concetti mira a rimuovere specifici concetti target (ad esempio, stili protetti da copyright, somiglianze di celebrità o immagini non sicure) dai modelli diffusivi testo-immagine pre-addestrati, senza i costi computazionali del riaddestramento da zero. Una dimenticanza efficace deve soddisfare due requisiti simultanei: dimenticare il concetto target anche sotto prompt parafrasati o avversari, e preservare la capacità del modello di generare tutti gli altri concetti non correlati.

I metodi in forma chiusa esistenti, che applicano una singola modifica deterministica ai pesi del modello senza fine-tuning basato su gradienti, affrontano una limitazione critica. Questi metodi (ad esempio, UCE, CURE) costruiscono la "base di dimenticanza" utilizzando embedding del codificatore di testo derivati da prompt di ancoraggio brevi (ad esempio, "Van Gogh"). Gli autori sostengono che gli embedding di testo descrivono il prompt dell'utente ma non catturano come il modello utilizza effettivamente tale prompt durante il processo di denoising. Di conseguenza, i prompt parafrasati che evocano il concetto target senza corrispondere ai modelli di ancoraggio aggirano spesso la modifica di dimenticanza, portando a una "fuoriuscita del target".

Metodologia: PURE

Il documento propone PURE (Projection in U-Net Rendering for Erasure), un metodo di dimenticanza in forma chiusa che sposta la costruzione della base dallo spazio degli embedding del codificatore di testo allo spazio delle attivazioni dell'attenzione incrociata all'interno dell'U-Net.

Ipotesi di Base:
Le attivazioni dell'attenzione incrociata ($h^\ell$) al livello $\ell$ riflettono come il denoiser utilizza la condizione di testo sotto lo stato latente corrente e il timestep. A differenza degli embedding di testo statici, queste attivazioni catturano le prove specifiche del concetto effettivamente utilizzate durante la generazione dell'immagine, offrendo una migliore generalizzazione a diverse formulazioni di prompt.

Procedura Algoritmica:

1. Cattura dell'Attivazione: Per un insieme di ancoraggi di dimenticanza ($\mathcal{A}_f$) e ancoraggi di conservazione ($\mathcal{A}_r$), il modello esegue una breve traiettoria di denoising. A ogni livello $\ell$ e timestep, le attivazioni post-attenzione vengono estratte, mediate spazialmente e aggregate in matrici $H^\ell_F$ e $H^\ell_R$.
2. Costruzione del Sottospazio: Viene eseguita una Decomposizione ai Valori Singolari (SVD) su $H^\ell_F$ e $H^\ell_R$ per ogni livello. I vettori singolari superiori, fino a una soglia di varianza cumulativa ($\tau_F, \tau_R$), formano la base di dimenticanza ($V^\ell_F$) e la base di conservazione ($V^\ell_R$).
3. Modifica Lineare: Il metodo applica un singolo aggiornamento lineare alle matrici di proiezione della chiave ($W^\ell_K$) e del valore ($W^\ell_V$) dell'attenzione incrociata. L'operatore di aggiornamento $E^\ell$ è definito come:
   $$E^\ell = I - P^\ell_F (I - P^\ell_R)$$
   dove $P^\ell_F = V^\ell_F (V^\ell_F)^\top$ e $P^\ell_R = V^\ell_R (V^\ell_R)^\top$.
   I pesi vengono aggiornati tramite moltiplicazione a sinistra: $W^\ell \leftarrow E^\ell W^\ell$.
   • Meccanismo: Il termine $(I - P^\ell_R)$ rimuove i componenti allineati con i concetti di conservazione, assicurando che $P^\ell_F$ agisca solo sul sottospazio ortogonale. Sottrarre questo dall'identità garantisce che gli input allineati con i concetti di conservazione passino invariati.
   • Spostamento Strutturale: A differenza dei metodi precedenti che moltiplicano a destra nello spazio del testo, PURE moltiplica a sinistra nello spazio delle attivazioni ($d_\ell \times d_\ell$), rendendo necessaria una modifica per livello.

Contributi Chiave

1. Base Basata sull'Attivazione: Il documento identifica che costruire la base di dimenticanza dalle attivazioni dell'attenzione incrociata piuttosto che dagli embedding di testo migliora significativamente il rilevamento dei concetti target in prompt naturali e avversari diversi.
2. Esperimento di Sonda: Un esperimento di classificazione binaria dimostra che una base basata sull'attivazione raggiunge circa cinque volte un richiamo (recall) più elevato su prompt parafrasati naturali rispetto a una base basata sul testo, confermando che le caratteristiche di attivazione catturano meglio le prove del concetto rilevanti per la generazione.
3. Efficienza in Forma Chiusa: PURE mantiene i vantaggi della modifica in forma chiusa: non richiede addestramento con gradienti, nessuna funzione di perdita ausiliaria, nessun aggiustamento degli iperparametri dei tassi di apprendimento e non aggiunge costi al tempo di inferenza dopo l'applicazione della modifica.
4. Modifica Specifica per Livello: Il metodo esegue una SVD e una modifica per livello, riconoscendo che la rappresentazione del concetto varia lungo la profondità dell'U-Net.

Risultati Sperimentali

Gli autori hanno valutato PURE sul Holistic Unlearning Benchmark (HUB), coprendo dieci concetti in quattro categorie: Stile Artistico, Proprietà Intellettuale (IP), Celebrità e NSFW.

• Compromesso Dimenticanza-Conservazione: PURE ottiene il punteggio medio armonico migliore in tutte le categorie rispetto a cinque baseline (ESD, MACE, RECELER, UCE, CURE).
• Soppressione del Target: PURE riduce significativamente la fuoriuscita del target sotto prompt parafrasati e avversari rispetto a CURE, che spesso fallisce nel sopprimere le parafrasi.
• Conservazione: PURE preserva i concetti "di conservazione" (concetti vicini nella stessa categoria) meglio dei metodi aggressivi basati sull'addestramento (che danneggiano la conservazione) e meglio dei metodi in forma chiusa nello spazio del testo (che spesso sacrificano la conservazione per la soppressione nelle categorie Stile).
• Studi di Ablazione:
  • Dimensione dell'Ancoraggio: Aumentare il numero di ancoraggi di dimenticanza naturali migliora la soppressione della base di testo ma degrada la conservazione. La base di attivazione mantiene una forte soppressione con una perdita minima di conservazione anche quando gli insiemi di ancoraggi crescono.
  • Passi di Denoising: L'uso di un singolo passo di denoising ($T=1$) degrada severamente le prestazioni, indicando che catturare il segnale del concetto lungo la traiettoria è essenziale.
  • Media Latente: La media su più latenti casuali ($n_{lat}$) stabilizza la base verso direzioni a livello di concetto piuttosto che verso artefatti specifici del rumore.

Significato e Affermazioni

Il documento afferma che PURE rappresenta un cambiamento fondamentale nell'approccio alla dimenticanza dei concetti in forma chiusa. Spostando la costruzione della base dallo spazio statico del codificatore di testo allo spazio dinamico delle attivazioni dell'attenzione incrociata, il metodo supera il principale modo di fallimento delle tecniche in forma chiusa esistenti: l'incapacità di gestire variazioni di prompt che cadono al di fuori dei modelli di ancoraggio.

Gli autori affermano che PURE fornisce una soluzione robusta, efficiente e all'avanguardia per la dimenticanza dei concetti, offrendo un equilibrio superiore tra l'eliminazione dei concetti indesiderati e la preservazione dell'utilità generale del modello senza il sovraccarico computazionale del riaddestramento. Il lavoro suggerisce che la "direzione di dimenticanza" è definita più accuratamente dal processo di rendering interno del modello che dal solo testo di input.