Sintesi Tecnica: TILDE (TILt-based Distributional Erasure for Concept Unlearning)

Definizione del Problema

L'unlearning dei concetti nei modelli di diffusione text-to-image è essenziale per affrontare problemi di privacy, copyright e sicurezza, richiedendo ai modelli di sopprimere specifici concetti indesiderati (ad esempio, artisti, personaggi o oggetti specifici) dopo l'addestramento. Tuttavia, i metodi esistenti affrontano un trade-off critico: un unlearning efficace porta spesso a un "fallimento della ritenzione" (retention failure), in cui il modello degrada nella generazione di prompt benigni, semanticamente correlati o generali.

Gli approcci attuali si basano tipicamente su:

• Soppressione diretta: penalizzare i punteggi dei concetti, il che spesso danneggia concetti benigni adiacenti (danno collaterale).
• Editing basato su anchor: mappare il concetto da dimenticare verso un concetto target, il che introduce instabilità e bias, specialmente sotto richieste di cancellazione sequenziali.
• Ottimizzazione basata su reward: massimizzare un reward scalare di dimenticanza, il che spesso provoca il collasso della diversità concentrando la generazione su un set ristretto di output sicuri.

Il problema fondamentale è che questi metodi non definiscono esplicitamente la distribuzione post-unlearning desiderata. Di conseguenza, la ritenzione è trattata come una conseguenza implicita della regola di aggiornamento piuttosto che come un obiettivo controllato, portando a una fedeltà distributiva subottimale rispetto a un ipotetico modello "retain-only" addestrato da zero senza i dati indesiderati.

Metodologia: TILDE

Gli autori propongono TILDE (TILt-based Distributional Erasure), che inquadra l'unlearning dei concetti come un problema di allineamento distributivo vincolato. Invece della soppressione locale o della sostituzione con anchor, TILDE cerca la distribuzione condizionata che minimizza la deviazione dal modello pre-addestrato pur soddisfacendo un vincolo di dimenticanza.

1. Formulazione Teorica

Il target è definito come la soluzione di una proiezione di Kullback-Leibler (KL) vincolata:
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
Soggetto a:
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

Dove:

• $p_{pre}$ è la distribuzione condizionata pre-addestrata.
• $E_C(x)$ è un'energia di dimenticanza ("forget energy") che quantifica l'evidenza del concetto $C$ nell'immagine $x$.
• La soluzione assume la forma di una distribuzione di Gibbs con tilting dell'energia:
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

Questa formulazione assicura che le immagini che esprimono il concetto vengano declassate, mentre le immagini benigne preservano i loro relativi verosimiglianze pre-addestrate (anchor-free).

2. Surrogato Pratico: Energia CLIP Soggetta a Soglia

Per istanziare l'astratta energia $E_C$, TILDE utilizza un surrogato basato su CLIP con soglia:

• Sonde del Concetto (Concept Probes): Un set di descrittori testuali $Q_C$ (ad esempio, "Pikachu", "una foto di Pikachu") viene utilizzato per calcolare il punteggio medio di similarità CLIP $s_C(x)$.
• Soglia (Thresholding): Un'energia di dimenticanza $eE_C(x)$ è definita in modo tale che sia zero se $s_C(x) \le \tau$ (regione benigna) e aumenti esponenzialmente se $s_C(x) > \tau$.
• Significatività: La soglia $\tau$ crea una regione di "nessuna penalità", impedendo ai gradienti di influenzare le immagini benigne con una debole similarità concettuale, preservando così la ritenzione locale.

3. Ottimizzazione tramite $\nabla$-GFlowNet Residua

Per realizzare questa distribuzione con tilting in un modello di diffusione, TILDE impiega l'addestramento $\nabla$-GFlowNet residuo:

• Obiettivo: Imparare la correzione dello score necessaria per trasformare il campionatore pre-addestrato nel target con tilting dell'energia.
• Meccanismo: Invece di addestrare un intero campionatore da zero, il modello apprende uno score di continuazione residua $h_\phi$ che aggiusta la traiettoria di denoising.
• Funzione di Perdita: L'addestramento minimizza una perdita forward e reverse ($L_{fwd}, L_{rev}$) per imporre la coerenza locale tra il denoiser adattato e il denoiser pre-addestrato, guidato dalla terminale energia di dimenticanza.
• Implementazione: Gli aggiornamenti sono limitati ad adapter LoRA sui livelli di attenzione, garantendo l'efficienza dei parametri e un bias di aggiornamento minimo.

Contributi Chiave

1. Formulazione Distributiva: Il paper inquadra l'unlearning dei concetti come un problema di allineamento distributivo vincolato, derivando un esplicito target di Gibbs anchor-free a minima deviazione.
2. Algoritmo TILDE: Introduce un'istanza pratica utilizzando l'energia CLIP con soglia e l'addestramento $\nabla$-GFlowNet residuo nello spazio latente della diffusione.
3. Validazione Empirica: Il metodo è valutato su oggetti, stili artistici e personaggi, dimostrando miglioramenti nell'efficacia della dimenticanza mantenendo una maggiore ritenzione e fedeltà distributiva rispetto ai baseline precedenti.

Risultati Sperimentali

Gli autori hanno valutato TILDE su Stable Diffusion v1.5 su circa 60 concetti (oggetti, personaggi, stili, nudità).

• Performance: TILDE raggiunge una dimenticanza quasi completa (ad esempio, 0.99 di Unlearning Accuracy per i personaggi) pur superando significativamente i baseline nella Ritenzione Correlata (preservazione di concetti semanticamente adiacenti) e nella Ritenzione Generale.
• Confronto:
  • Hard Erasure (es. MACE): Raggiunge un'alta dimenticanza ma distrugge la ritenzione (la Ritenzione Correlata scende a ~0.17).
  • Soft Suppression (es. ESD): Preserva la ritenzione ma spesso non riesce a raggiungere una sufficiente dimenticanza.
  • Anchor-Based (es. CA, UCE): Migliora la qualità, ma dipende da espliciti set di ritenzione e lascia comunque residui di evidenza del concetto.
  • TILDE: Si posiziona sulla frontiera di Pareto, ottenendo un'alta dimenticanza senza la necessità di supervisione esplicita di ritenzione o concetti anchor.
• Studi di Ablazione:
  • Rimuovere la forma $\nabla$ (usando target di flusso assoluti) provoca il collasso delle performance di dimenticanza.
  • Rimuovere la componente residua costringe l'intero campo di score ad assorbire l'aggiornamento, degradando la ritenzione generale.
  • Rimuovere la soglia di energia causa un collasso catastrofico della ritenzione, confermando la necessità della regione di "nessuna penalità".
• Metriche Distributive: TILDE mostra punteggi FADE (Functional Alignment Distance) e FID inferiori rispetto ai baseline, indicando un allineamento più stretto con la distribuzione ideale "retain-only".

Significato e Rivendicazioni

Il paper sostiene che TILDE affronti il "fallimento della ritenzione" intrinseco negli attuali metodi di unlearning, definendo esplicitamente la distribuzione post-unlearning. Inquadrando l'unlearning come un allineamento distributivo a minima deviazione, TILDE evita le insidie di:

• Il danno collaterale causato dalla soppressione diretta.
• Il collasso della diversità causato dalla massimizzazione del reward.
• L'instabilità causata da mappature anchor fisse.

Gli autori sostengono che TILDE rappresenti la "modifica minima naturale" di un modello pre-addestrato che soddisfa i vincoli di dimenticanza. L'uso dell'energia con soglia assicura che i concetti benigni non siano penalizzati, mentre il framework $\nabla$-GFlowNet residuo fornisce un meccanismo efficiente per realizzare questo target distributivo in spazi latenti ad alta dimensionalità. Il lavoro suggerisce che la futura ricerca sull'unlearning debba dare priorità alla definizione della distribuzione target prima di selezionare le regole di aggiornamento.