Riepilogo Tecnico: Locality-Aware Continual Unlearning per Modelli di Diffusione

1. Definizione del Problema

L'impiego di modelli di diffusione text-to-image in scenari reali richiede l'Unlearning Continuo (CUL - Continual Unlearning): la rimozione sequenziale di concetti specifici (ad esempio, per motivi di privacy, copyright o regolamentazioni sulla sicurezza) preservando al contempo la capacità del modello di generare tutti gli altri contenuti.

I metodi di unlearning esistenti sono progettati principalmente per la rimozione a singolo step (one-shot deletion). Quando applicati sequenzialmente, questi metodi mostrano una rapida instabilità, tipicamente collassando dopo soli 3–5 step. Gli autori identificano tre fattori cumulativi responsabili di questo fallimento:

1. Target di Mappatura Grossolani: Gli attuali metodi reindirizzano diversi prompt da dimenticare verso un unico anchor fisso (ad esempio, una stringa vuota o un concetto generico). Ciò forza spostamenti inutilmente ampi nel campo di score del modello per ogni prompt, causando un degrado cumulativo della fedeltà generativa.
2. Mancanza di Protezione Locale: L'unlearning induce un "effetto ripple" (effetto a increspatura), in cui i concetti semanticamente vicini (quelli che condividono rappresentazioni interne) subiscono il maggior danno collaterale. Le attuali strategie di replay globale distribuiscono la regolarizzazione in modo uniforme, fallendo nel proteggere questi vulnerabili vicinati locali.
3. Disallineamento tra Spazio del Testo e Spazio del Modello: I metodi che si affidano alla similarità nello spazio del testo (ad esempio, gli embedding CLIP) non riflettono accuratamente come il modello di diffusione elabora internamente i prompt. I prompt vicini nello spazio CLIP possono indurre previsioni del rumore molto diverse, portando a una selezione del target subottimale che aggrava gli errori durante gli step sequenziali.

2. Metodologia: Locality-Aware Continual Unlearning (LACU)

Gli autori propongono LACU, un framework che fonda sia la selezione del target che il replay in un unico principio consapevole del modello: la Distanza di Predizione dello Score (Score-Prediction Distance). Questa metrica misura la differenza nelle previsioni del rumore tra due prompt su stati latenti rumorosi condivisi, quantificando efficacemente la prossimità all'interno del proprio paesaggio di denoising del modello.

Il framework opera come un processo teacher-student multi-obiettivo ad ogni step continuo $i$, dove il modello precedente congelato $\hat{\theta}_{i-1}$ funge da teacher e il modello aggiornato $\theta_i$ è lo student. La perdita totale è definita come:
$$\mathcal{L}_{\text{total}} = \lambda_{\text{unlearn}} \mathcal{L}_{\text{unlearn}} + \lambda_{\text{retain}} \mathcal{L}_{\text{retain}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}}$$

Componenti Chiave:

1. Selezione del Target Consapevole della Località (Locality-Aware Target Selection):

   • Invece di mappare tutti i prompt da dimenticare verso un anchor fisso, LACU genera sostituzioni candidate che preservano il contesto per ogni specifico prompt da dimenticare.
   • Seleziona il candidato con la minima distanza di predizione dello score rispetto al prompt originale da dimenticare.
   • Obiettivo: Minimizzare la perturbazione del campo di score appreso per ogni step, garantendo che gli aggiornamenti siano il più piccoli e mirati possibile.

2. Replay Consapevole della Località (Locality-Aware Replay):

   • Il framework identifica i concetti da mantenere che sono più vicini al concetto da dimenticare nel proprio spazio di predizione del rumore (utilizzando la stessa metrica di distanza di predizione dello score).
   • Questi vicini più prossimi vengono riprodotti come un regolarizzatore funzionale locale.
   • Obiettivo: Proteggere direttamente il vicinato semantico più vulnerabile dall'effetto ripple, invece di fare affidamento su un replay globale che investe insufficientemente in queste regioni fragili.

3. Meccanismi di Stabilizzazione:

   • Distillazione Teacher-Student: Lo student imita il comportamento del teacher sia sui target di mappatura selezionati che sui vicini di replay locale.
   • Regolarizzazione $\ell_2$ Leggera: Un termine di penalità ($\|\theta_i - \hat{\theta}_{i-1}\|_2^2$) limita il drift cumulativo dei parametri nel corso degli step sequenziali.

3. Contributi Principali

• Diagnosi dell'Instabilità Sequenziale: Il paper traccia il collasso dei metodi esistenti in CUL alla mappatura grossolana, alla mancanza di protezione locale e all'inadeguatezza delle metriche di similarità dello spazio del testo.
• Metrica di Località Consapevole del Modello: Introduzione della Distanza di Predizione dello Score come metrica superiore per misurare la prossimità dei concetti, sostituendo le similarità degli embedding testuali (come CLIP) con misurazioni dirette del comportamento di denoising del modello.
• Framework a Due Componenti: L'integrazione della Selezione del Target Consapevole della Località e del Replay Consapevole della Località, accoppiati tramite la stessa metrica, per minimizzare simultaneamente l'entità dell'aggiornamento e proteggere i vicini vulnerabili.
• Unlearning Stabile a 10 Step: Dimostrazione che LACU mantiene uno stabili delle prestazioni attraverso 10 step di unlearning sequenziali, un regime in cui la maggior parte dei baseline fallisce.

4. Risultati Sperimentali

Gli autori hanno valutato LACU su Stable Diffusion v1.5, rimuovendo sequenzialmente 10 concetti diversi (oggetti, stili artistici e individui) attraverso 5 ordinamenti casuali.

• Performance vs. Baseline:
  • Ritenzione (Retention): LACU supera significativamente i recenti baseline (ad esempio, ESD, UCE, AGE, DUGE) in termini di Related Retention Accuracy (RRacc) e General Retention Accuracy (GRacc). Mentre i baseline aggressivi ottengono un'alta accuratezza di unlearning ma soffrono un collasso della ritenzione (RRacc/GRacc che scendono vicino allo 0 dopo 5–10 step), LACU mantiene punteggi di ritenzione elevati (ad esempio, RRacc $\approx$ 0.72, GRacc $\approx$ 0.87 dopo 10 step).
  • Efficacia dell'Unlearning: LACU raggiunge un'alta Unlearning Accuracy (Uacc $\approx$ 0.90–0.99), rimuovendo efficacemente i concetti target senza sacrificare la capacità di generare contenuti non correlati.
• Studi di Ablazione:
  • Scelta della Metrica: L'uso della distanza di predizione dello score per la selezione produce una stabilità a lungo termine superiore rispetto alla selezione basata su CLIP o su un naive anchor fisso.
  • Contributo dei Componenti: Rimuovere la componente di local replay porta al collasso della ritenzione a causa degli effetti ripple cumulativi. Rimuovere la regolarizzazione porta al drift dei parametri. La combinazione di entrambi è necessaria per l'equilibrio osservato.
• Analisi Qualitativa: I confronti visivi mostrano che, mentre i baseline degradano la qualità dei concetti mantenuti (ad esempio, fallendo nel generare lo "stile Van Gogh" dopo aver rimosso "Van Gogh"), LACU preserva la qualità generativa dei concetti mantenuti pur eliminando con successo il target.

5. Significato e Rivendicazioni

Il paper sostiene che la progettazione consapevole della località (locality-aware design) è la chiave per la stabilità nell'unlearning sequenziale. Trattando l'unlearning come una serie di perturbazioni minime e mirate nello spazio di rappresentazione del modello stesso — piuttosto che come un reindirizzamento globale — il framework previene l'accumulo di errori che porta al collasso del modello.

Gli autori sottolineano che il loro approccio non richiede un retraining completo ed è compatibile con le architetture di diffusione esistenti. Tuttavia, notano alcune limitazioni:

• Il metodo attualmente si affida a un LLM per generare i prompt candidati, sebbene la logica di selezione centrale sia agnostica rispetto al modello.
• I concetti di stile rimangono difficili da rimuovere a causa di caratteristiche ampiamente condivise.
• L'impiego nel mondo reale potrebbe richiedere la scalabilità a centinaia o miglia di rimozioni sequenziali, il che rimane una sfida aperta.
• Il framework teacher-student richiede di mantenere una copia congelata del modello, aumentando l'overhead di memoria e computazione rispetto agli approcci a singolo modello.

Il codice è disponibile all'indirizzo https://github.com/SonyResearch/LACU.