SUGAR: A Sweeter Spot for Generative Unlearning of Many Identities

1. Il Problema

I recenti progressi nei modelli generativi 3D-consapevoli hanno permesso la sintesi di immagini umane ad alta fedeltà. Tuttavia, questa capacità solleva preoccupazioni urgenti riguardo al consenso degli utenti e alla possibilità di rimuovere specifiche identità (ad esempio, volti) dallo spazio di output di un modello.
Le sfide principali identificate sono:

• Diritto all'oblio: Gli utenti richiedono la rimozione dei propri dati dai modelli AI, ma il riaddestramento da zero è computazionalmente proibitivo, specialmente per richieste multiple o sequenziali.
• Limitazioni delle soluzioni attuali: Metodi esistenti come GUIDE (che mappa le identità su una faccia media) o Selective Amnesia (che le mappa sul rumore gaussiano) presentano gravi difetti:
  1. Non supportano efficacemente la rimozione simultanea o sequenziale di molte identità.
  2. I meccanismi di soppressione (rumore o faccia media) possono rivelare informazioni sull'identità dimenticata o creare artefatti visivi.
  3. Causano un degrado significativo della qualità e della diversità delle identità non dimenticate (identità trattenute), portando a una "deriva semantica" dove i volti rimanenti convergono verso una media indistinta.

2. Metodologia: SUGAR

Il paper introduce SUGAR, un framework per l'oblio generativo scalabile che rimuove molte identità senza riaddestrare l'intero modello. L'approccio si basa su un pipeline EG3D-style e si articola in due fasi principali:

A. De-Identificazione Specifica per ID (ID-specific De-Identification)

A differenza dei metodi precedenti che usano un target fisso (es. una faccia media), SUGAR apprende un latente surrogato personalizzato per ogni identità da dimenticare.

• Meccanismo: Viene addestrata una funzione di mappatura $\Phi$ (o $\Theta$) che prende il vettore latente dell'identità da dimenticare ($w_u$) e genera un nuovo vettore target ($w_t$).
• Obiettivo: Il nuovo vettore $w_t$ deve mantenere gli attributi facciali grezzi (struttura, illuminazione) ma essere riconoscibilmente diverso secondo le metriche di riconoscimento facciale.
• Formula: Il target viene calcolato sottraendo una trasformazione normalizzata del vettore di identità originale dalla media latente ($\bar{w}$), controllata da un fattore di spostamento $d$:
  $$w_t = \bar{w} - d \cdot \frac{T_\Theta(w_{id})}{\|T_\Theta(w_{id})\|}$$
  Questo permette di "spostare" l'identità in una zona dello spazio latente che è coerente visivamente ma non identificabile come la persona originale.

B. Oblio in stile Apprendimento Continuo (Continual Learning)

Per gestire la rimozione di molte identità senza degradare il modello, SUGAR combina due obiettivi:

1. Funzione di Perdita di Oblio (Forgetting Loss): Mappa l'identità originale e i suoi vicini nello spazio latente verso i nuovi target surrogati appresi. Include un termine di "vicinato" (neighbor loss) per garantire che non solo l'immagine specifica, ma l'intera identità (e le sue variazioni) vengano dimenticate.
2. Preservazione dell'Utilità (Utility Preservation): Per proteggere le identità non target, il metodo utilizza:
   • Vicinity Sampling: Campionamento di punti nello spazio latente vicini a quelli dimenticati per monitorare il degrado collaterale.
   • Elastic Weight Consolidation (EWC): Una regolarizzazione che penalizza i cambiamenti dei parametri del modello che sono critici per mantenere la qualità delle identità vicine a quelle rimosse, senza dover calcolare perdite di ricostruzione per ogni singola immagine trattenuta (risparmiando costi computazionali).

3. Contributi Chiave

1. Primo metodo per l'oblio multi-identità: SUGAR è il primo approccio di Generative Identity Unlearning (GUI) in grado di gestire la rimozione simultanea e sequenziale di molte identità (fino a 200) in un contesto di AI generativa.
2. Mappatura Surrogata Personalizzata: Introduce un meccanismo dinamico che genera un'identità alternativa coerente per ogni persona rimossa, evitando artefatti e mantenendo la diversità del modello.
3. Miglioramento dell'Utilità: Introduce un obiettivo di conservazione dell'utilità continua che protegge le identità non target dal degrado, risolvendo il problema della "deriva semantica" osservata nei metodi precedenti.
4. Controllabilità: Il parametro $d$ permette di controllare il livello di oblio, offrendo un compromesso tra la rimozione dell'identità e la preservazione degli attributi visivi originali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come FFHQ (in-domain) e CelebA-HQ (out-of-domain), confrontando SUGAR con il baseline GUIDE.

• Metriche Quantitative:

  • Utilità del Modello (Retained IDs): SUGAR mostra un miglioramento fino al 700% nella ritenzione dell'utilità rispetto a GUIDE. Le identità non dimenticate mantengono un'alta similarità di identità (ID score) e un basso FID (Fréchet Inception Distance), indicando alta qualità visiva.
  • Oblio (Forgotten IDs): Le identità rimosse ottengono punteggi di similarità di identità significativamente bassi, confermando che non sono più riconoscibili.
  • Scalabilità: Le prestazioni rimangono stabili anche quando si rimuovono 50 o 200 identità, mentre GUIDE degrada rapidamente.

• Valutazione Umana:

  • In uno studio con partecipanti umani, il 100% dei soggetti non è riuscito a identificare le identità originali nelle immagini generate da SUGAR (simile a GUIDE).
  • Tuttavia, per le identità trattenute, i partecipanti hanno correttamente identificato i volti generati da SUGAR nell'86% dei casi, contro solo il 1.9% per GUIDE (che produceva volti distorti o medi).

• Oblio Sequenziale: SUGAR mantiene la qualità del modello attraverso più fasi di oblio sequenziale, mentre i metodi baseline accumulano danni collaterali progressivi.

5. Significato e Implicazioni

SUGAR rappresenta un passo avanti fondamentale per la sicurezza e l'etica dei modelli generativi:

• Privacy e Sicurezza: A differenza dei metodi che mappano su rumore o medie (che lasciano una "firma" riconoscibile e vulnerabile ad attacchi di inferenza di appartenenza), SUGAR mappa ogni identità su un surrogato diverso e coerente, rendendo difficile distinguere le immagini rimosse da quelle naturali.
• Fattibilità Operativa: Rende praticabile l'implementazione del "diritto all'oblio" in sistemi di produzione su larga scala, eliminando la necessità di riaddestramenti costosi.
• Qualità del Servizio: Garantisce che la rimozione di dati sensibili non comprometta l'esperienza utente per gli altri dati, preservando la diversità e la fedeltà del generatore.

In sintesi, SUGAR offre una soluzione equilibrata ed efficiente per rimuovere identità specifiche dai modelli generativi, mantenendo intatta la qualità e la funzionalità del sistema per il resto del dataset.