Towards Certified Unlearning for Deep Neural Networks

1. Il Problema

Nel contesto dell'apprendimento automatico moderno, la crescente attenzione alla privacy dei dati (es. GDPR, CCPA) ha reso necessario il diritto all'oblio, permettendo agli utenti di richiedere la cancellazione dei propri dati dai modelli addestrati.

• Sfida principale: Il metodo "gold standard" per rimuovere i dati è il riaddestramento da zero (retraining from scratch), ma questo comporta costi computazionali proibitivi per i modelli su larga scala.
• Limitazione attuale: Esistono metodi di "unlearning certificato" (che offrono garanzie teoriche sulla rimozione dei dati) ben consolidati per modelli convessi (lineari, Bayesiani, ecc.). Tuttavia, l'applicazione alle Reti Neurali Profonde (DNN) è problematica a causa della loro natura non convessa. I metodi esistenti per le DNN si basano spesso su approssimazioni empiriche senza garanzie teoriche solide o assumono erroneamente la convessità, creando un divario tra la teoria dell'unlearning certificato e la pratica delle DNN.

2. Metodologia Proposta

Gli autori propongono un framework per estendere l'unlearning certificato agli obiettivi non convessi tipici delle DNN, mantenendo le garanzie teoriche e migliorando l'efficienza. Il metodo si articola in due fasi principali, basate sul teorema che collega l'unlearning certificato alla privacy differenziale:

1. Stima del modello riaddestrato: Approssimare il modello che si otterrebbe riaddestrando da zero ($\tilde{w}^*$) partendo dal modello originale ($w^*$).
2. Aggiunta di rumore: Aggiungere rumore gaussiano al modello approssimato per garantire che la distribuzione del modello "dimenticato" sia indistinguibile da quella del modello riaddestrato entro un budget di privacy $(\epsilon, \delta)$.

Tecniche Chiave per Gestire la Non Convessità

Per rendere l'aggiornamento di Newton (usato per l'approssimazione) valido per le DNN, gli autori introducono due modifiche semplici ma cruciali:

• Approssimazione Convessa Locale: Per gestire la non convessità dell'obiettivo, viene aggiunto un termine di regolarizzazione $\ell_2$ ($\lambda \|w\|_2^2$) al calcolo dell'Hessiana. Questo trasforma l'obiettivo localmente non convesso in uno fortemente convesso, permettendo di vincolare la norma dell'inverso dell'Hessiana ($\|H^{-1}\|$), che altrimenti potrebbe essere arbitrariamente grande.
• Vincolo sulla Norma dei Parametri: Viene imposto un vincolo esplicito $\|w\|_2 \leq C$ durante l'ottimizzazione. Questo garantisce che la distanza tra il modello originale e quello riaddestrato sia limitata, indipendentemente dalla dimensione dell'insieme di dati da rimuovere.

Efficienza Computazionale

Calcolare l'inverso dell'Hessiana per DNN è computazionalmente proibitivo ($O(n^3)$ o $O(p^3)$). Per risolvere questo:

• Approssimazione dell'Inverso dell'Hessiana: Viene utilizzato l'algoritmo LiSSA (Linear-time Stochastic Second-order Algorithm) per stimare l'inverso dell'Hessiana in modo iterativo e stocastico, riducendo la complessità a $O(sp^2)$, dove $s$ è il numero di iterazioni e $p$ il numero di parametri.
• Calcolo Efficiente del Gradiente: Sfruttando la proprietà che il gradiente sul dataset completo è zero, il gradiente sul dataset rimanente ($D_r$) viene calcolato come una funzione del gradiente sul dataset da rimuovere ($D_u$), riducendo la complessità da $O(np)$a$O(n_u p)$ (dove $n_u \ll n$).

Estensioni a Scenari Reali

Il framework è stato esteso per gestire due casi pratici complessi:

1. Addestramento Non Convergente: Gestisce scenari dove il modello non ha raggiunto un ottimo locale (es. early stopping), fornendo un limite di errore di approssimazione che include il residuo del gradiente.
2. Unlearning Sequenziale: Permette di gestire richieste di cancellazione multiple nel tempo, aggiornando il modello basato sul modello precedentemente "dimenticato", mantenendo le garanzie di certificazione.

3. Contributi Chiave

• Estensione Teorica alle DNN: È uno dei primi lavori a fornire garanzie di unlearning certificato rigorose per obiettivi non convessi, superando l'assunzione di convessità necessaria nei lavori precedenti.
• Nuovi Limiti di Errore: Deriva limiti di errore di approssimazione che dipendono dalla regolarizzazione locale e dal vincolo sulla norma, validi anche per funzioni debolmente convesse.
• Efficienza Scalabile: Combina l'approssimazione stocastica dell'Hessiana (LiSSA) con tecniche di gradiente efficiente per rendere il processo applicabile a DNN reali.
• Analisi di Scenari Complessi: Fornisce analisi teoriche e pratiche per l'unlearning in condizioni di non convergenza e in modalità sequenziale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset reali (MNIST, CIFAR-10, SVHN) utilizzando diversi architetture (MLP, All-CNN, ResNet18).

• Performance di Unlearning: Il metodo proposto ("Certified") dimostra di essere superiore alle baseline empiriche (come Fine-tuning, Negative Gradient, Fisher Forgetting, L-CODEC) nel rimuovere le informazioni dei dati dimenticati.
  • Attacchi di Inferenza di Membria (MIA): Il modello certificato mostra tassi di successo degli attacchi MIA più bassi (vicini al riaddestramento da zero), indicando una migliore protezione della privacy.
  • Tempo di Riapprendimento (Relearn Time): Richiede più epoche per riapprendere i dati dimenticati rispetto ad altre baseline, confermando una rimozione più efficace.
• Efficienza: Il metodo certificato è oltre 10 volte più veloce del riaddestramento da zero, pur offrendo garanzie teoriche che le altre baseline rapide non possiedono.
• Utilità del Modello: Il modello "dimenticato" mantiene un'alta utilità (F1-score) sui dati rimanenti e sul set di test, simile al modello riaddestrato.
• Ablation Study: Le analisi confermano che sia l'approssimazione convessa locale ($\lambda$) sia il vincolo sulla norma ($C$) sono essenziali per ridurre l'errore di approssimazione e rendere il metodo stabile.

5. Significato e Impatto

Questo lavoro colma un divario fondamentale tra la teoria dell'unlearning certificato e l'applicazione pratica nelle Deep Neural Networks.

• Rigidità Teorica: Dimostra che è possibile ottenere garanzie di privacy rigorose (simili alla privacy differenziale) anche per modelli complessi e non convessi, senza dover ricorrere a compromessi puramente empirici.
• Fattibilità Pratica: Rende l'unlearning certificato un'opzione praticabile per scenari reali, gestendo vincoli computazionali e scenari dinamici (richieste sequenziali).
• Fondamento Futuro: Fornisce un framework teorico solido che può guidare lo sviluppo di future tecniche di gestione della privacy e della cancellazione dei dati nell'era dei modelli di grandi dimensioni.

In sintesi, il paper propone un metodo che bilancia efficienza, privacy garantita e utilità del modello, rendendo l'unlearning certificato una soluzione realistica per le reti neurali profonde.