POUR: A Provably Optimal Method for Unlearning Representations via Neural Collapse

1. Definizione del Problema

Il Machine Unlearning (dimenticamento automatico) mira a rimuovere l'influenza di dati di training specifici (ad esempio, una classe o un sottoinsieme particolare) da un modello addestrato senza doverlo riaddestrare da zero. Questo è cruciale per la conformità normativa (ad esempio, il "diritto all'oblio" del GDPR) e per la sicurezza in domini sensibili.

La Sfida Principale:
I metodi esistenti si concentrano principalmente sul dimenticamento debole, che garantisce che le probabilità di previsione finali (logit) del modello che ha dimenticato siano indistinguibili da quelle di un modello riaddestrato. Tuttavia, studi recenti indicano che tali metodi spesso lasciano intatte le rappresentazioni interne delle caratteristiche. Di conseguenza, le informazioni dimenticate possono ancora essere recuperate tramite linear probing o inversione delle caratteristiche, portando a fughe di dati. Manca un metodo che garantisca il dimenticamento a livello di rappresentazione (all'interno dell'estrattore di caratteristiche) preservando al contempo la struttura geometrica necessaria per le classi rimanenti.

2. Metodologia: POUR

Gli autori propongono POUR (Provably Optimal Unlearning of Representations), un metodo di proiezione geometrica fondato sulla teoria del Neural Collapse (NC).

A. Fondamento Teorico: Neural Collapse & ETF

Il metodo si basa sull'osservazione che i classificatori profondi addestrati con la perdita cross-entropy convergono verso uno stato di Neural Collapse, in cui:

1. Le caratteristiche delle classi collassano sulle loro medie di classe.
2. Le medie delle classi formano un Simplex Equiangular Tight Frame (ETF): un insieme di vettori massimamente separati e disposti simmetricamente nello spazio delle caratteristiche.
3. I pesi del classificatore si allineano a queste medie di classe.

Gli autori stabiliscono due proprietà teoriche critiche:

• Ottimalità Bayesiana: La geometria dell'ETF Simplex non è solo un artefatto dell'addestramento, ma una condizione sufficiente per l'ottimalità Bayesiana nella classificazione bilanciata sotto assunzioni gaussiane isotrope.
• Invarianza di Proiezione: La proiezione ortogonale di un ETF Simplex (rimuovendo un vertice) sul complemento ortogonale di tale vertice produce un ETF Simplex più piccolo. Ciò significa che la rimozione di una classe tramite proiezione preserva la separazione geometrica ottimale delle classi rimanenti.

B. L'Algoritmo POUR

POUR offre due varianti per realizzare il dimenticamento a livello di rappresentazione:

1. POUR-P (Proiezione a Forma Chiusa):

   • Meccanismo: Applica un operatore di proiezione ortogonale $P = I - \frac{w_u w_u^\top}{\|w_u\|^2}$ direttamente allo spazio delle caratteristiche (strato penultimo), dove $w_u$ è il vettore di peso della classe da dimenticare.
   • Effetto: Proietta le caratteristiche della classe dimenticata all'origine (azzerandole) mappando al contempo le caratteristiche delle classi conservate in un sottospazio a dimensione inferiore che mantiene la struttura ETF Simplex.
   • Vantaggio: Istantaneo, non richiede riaddestramento ed è matematicamente provato come ottimale.

2. POUR-D (Distillazione Guidata da Proiezione):

   • Meccanismo: Utilizza il modello proiettato (POUR-P) come "insegnante". Un modello studente (estrattore di caratteristiche) viene fine-tunato esclusivamente sul set di dimenticamento per minimizzare la distanza $L_2$ tra le sue caratteristiche e le caratteristiche proiettate dell'insegnante.
   • Effetto: Propaga il dimenticamento più in profondità nell'estrattore di caratteristiche, garantendo che le rappresentazioni interne si allineino alla geometria ETF ottimale delle classi conservate.

C. Nuova Metrica: Representation Unlearning Score (RUS)

Per valutare il dimenticamento oltre i logit, gli autori introducono il RUS, che quantifica il compromesso tra:

• Efficacia del Dimenticamento: Quanto le caratteristiche del modello che ha dimenticato sono vicine a quelle del modello riaddestrato sul set di dimenticamento.
• Fedeltà della Conservazione: Quanto bene il modello che ha dimenticato preserva le caratteristiche per il set di conservazione.
• Separazione delle Classi: Quanto bene le classi conservate rimangono separate.
  Il RUS utilizza l'Allineamento del Kernel Centrato (CKA) per misurare la similarità delle rappresentazioni, rendendolo robusto rispetto all'inizializzazione casuale e alla rotazione.

3. Contributi Chiave

1. Riformulazione a Livello di Rappresentazione: Sposta il paradigma del dimenticamento dai logit di output alle distribuzioni interne delle caratteristiche, definendo il "Dimenticamento Debole a Livello di Rappresentazione".
2. Garanzie Teoriche: Dimostra che la proiezione ortogonale di un ETF Simplex preserva la struttura ETF, fornendo un operatore di dimenticamento provabilmente ottimale che mantiene l'ottimalità Bayesiana per le classi conservate.
3. Metrica RUS: Introduce una metrica principiale per quantificare il dimenticamento e la conservazione a livello di rappresentazione, affrontando le limitazioni dei protocolli di valutazione esistenti.
4. Algoritmo POUR: Propone un metodo a forma chiusa (POUR-P) e uno basato sulla distillazione (POUR-D) che supera le linee di base dello stato dell'arte.

4. Risultati Sperimentali

Gli autori hanno valutato POUR su CIFAR-10, CIFAR-100 e PathMNIST (imaging medico), confrontandolo con linee di base come Gradient Ascent, Boundary Shrink, DELETE e Fine-tuning.

• Metriche di Classificazione: POUR ottiene un dimenticamento quasi perfetto (accuratezza sul set di dimenticamento $\approx 0$) mantenendo un'alta accuratezza sulle classi conservate, superando spesso i metodi che richiedono l'accesso al set di conservazione.
• Metriche di Rappresentazione (RUS e CKA): POUR supera significativamente tutte le linee di base nei punteggi RUS. Mentre altri metodi (come Gradient Ascent) disturbano la geometria delle classi conservate, POUR preserva la struttura ETF, risultando in distribuzioni di caratteristiche indistinguibili da un modello riaddestrato.
• Shift di Dominio (PathMNIST): In un contesto con shift di dominio (set di test interni vs esterni), POUR ha dimostrato una generalizzazione robusta, mentre metodi come "Random Label" hanno fallito nella generalizzazione, suggerendo che essi hanno semplicemente "mascherato" il set di dimenticamento anziché cancellare la conoscenza.
• Cross-Modale e Segmentazione: Il metodo è stato esteso con successo a CLIP (dimenticamento testo-immagine) e alla Segmentazione Semantica (VOC2012), dimostrando la sua generalità oltre la classificazione standard.

5. Significato

• Privacy e Sicurezza: Garantendo che il dimenticamento avvenga a livello di rappresentazione, POUR mitiga il rischio di fughe di informazioni tramite inversione delle caratteristiche, una vulnerabilità critica nei metodi attuali di dimenticamento.
• Insight Teorico: Colma il divario tra la teoria del Neural Collapse e il dimenticamento pratico, mostrando che la struttura geometrica delle reti profonde può essere manipolata matematicamente per ottenere un dimenticamento ottimale senza riaddestramento.
• Efficienza: La natura a forma chiusa di POUR-P consente un dimenticamento istantaneo, rendendolo altamente scalabile per grandi modelli fondazionali dove il riaddestramento è impraticabile.

In sintesi, POUR fornisce un framework geometricamente principiato, teoricamente ottimale e empiricamente superiore per il machine unlearning, garantendo che i modelli "dimentichino" davvero concetti specifici mantenendo la loro utilità per altri compiti.