Benchmarking Unlearning for Vision Transformers

Questo lavoro presenta il primo benchmark per il machine unlearning nei Vision Transformers, valutando diverse famiglie di modelli, algoritmi e protocolli su dataset variabili per stabilire una base di riferimento comparabile e analizzare le dinamiche di memorizzazione rispetto alle CNN.

L'essenziale

Il Grande "Dimenticare" delle Intelligenze Artificiali: Quando i Transformer Imparano a Non Ricordare

Immagina di avere un cuoco robot (l'Intelligenza Artificiale) che ha imparato a cucinare guardando milioni di ricette su internet.
Finora, i cuochi robot più famosi erano come chef tradizionali (le CNN): imparavano guardando un ingrediente alla volta, molto vicini tra loro.
Oggi, però, abbiamo una nuova generazione di cuochi robot chiamati Vision Transformers (VT). Sono come chef visionari: guardano l'intero piatto tutto insieme, analizzando le relazioni tra ogni singolo pezzo, anche quelli lontani. Sono diventati bravissimi, spesso meglio degli chef tradizionali.

Ma c'è un problema: cosa succede se una delle ricette che hanno imparato è sbagliata, offensiva, o se qualcuno vuole che il robot "dimentichi" di averla mai vista? (Questo è il diritto alla cancellazione dei dati).

In passato, gli scienziati avevano creato dei metodi per far "dimenticare" le ricette sbagliate agli chef tradizionali. Ma nessuno sapeva se questi stessi metodi funzionassero per i nuovi chef visionari (VT).

Questo studio è come un grande banco di prova (un "benchmark") per rispondere a questa domanda. Hanno messo alla prova diversi metodi per far dimenticare le cose ai nuovi robot, usando ingredienti di difficoltà diversa (dalle immagini semplici come i numeri, a quelle complesse come i volti).

Ecco cosa hanno scoperto, usando delle metafore:

1. Come imparano a memoria i robot? (La Memoria)

Hanno scoperto che, nonostante i nuovi robot (VT) guardino le immagini in modo diverso, la loro "memoria" funziona quasi esattamente come quella dei vecchi robot.

• L'analogia: Immagina che entrambi i tipi di robot abbiano una libreria interna. In entrambe le librerie, ci sono alcuni libri che hanno letto così tante volte che li conoscono a memoria (memorizzazione), e altri che hanno solo sfogliato.
• La scoperta: Anche se i nuovi robot sono più "globali" nel modo di pensare, tendono a memorizzare gli esempi specifici nello stesso modo dei vecchi. Questo è una buona notizia: significa che possiamo usare le stesse "chiavi" per aprire le loro memorie.

2. Gli Strumenti per Dimenticare (I Metodi)

Hanno testato tre strumenti principali per cancellare le memorie:

• Il "Rifai da capo" (Fine-tune): È come dire al robot: "Ripassa solo le ricette giuste". Funziona bene se le ricette sbagliate erano poche e semplici, ma è lento e non sempre perfetto.
• Il "Cancellatore di Gradienti" (NegGrad+): È come un gommone di gomma che spinge via attivamente le informazioni sbagliate, mentre tiene ferme quelle giuste.
• Il "Cancellatore Selettivo" (SalUn): È come un chirurgo che cerca di rimuovere solo i neuroni specifici che hanno imparato la ricetta sbagliata.

Il Risultato Sorprendente:
Il metodo del Gommone (NegGrad+) è stato il campione indiscusso! Ha funzionato meglio di tutti, specialmente sui robot più complessi.
Il metodo del Chirurgo (SalUn), invece, ha fatto un bel lavoro nel mantenere le prestazioni generali, ma ha fallito nel proteggere la privacy: il robot sembrava aver dimenticato la ricetta, ma in realtà la ricordava ancora abbastanza da essere scoperto da un investigatore (un attacco di inferenza).

3. L'Importanza della "Mappa" (I Proxy)

Per far dimenticare qualcosa a un robot, devi sapere cosa ha memorizzato. Ma calcolare esattamente cosa ha memorizzato è costosissimo (come contare ogni singolo granello di sabbia).
Hanno usato delle mappe approssimative (chiamate "proxy") per capire dove il robot aveva memorizzato le cose.

• La scoperta: Le mappe usate per i vecchi robot funzionano perfettamente anche per i nuovi! In particolare, una mappa chiamata "Holdout Retraining" (che è come un test di controllo) si è rivelata la migliore per i robot più complessi, mentre una mappa basata sulla "fiducia" (Confidence) va bene per i compiti più semplici.

4. Architettura e Dimensione (ViT vs Swin-T)

Non tutti i robot visionari sono uguali:

• ViT: Sono come pittori astratti che vedono tutto il quadro insieme. Tendono a funzionare meglio con il metodo "Rifai da capo" (Fine-tune).
• Swin-T: Sono come architetti che costruiscono il quadro pezzo per pezzo (a blocchi), un po' come i vecchi chef. Questi funzionano benissimo con il metodo "Gommone" (NegGrad+).
• Dimensione: A volte, un robot più grande non è necessariamente migliore per dimenticare. C'è una "taglia giusta" (né troppo piccolo, né troppo grande) per ottenere il miglior equilibrio tra memoria e cancellazione.

5. Dimenticare nel Tempo (Unlearning Continuo)

Nella vita reale, non cancelliamo un solo dato alla volta, ma ne cancelliamo molti nel tempo.

• La scoperta: Se fai dimenticare al robot una cosa alla volta per 5 o 10 volte di fila, il robot non si confonde e non perde le sue capacità. Rimane stabile. È come se avesse un sistema immunitario che si adatta senza ammalarsi.

In Sintesi: Cosa ci dice questo studio?

1. I nuovi robot (Vision Transformers) sono pronti: Possiamo applicare le tecniche di cancellazione sviluppate per i vecchi robot anche a questi nuovi, ma dobbiamo scegliere lo strumento giusto per il robot giusto.
2. Il metodo "Gommone" (NegGrad+) è il re: È il più robusto e sicuro per far dimenticare le cose, specialmente su compiti difficili.
3. La privacy è salvaguardata: Usando le mappe giuste (proxy) e il metodo giusto, possiamo garantire che i robot dimentichino davvero ciò che non dovrebbero sapere, senza rovinare le loro capacità di lavorare sugli altri dati.

In pratica, questo studio ci dà la mappa del tesoro per costruire Intelligenze Artificiali più sicure, etiche e rispettose della privacy, che possono essere "aggiornate" cancellando le informazioni sbagliate senza dover essere ricostruite da zero.

Sommario tecnico

1. Il Problema

Il campo del Machine Unlearning (MU) (l'abilità di rimuovere l'influenza di dati specifici, come quelli bias, errati o sensibili alla privacy, dai modelli addestrati) ha fatto grandi passi avanti, ma si è concentrato prevalentemente sulle Reti Neurali Convoluzionali (CNN) e, più recentemente, sui Large Language Models (LLM) e sui modelli di diffusione.
Al contrario, nonostante l'ascesa dei Vision Transformers (VT) come architettura dominante per le visioni artificiali, non esisteva un benchmark sistematico per valutare le prestazioni degli algoritmi di MU su queste architetture.
Le incertezze derivano dalle differenze fondamentali tra VT e CNN:

• I VT mancano di forti inductive biases spaziali (come la località e l'invarianza alla traslazione) presenti nelle CNN, rendendo l'apprendimento delle strutture più dipendente dai dati.
• I VT sono spesso pre-addestrati su grandi dataset (es. ImageNet) e poi fine-tunati, un regime di addestramento diverso dalle CNN tradizionali.
• Non è chiaro se i risultati e le strategie di MU sviluppati per le CNN (inclusi i metodi basati sulla memorizzazione) siano trasferibili ai VT.

2. Metodologia

Gli autori hanno creato il primo benchmark completo per il MU sui Vision Transformers, progettato per essere riproducibile, equo e comprensivo.

• Architetture Valutate: Hanno confrontato due famiglie principali di VT:
  • ViT (Vision Transformer): Basato su attenzione globale, privo di gerarchia spaziale intrinseca.
  • Swin-T (Swin Transformer): Introduce una struttura gerarchica e attenzione a finestre spostate, più simile alle CNN.
  • Sono stati testati diversi livelli di capacità (dimensione del modello), da Tiny a Base/Small.
• Dataset: Utilizzo di quattro dataset con diverse scale e complessità:
  • CIFAR-10 e CIFAR-100: Per scenari controllati.
  • SVHN: Dataset su larga scala ma semanticamente semplice.
  • ImageNet-1K: Utilizzato per valutare scenari realistici ad alta complessità e scala.
• Algoritmi di Unlearning: Sono stati selezionati tre approcci fondamentali, implementati sia nella loro forma base che all'interno del framework RUM (che sfrutta la memorizzazione per migliorare le prestazioni):
  1. Fine-tune (FT): Addestramento sui dati rimanenti (retain set).
  2. NegGrad+: Basato sui gradienti, spinge i parametri lontano dai dati da dimenticare mantenendo le prestazioni sui dati rimanenti.
  3. SalUn: Un metodo SOTA che seleziona i parametri basandosi sulla salienza.
• Protocolli di Valutazione:
  • Single-shot: Rimozione di un singolo set di dati.
  • Continual Unlearning: Rimozione sequenziale di dati in più step per testare la stabilità.
• Metriche:
  • ToW (Test on Forget): Misura la qualità dell'oblio basandosi sulla differenza di accuratezza tra il modello unlearned e uno ri-addestrato da zero.
  • ToW-MIA: Una variante che incorpora la vulnerabilità agli attacchi di Membership Inference Attack (MIA) come misura della qualità dell'oblio.
  • Proxie di Memorizzazione: Valutazione di metriche efficienti (Confidence, Entropy, Holdout Retraining) per stimare la memorizzazione senza dover ri-addestrare migliaia di modelli.

3. Contributi Chiave

1. Primo Benchmark per VT: Colma il divario nella ricerca fornendo una base di valutazione standardizzata per gli algoritmi di MU sui Vision Transformers.
2. Analisi della Memorizzazione: Dimostra che i VT mostrano pattern di memorizzazione fondamentalmente simili a quelli delle CNN (distribuzione a "coda lunga"), rendendo validi i proxy di memorizzazione sviluppati per le CNN.
3. Validazione dei Proxy: Conferma che proxy semplici come Confidence e Holdout Retraining (HR) sono efficaci per i VT, permettendo un'analisi scalabile senza costi computazionali proibitivi.
4. Linee Guida Architettura-Algoritmo: Identifica quali combinazioni funzionano meglio:
   • I modelli ViT beneficiano maggiormente del Fine-tuning (probabilmente a causa della loro attenzione globale diffusa).
   • I modelli Swin-T rispondono meglio agli approcci basati sui gradienti come NegGrad+ (grazie alla loro struttura gerarchica e locale simile alle CNN).
5. Stabilità nel Continual Unlearning: Dimostra che l'unlearning continuo non degrada significativamente le prestazioni nei VT, a patto di utilizzare la combinazione corretta di algoritmo e proxy.

4. Risultati Principali

• Efficacia degli Algoritmi: Gli algoritmi derivati dalle CNN funzionano bene anche sui VT. NegGrad+ emerge come il metodo più robusto e consistente, specialmente su dataset complessi (CIFAR-100, ImageNet) e quando combinato con il proxy Holdout Retraining.
• Prestazioni di SalUn: Sebbene ottenga buoni punteggi su ToW (accuratezza), SalUn fatica significativamente su ToW-MIA (protezione contro gli attacchi di inferenza), specialmente sui ViT, rendendolo meno adatto per scenari sensibili alla privacy.
• Impatto del Pre-training: Il pre-addestramento su ImageNet offre un vantaggio sui dataset semplici (CIFAR-10), dove i VT mostrano una memorizzazione inferiore rispetto alle CNN. Tuttavia, questo vantaggio diminuisce all'aumentare della complessità del task (CIFAR-100, ImageNet).
• Scalabilità: Aumentare la capacità del modello (da Tiny a Base) porta a miglioramenti marginali ma consistenti. Esiste un "punto dolce" (es. ViT-Small, Swin-Tiny) dove i modelli non sono né sottodimensionati né sovradimensionati, offrendo il miglior equilibrio tra privacy e utilità.
• Continual Unlearning: Le prestazioni rimangono stabili anche dopo 10 step di unlearning sequenziale, senza degradazione cumulativa significativa.

5. Significato e Implicazioni

Questo lavoro è fondamentale per lo sviluppo di AI sicura e responsabile nel dominio della visione artificiale.

• Praticità: Fornisce ai praticanti linee guida chiare su come implementare il "diritto all'oblio" nei moderni modelli Transformer, suggerendo combinazioni specifiche (es. Swin + NegGrad+ + HR per scenari complessi).
• Riproducibilità: Il rilascio del codice e del benchmark permette alla comunità di confrontare equamente nuovi algoritmi futuri.
• Fondamento Teorico: Stabilisce che, nonostante le differenze architetturali, i principi di memorizzazione e i metodi di unlearning sviluppati per le CNN sono trasferibili ai VT, accelerando l'adozione di tecniche di privacy-preserving nei modelli di stato dell'arte.

In sintesi, il paper dimostra che il Machine Unlearning è fattibile ed efficace sui Vision Transformers, ma richiede una selezione attenta dell'algoritmo e del proxy di memorizzazione in base all'architettura specifica e alla complessità del dataset.