RUB: Evaluating Residual Knowledge in Unlearned Models

Sintesi Tecnica: RUB: Valutazione della Conoscenza Residua nei Modelli De-appresi

Problema
L'Unlearning di Macchina (Machine Unlearning - MUL) è emerso come un meccanismo critico per la protezione della privacy (ad esempio, conformità a GDPR, CCPA) e la regolamentazione dei contenuti, con l'obiettivo di rimuovere selettivamente le influenze di dati specifici da modelli addestrati. Le tecniche esistenti, che si concentrano sulla verifica dell'esecuzione dell'unlearning — assicurando che il modello si comporti in modo simile a uno riaddestrato da zero sul set di dati mantenuti — trascurano ampiamente una lacuna di sicurezza critica: la robustezza contro il recupero avversariale. Le ricerche attuali spesso non garantiscono la completa rimozione delle informazioni sensibili, lasciando una "conoscenza residua" che gli avversari possono sfruttare. Ricerche precedenti hanno dimostrato che i modelli de-appresi, in particolare i modelli di diffusione (DM) e i grandi modelli linguistici (LLM), possono essere manipolati tramite input creati appositamente (ad esempio, prompt avversariali o rumore) per far riemergere i dati dimenticati, annullando efficacemente il processo di unlearning. Esiste una mancanza di un framework unificato per valutare sistematicamente questa vulnerabilità attraverso diverse attività di computer vision.

Metodologia: Il Framework RUB
Per affrontare questa lacuna, gli autori propongono RUB (Robust Unlearning Benchmark), un framework unificato progettato per valutare la robustezza degli algoritmi di unlearning contro la risorgenza avversariale di informazioni post-unlearning.

1. Principio Fondamentale (Unlearning Robusto): Il documento definisce l'"Unlearning Robusto" come un processo in cui un modello de-appreso non è solo indistinguibile da un corrispondente riaddestrato sul set mantenuto, ma è anche resiliente ai tentativi avversariali di recuperare informazioni dimenticate. Formalmente, per ogni punto dati $x$ nel set dimenticato $D_u$ e per qualsiasi perturbazione avversariale $\delta_x$, il modello de-appreso $f_u$ deve mantenere una divergenza significativa dall'output del modello originale riguardo a $x$, anche sotto attacco.
2. Unlearning Mapping Attack (UMA): Gli autori introducono UMA come uno strumento di probing avversariale generalizzabile e modulare. UMA è definita come una strategia di attacco che modifica l'input di un modello per causare l'output che rivela o approssima informazioni destinate a essere rimosse.
   • Formulazione: In un contesto white-box (assumendo il pieno accesso sia al modello originale che a quello de-appreso), UMA cerca di trovare la perturbazione ottimale $\delta_i$ che minimizza la distanza tra l'output del modello de-appreso sull'input perturbato e l'output del modello originale sui dati dimenticati originali: $\arg \min_{\delta_i} D[f_u(\delta_i, \theta_u), f(x_i, \theta)]$.
   • Istanziazione specifica per il compito:
     • Compiti Discriminativi: Utilizza la Divergenza KL sui logit.
     • Image-to-Image (I2I): Utilizza l'Errore Quadratico Medio (MSE) per la ricostruzione.
     • Text-to-Image (T2I): Sfrutta la stima del livello di rumore del processo di diffusione, ottimizzando sui passi di diffusione per recuperare il concetto target.
3. Ambito del Benchmark: RUB valuta 15 algoritmi di unlearning allo stato dell'arte attraverso tre distinte attività di computer vision:
   • Classificazione di Immagini: I dataset includono CIFAR10, CIFAR100 e Tiny-ImageNet.
   • Ricostruzione Image-to-Image: Utilizza ImageNet-1k con una configurazione Masked AutoEncoder (MAE).
   • Sintesi Text-to-Image: Valuta i modelli di diffusione su concetti come "Chiesa", "Camion della spazzatura", "Nudità", ecc., utilizzando il codebase UnlearnDiffAtk.
4. Metriche di Valutazione: Il benchmark impiega metriche specifiche per il compito:
   • Classificazione: Unlearning Accuracy (UA, definita come l'accuratezza grezza sul set dimenticato, dove più bassa è meglio), il tasso di successo del Membership Inference Attack (MIA) e la Test Accuracy (TA) per misurare i compromessi di utilità.
   • I2I: Inception Score (IS) e Fréchet Inception Distance (FID).
   • T2I: Attack Success Rate (ASR) e il numero di passi di ottimizzazione richiesti per raggiungere un attacco riuscito.

Risultati Chiave
Esperimenti estesi su 15 metodi di unlearning rivelano vulnerabilità significative:

• Compiti Discriminativi: Mentre il riaddestramento (il gold standard) raggiunge una forte robustezza, i metodi di unlearning esistenti (ad esempio, FT, RL, IU, SalUn) mostrano vari gradi di vulnerabilità. Man mano che la complessità del dataset aumenta (da CIFAR10 a Tiny-ImageNet), sia l'efficacia dell'unlearning che la robustezza diminuiscono drasticamente. Molti metodi che superano le metriche di verifica standard falliscono completamente sotto il probing avversariale, con alti punteggi di UA e MIA sotto attacco.
• Compiti I2I: I modelli de-appresi spesso non riescono a ricostruire immagini dal set dimenticato in condizioni normali, ma possono essere costretti a generare ricostruzioni di alta qualità del contenuto dimenticato quando vengono forniti con input avversariali. Piccole perturbazioni di rumore sono spesso sufficienti per bypassare il meccanismo di unlearning.
• Compiti T2I: Nonostante dimostrino una forte efficacia iniziale nell'unlearning, la maggior parte dei metodi di unlearning basati sulla diffusione (ad esempio, AdvUnlearn, EraseDiff, ESD) esibisce una robustezza limitata. Gli attacchi avversariali riescono a recuperare i concetti dimenticati con diversi gradi di difficoltà (misurati in passi di attacco), indicando che la conoscenza residua persiste.
• Risultato Generale: Esiste un divario costante tra l'"efficacia dell'unlearning" (prestazioni sulle metriche standard) e la "robustezza dell'unlearning". La maggior parte dei metodi attuali non è resiliente alle strategie di recupero avversariale.

Significatività e Rivendicazioni
Il documento posiziona la Robustezza come il criterio centrale per valutare l'unlearning di macchine, sostenendo che superare la verifica standard è insufficiente se il modello rimane vulnerabile al recupero avversariale.

• Primo Benchmark Completo: RUB è presentato come il primo framework per valutare sistematicamente gli algoritmi di unlearning contro il recupero avversariale post-unlearning attraverso diverse attività di visione.
• Protocollo Unificato: Fornisce un protocollo standardizzato ed estendibile (UMA) per verificare empiricamente se i metodi di unlearning eliminano davvero la conoscenza residua.
• Direzione della Ricerca: Gli autori affermano che i loro risultati evidenziano le debolezze fondamentali negli attuali metodi di unlearning, esortando la comunità ad andare oltre la mera efficacia e a incorporare esplicitamente considerazioni di robustezza nella progettazione dei futuri algoritmi di unlearning. L'obiettivo è porre le basi per pratiche di unlearning più affidabili e sicure che possano resistere a tentativi malevoli di recuperare informazioni dimenticate.

Il documento conclude che, sebbene gli attuali metodi offrano un punto di partenza, non sono ancora abbastanza robusti per scenari ad alto rischio di privacy e regolamentazione dei contenuti, e che RUB serve come strumento necessario per guidare lo sviluppo di tecniche di unlearning realmente resilienti.