Rethinking Federated Unlearning via the Lens of Memorization

Sintesi Tecnica: Ripensare l'Oblio Federato attraverso la Lente della Memorizzazione

Enunciato del Problema
L'Apprendimento Federato (FL) è sempre più richiesto a supportare l'oblio automatico (machine unlearning) per conformarsi a normative sulla privacy come il GDPR e il CCPA (il "diritto all'oblio"). Sebbene il riaddestramento di un modello da zero dopo la rimozione dei dati di un client sia lo standard aureo per l'oblio, ciò comporta costi computazionali e di comunicazione proibitivi. Gli approcci esistenti all'oblio federato (FU) tentano di approssimare tale riaddestramento perturbando le rappresentazioni, utilizzando aggiornamenti storici o applicando l'ascesa del gradiente. Tuttavia, gli autori sostengono che questi metodi spesso trascurano la distinzione critica tra informazioni sovrapposte (pattern generalizzabili condivisi tra il client da dimenticare e i client rimanenti) e informazioni uniche di memorizzazione (dettagli specifici del client). Gli algoritmi attuali tentano frequentemente di eliminare l'influenza dell'intero dataset da dimenticare, rimuovendo involontariamente i pattern sovrapposti. Ciò porta a un'oblio inefficace (fallimento nella rimozione di dati memorizzati specifici) e a ingiustizia (degradazione sproporzionata delle prestazioni dei client rimanenti che condividono pattern simili con il client da dimenticare).

Metodologia
Il documento propone un framework fondato sulla teoria dell'informazione e sul concetto di memorizzazione, portando allo sviluppo di Federated Memorization Pruning (FedMemPrune).

1. Fondamento Teorico (Decomposizione dell'Informazione):
   Gli autori formalizzano l'oblio utilizzando la Decomposizione dell'Informazione Parziale. Definiscano l'informazione appresa da un modello dall'unione dei dati da dimenticare ($D_u$) e dei dati rimanenti ($D_r$) come composta da:

   • Informazione Sinergica: Fornita congiuntamente da $D_u$ e $D_r$.
   • Informazione Ridondante/Sovrapposta ($F_g$): Condivisa tra $D_u$ e $D_r$.
   • Informazione Unica/Di Memorizzazione ($F_m$): Specifica di $D_u$.

   Gli autori sostengono che il componente sinergico sia trascurabile negli scenari generali di oblio. Pertanto, l'obiettivo dell'oblio non dovrebbe essere cancellare tutte le informazioni da $D_u$, ma specificamente rimuovere le informazioni uniche di memorizzazione ($F_m$) preservando al contempo le informazioni sovrapposte ($F_g$). Rimuovere $F_g$ danneggia la generalizzazione e l'equità, mentre rimuovere $F_m$ raggiunge il desiderato "dimenticare" senza sacrificare l'utilità.

2. Metrica di Valutazione: Valutazione della Memorizzazione Raggruppata (GME):
   Per affrontare la mancanza di metriche di valutazione granulari, gli autori introducono la GME. Questa metrica calcola un punteggio di memorizzazione per ogni esempio nel dataset da dimenticare, definito come la differenza nella probabilità di classificazione corretta tra un modello addestrato su $D_u \cup D_r$ e un modello addestrato solo su $D_r$. Gli esempi vengono quindi raggruppati in base a questi punteggi (ad es. alta memorizzazione vs. bassa memorizzazione). L'efficacia dell'oblio è misurata da quanto strettamente le prestazioni del modello obliato su questi sottogruppi corrispondono alla baseline riaddestrata, prendendo di mira specificamente la rimozione degli esempi ad alta memorizzazione.

3. Algoritmo: FedMemPrune:
   FedMemPrune è un approccio basato sulla potatura in tre fasi:

   • Fase 1 (Localizzazione dei Parametri di Memorizzazione): L'algoritmo identifica i parametri ridondanti nel modello globale. Questi sono definiti come parametri che ricevono aggiornamenti di gradino minimi dai client rimanenti ($D_r$). L'ipotesi è che i parametri critici per $D_r$ codifichino conoscenze sovrapposte/generalizzabili, mentre i parametri ridondanti codifichino la memorizzazione unica specifica di $D_u$.
   • Fase 2 (Reset): I parametri ridondanti identificati vengono re-inizializzati utilizzando la strategia di inizializzazione originale (ad es. Uniforme di Kaiming), cancellando efficacemente le informazioni memorizzate.
   • Fase 3 (Fine-tuning): Il modello viene sottoposto a fine-tuning sui client rimanenti ($D_r$) per ripristinare le prestazioni di generalizzazione e ricostruire le rappresentazioni sovrapposte.

Contributi Chiave

• Cambiamento Concettuale: Il documento ridefinisce l'oblio federato come un processo di rimozione della memorizzazione specifica del client piuttosto che di cancellazione di tutta l'influenza dei dati, sostenendo che le informazioni sovrapposte dovrebbero essere preservate per mantenere l'utilità e l'equità del modello.
• Nuova Metrica: L'introduzione della Valutazione della Memorizzazione Raggruppata (GME), che consente una valutazione a livello di esempio dell'efficacia dell'oblio, distinguendo tra l'oblio dei dati di coda memorizzati e la preservazione dei dati di testa generalizzabili.
• Algoritmo Proposto: Lo sviluppo di FedMemPrune, che sfrutta la ridondanza dei parametri rispetto ai dati rimanenti per potare selettivamente le informazioni di memorizzazione.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi su CIFAR-10, CIFAR-100 ed EMNIST in configurazioni sia IID che Non-IID, confrontando FedMemPrune con baseline come Halimi et al. (ascesa del gradiente), Liu et al. (Matrice di Informazione di Fisher), FedRecovery, FedAU, FedOSD e NoT.

• Efficacia dell'Oblio: FedMemPrune corrisponde strettamente alle prestazioni della baseline riaddestrata, in particolare all'interno dei sottogruppi ad alta memorizzazione. Ad esempio, su CIFAR-100 (Non-IID), il metodo ha raggiunto accuratezze di classificazione sui gruppi ad alta memorizzazione (ad es. 27,25% vs 21,74% per la baseline) significativamente più vicine al modello riaddestrato rispetto ad altre baseline, che spesso fallivano nel dimenticare i dati ad alta memorizzazione o dimenticavano eccessivamente.
• Prestazioni di Generalizzazione: Preservando le informazioni sovrapposte, FedMemPrune mantiene un'alta accuratezza di test sul dataset trattenuto, superando spesso altre baseline di oblio e avvicinandosi alla baseline riaddestrata (ad es. 63,33% su CIFAR-100 IID).
• Equità: Il metodo dimostra un'equità locale superiore, minimizzando la variazione nelle variazioni di prestazioni tra i client rimanenti. Ciò conferma che la preservazione delle informazioni sovrapposte previene il degrado sproporzionato per i client che condividono dati con il client da dimenticare.
• Efficienza: FedMemPrune raggiunge le prestazioni target in circa il 50% del tempo in meno rispetto al riaddestramento completo, poiché evita la necessità di riaddestrare l'intero modello da zero.

Significato e Affermazioni
Gli autori affermano che il loro lavoro fornisce sia approfondimenti teorici che strategie pratiche per rafforzare l'oblio federato. Distinguendo tra memorizzazione e informazioni sovrapposte, sostengono che un oblio efficace dovrebbe prendere di mira solo la prima. Il documento afferma che FedMemPrune raggiunge con successo un oblio robusto ed efficiente senza sacrificare l'utilità della conoscenza trattenuta o l'equità tra i client. Il lavoro evidenzia che i protocolli di valutazione attuali sono insufficienti e che è necessaria una prospettiva consapevole della memorizzazione per valutare e migliorare rigorosamente i meccanismi di oblio federato. Gli autori sottolineano che il loro approccio è particolarmente adatto a scenari in cui il dataset da dimenticare non è disponibile durante la fase di oblio, poiché si basa sui gradienti dei client rimanenti per identificare cosa potare.