Sintesi Tecnica: FedXDS

Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli senza condividere i dati grezzi, tuttavia affronta un significativo degrado delle prestazioni quando le distribuzioni dei dati dei client esibiscono eterogeneità statistica (non-IID). Sebbene gli approcci esistenti tentino di mitigare questo problema attraverso l'ottimizzazione prossimale o l'appiattimento del panorama della perdita (loss landscape), essi spesso faticano a gestire la divergenza degli aggiornamenti. Al contrario, la condivisione di dati grezzi o di caratteristiche sintetiche per allineare le distribuzioni migliora la generalizzazione, ma introduce gravi rischi per la privacy. La Differenziale Privacy (DP) standard applicata a dati grezzi ad alta dimensionalità (ad esempio, immagini) richiede un rumore eccessivo per garantire la privacy, portando a una sostanziale perdita di utilità. La sfida centrale affrontata da questo articolo è come mantenere i benefici prestazionali della condivisione dei dati in ambienti FL eterogenei fornendo al contempo forti garanzie di privacy e mantenendo l'efficienza computazionale.

Metodologia: FedXDS

Gli autori propongono FedXDS (Federated Learning via XAI-guided Data Sharing), un framework innovativo che sfrutta l'Intelligenza Artificiale Spiegabile (XAI) per condividere selettivamente solo le caratteristiche dei dati rilevanti per il compito. La metodologia consiste in tre fasi primarie:

1. Selezione delle Caratteristiche Guidata dall'Attribuzione

Invece di condividere immagini grezze, i client utilizzano metodi di attribuzione basati sulla propagazione per identificare le caratteristiche di input più critiche per le predizioni del modello.

• Fase di Warmup: I client addestrano prima un modello di "warmup" locale ($\theta_{warmup}$) utilizzando lo standard FedAvg per un numero prestabilito di round.
• Mappatura dell'Attribuzione: Per ogni campione di input $x$, un metodo di attribuzione $\mathcal{A}$ (ad esempio, Layer-wise Relevance Propagation, Integrated Gradients) calcola una mappa di punteggio di rilevanza pixel per pixel $h$.
• Mascheramento: Viene generata una maschera binaria $m$ mantenendo solo il top $s$-percentile dei punteggi di attribuzione (livello di sparsità). L'input viene filtrato tramite moltiplicazione elemento per elemento: $f_A(x) = x \odot m$. Questo passaggio scarta il rumore di fondo e le correlazioni spurie, mantenendo solo le caratteristiche semanticamente significative.

2. Meccanismo di Preservazione della Privacy

Per proteggere le caratteristiche rimanenti, il framework impiega la Metric Differential Privacy.

• Riduzione della Sensibilità: Sparsi l'input attraverso il mascheramento per attribuzione, la sensibilità ($\Delta f$) della funzione di selezione delle caratteristiche è strettamente limitata (dimostrato essere $\le 1$ nella norma $\ell_2$).
• Iniezione di Rumore: Il rumore gaussiano viene aggiunto alle caratteristiche mascherate. Poiché la sensibilità è ridotta scartando le dimensioni irrilevanti, è necessario molto meno rumore per raggiungere un determinato budget di privacy ($\epsilon, \delta$) rispetto all'applicazione del rumore sull'intera immagine grezza. Ciò preserva una maggiore utilità.
• Garanzia Formale: Il meccanismo soddisfa la $(\epsilon, \delta)$-metric privacy, dove la perdita di privacy è limitata rispetto alla distanza tra gli input nello spazio metrico.

3. Addestramento Federato con Dati Condivisi

• Aggregazione Globale: I client caricano le loro caratteristiche private, mascherate e rumorose al server, che le aggrega in un dataset globale $D_g$.
• Ottimizzazione Locale: I client scaricano $D_g$ e ottimizzano una funzione obiettivo composita che bilancia le prestazioni del compito locale con la conoscenza derivante dai dati globali condivisi:
  $$\min_{\theta} \left[ \mathbb{E}_{(x,y) \sim D_k}[\ell(f_\theta(x), y)] + \lambda \mathbb{E}_{(x,y) \sim D_g}[\ell(f_\theta(x), y)] \right]$$
  Qui, $\lambda$ controlla il compromesso tra specializzazione locale e integrazione della conoscenza globale.

Contributi Chiave

1. Algoritmo Innovativo: L'introduzione di FedXDS, il primo approccio che utilizza tecniche di attribuzione delle caratteristiche XAI per identificare e condividere selettivamente elementi di dati specifici tra i client per mitigare l'eterogeneità.
2. Riduzione della Dimensionalità Preservante la Privacy: Un meccanismo che utilizza il mascheramento guidato dall'attribuzione per ridurre la dimensionalità delle caratteristiche grezze prima di applicare il rumore. Ciò consente una metric differential privacy con livelli di rumore inferiori, migliorando così l'utilità rispetto alla DP standard sui dati grezzi.
3. Validazione della Privacy Teorica ed Empirica: Il documento fornisce limiti teorici sulla sensibilità e dimostra empiricamente la robustezza contro gli attacchi di Membership Inference (MIA) e gli attacchi di Feature Inversion, mostrando che le caratteristiche mascherate tramite attribuzione offrono una protezione più forte rispetto alle caratteristiche non mascherate a parità di budget di privacy.
4. Efficienza: A differenza degli approcci basati su generatori (ad esempio, GAN o VAE) che richiedono un costoso riaddestramento, FedXDS calcola le maschere di attribuzione in un singolo passaggio backward durante una fase di warmup, comportando un overhead computazionale minimo.

Risultati Sperimentali

Gli autori hanno valutato FedXDS su benchmark standard (CIFAR-10, CIFAR-100, Tiny-ImageNet) e dataset reali eterogenei (CelebA, FEMNIST) utilizzando il framework LEAF.

• Accuratezza: FedXDS, in particolare quando utilizza la Layer-wise Relevance Propagation (FedXLRP), ha superato costantemente gli stati dell'arte (inclusi FedAvg, FedProx, FedDyn e metodi di condivisione dati come FedFed e FedFTG).
  • Su CIFAR-10 con 100 client e alta eterogeneità ($\alpha=0.05$), FedXLRP ha raggiunto un'accuratezza dell'83,46%, superando significativamente FedAvg (60,94%) e FedFed (82,58%).
  • Sui dataset reali (CelebA, FEMNIST), FedXDS ha ottenuto l'accuratezza più elevata tra tutti i metodi testati.
• Velocità di Convergenza: FedXDS ha dimostrato una superiore efficienza di comunicazione. Ad esempio, su CIFAR-10 con 10 client, ha raggiunto il 70% di accuratezza in 14 round, mentre FedAvg ne ha richiesti 49.
• Studi di Ablazione:
  • Metodo di Attribuzione: LRP si è dimostrato superiore ai metodi basati sul gradiente (Gradient $\times$ Input, Integrated Gradients, SmoothGrad) perché produce mappe di rilevanza strutturalmente coerenti, preservando pattern visivi significativi anche sotto alta sparsità.
  • Iperparametri: Un peso della conoscenza intermedio ($\lambda=0.5$) ha prodotto prestazioni ottimali, e un periodo di warmup di 10 round è stato identificato come il compromesso ottimale per la convergenza.
• Analisi della Privacy: I test empirici hanno mostrato che le caratteristiche di FedXDS erano significativamente più difficili da ricostruire (punteggi SSIM inferiori negli attacchi di feature inversion) e fornivano una migliore resistenza alla membership inference rispetto alle caratteristiche non mascherate o alle caratteristiche di altri metodi di condivisione dati.

Significato e Rivendicazioni

Il documento afferma che FedXDS rappresenta un avanzamento significativo nel risolvere il "trilemma" dell'Apprendimento Federato: eterogeneità, privacy ed efficienza.

• Unire XAI e FL: Il lavoro dimostra per la prima volta che i metodi XAI, tradizionalmente usati per l'interpretabilità, possono essere riutilizzati come uno strumento funzionale per risolvere il problema dell'eterogeneità statistica nel FL.
• Compromesso Utilità-Privacy: Sfruttando la sparsità indotta dalle mappe di attribuzione, il metodo raggiunge un compromesso privacy-utilità più favorevole. Si argomenta che scartare le informazioni irrilevanti per il compito non è solo un passaggio di filtraggio, ma un meccanismo di potenziamento della privacy che riduce la sensibilità dei dati, consentendo l'iniezione di meno rumore.
• Praticità: L'approccio evita l'onere computazionale dei modelli generativi, rendendolo adatto ad ambienti con risorse limitate pur fornendo garanzie formali di privacy.

Gli autori concludono che i metodi di attribuzione sono uno strumento promettente per migliorare l'apprendimento federato, consentendo un efficace trasferimento di conoscenza pur preservando la privacy e l'efficienza computazionale.