Sintesi Tecnica: FedKT-CSD per l'Apprendimento Federato One-Shot

Definizione del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli su dati decentralizzati preservando la privacy, ma tipicamente soffre di un elevato overhead di comunicazione e di una convergenza lenta, particolarmente quando le distribuzioni dei dati dei client sono eterogenee. L'Apprendimento Federato One-Shot (OSFL) affronta i vincoli di comunicazione limitando l'interazione a un singolo round. Tuttavia, i metodi OSFL esistenti affrontano un compromesso critico: spesso mancano di garanzie formali di privacy o richiedono un addestramento locale computazionalmente costoso (ad esempio, l'addestramento di generatori locali o la distillazione di modelli). Quando la Differential Privacy (DP) viene applicata a posteriori a questi metodi, l'alta dimensionalità dei parametri del modello gonfia la sensibilità, degradando l'utilità. Inoltre, molti approcci attuali trasmettono pesi del modello o dati distillati che possono rivelare informazioni sui singoli record di addestramento.

La sfida centrale affrontata da questo lavoro è: È possibile ideare un framework che sfrutti la condivisione delle rappresentazioni in un contesto OSFL per ottenere simultaneamente garanzie di privacy formali e un calcolo client leggero?

Metodologia: FedKT-CSD

Gli autori propongono FedKT-CSD (Federated Knowledge Transfer via Collaborative Synthetic Data), un framework ispirato alla compressione neurale delle immagini. Il metodo utilizza un autoencoder pre-addestrato e congelato (Encoder $E$ e Decoder $D$) come spazio latente condiviso, eliminando la necessità di addestramento o adattamento on-device.

1. Elaborazione lato Client (Nessun Addestramento)

Ogni client $i$ possiede un dataset privato $D_i$. Il processo prevede un singolo passaggio in avanti (forward pass):

• Codifica: Le immagini vengono codificate in vettori latenti compatti $z_{i,j} = E(x_{i,j})$.
• Clipping: I vettori latenti vengono sottoposti a clipping a una norma $\ell_2$ limitata $R$ per garantire i limiti di sensibilità per la DP.
• Calcolo delle Statistiche: Per ogni classe $c$ presente nei dati del client, il client calcola tre statistiche additive:
  • Somma dei latenti sottoposti a clipping: $m_c^i = \sum \bar{z}_{i,j}$
  • Somma dei prodotti esterni: $M_c^i = \sum \bar{z}_{i,j}\bar{z}_{i,j}^\top$
  • Conteggio dei campioni: $n_c^i$
• Trasmissione: I client caricano solo questi riassunti leggeri (vettori e matrici) al server. Non vengono trasmessi dati grezzi o pesi del modello.

2. Aggregazione lato Server e Iniezione di Rumore

Il server aggrega le statistiche utilizzando la Secure Aggregation, che calcola le somme elemento per elemento tra i client senza rivelare i contributi individuali.

• Somme Globali: $S_{\mu,c} = \sum m_c^i$, $S_{\Sigma,c} = \sum M_c^i$, e $n_c = \sum n_c^i$.
• Differential Privacy: Viene aggiunto rumore Gaussiano calibrato alle somme aggregate ($\tilde{S}_{\mu,c}$ e $\tilde{S}_{\Sigma,c}$) basandosi sulla sensibilità della soglia di clipping $R$. Il budget di privacy $(\epsilon, \delta)$ è suddiviso tra le query della media e della covarianza.
• Post-Processing: Il server recupera la media e la covarianza rumorose, applica la correzione del bias (per tenere conto della varianza del rumore nella media) e la proiezione Semidefinita Positiva (PSD) (per garantire un campionamento valido).

3. Generazione di Dati Sintetici

Il server campiona vettori latenti dalle distribuzioni Gaussiane condizionate per classe risultanti $\mathcal{N}(\mu_c^{DP}, \Sigma_c^{DP})$ e li decodifica utilizzando il decoder congelato $D$ per generare un dataset sintetico protetto da DP $X^*$. Questo dataset viene quindi utilizzato per addestrare un modello globale o per task a valle.

Contributi Chiave

1. Generazione di Dati Sintetici One-Shot con DP: Il documento dimostra che gli autoencoder di compressione profonda forniscono uno spazio latente condiviso dove le statistiche condizionate per classe possono essere calcolate e aggregate con garanzie formali di $(\epsilon, \delta)$-DP. Ciò abilita una pipeline che richiede un solo round di comunicazione e zero addestramento on-device.
2. Prestazioni Competitive sotto DP: Nonostante operi sotto rigorosi vincoli di privacy, FedKT-CSD supera le esistenti baseline di FL one-shot non private (es. FedSD2C, DENSE, CoBoosting) attraverso diversi dataset e scenari di eterogeneità.
3. Invarianza all'Eterogeneità e alla Scala: A differenza degli approcci di aggregazione dei modelli che soffrono di modelli locali distorti in contesti eterogenei, FedKT-CSD è invariante rispetto al grado di eterogeneità dei dati e al numero di client. La natura additiva delle statistiche garantisce che la distribuzione globale sia ricostruita in modo identico indipendentemente dalla partizione dei dati.
4. Efficienza Pratica: Il metodo è altamente efficiente, con payload dei client nell'ordine dei Kilobyte (es. ~327 KB per 10 classi) e tempi di calcolo di pochi secondi su hardware consumer, rendendolo implementabile in ambienti con banda e capacità di calcolo limitate.
5. Versatilità dell'Utilità a Valle: Il dataset sintetico generato consiste in immagini reali (non feature fisse), consentendo di utilizzarlo per addestrare qualsiasi architettura, per il pre-addestramento di FL personalizzato o come dati ausiliari per metodi a più round.

Risultati Sperimentali

Gli autori hanno valutato FedKT-CSD su quattro benchmark di classificazione di immagini: ImageNette, CIFAR-100, EuroSAT e BloodMNIST.

• Prestazioni vs Baseline: FedKT-CSD ha ottenuto risultati allo stato dell'arte tra i metodi one-shot, superando spesso le baseline non private. Ad esempio, su CIFAR-100 in condizioni di eterogeneità patologica (dove ogni client vede solo 10 classi su 100), le baseline sono crollate a circa il 21%, mentre FedKT-CSD ha mantenuto circa il 29%. Su EuroSAT, ha raggiunto circa l'80% di accuratezza rispetto al ~55% della migliore baseline.
• Valutazione della Privacy: Il metodo soddisfa la formalità $(\epsilon=10, \delta=10^{-5})$-DP. Gli attacchi di Membership Inference (MIA) hanno prodotto un AUC di 0.501 (indovinare casualmente), confermando l'impossibilità di inferire la partecipazione di singoli record.
• Scalabilità: Il metodo scala linearmente fino a 1.000 client senza degradazione delle prestazioni, mentre le baseline degradano significativamente man mano che i dati vengono distribuiti in modo più sottile.
• Studi di Ablazione:
  • Eterogeneità: Le prestazioni sono rimaste stabili attraverso diversi parametri di concentrazione di Dirichlet ($\alpha$), mentre le baseline sono degradate monotonicamente.
  • Tasso di Partecipazione: Il metodo è degradato con grazia anche con una partecipazione dei client al 10%.
  • Architettura: Una dimensione latente di $d=128$ con un autoencoder a risoluzione 64x64 (DC-AE f32c32) ha offerto il miglior compromesso tra capacità rappresentativa e accumulo di rumore.

Significato e Rivendicazioni

Il paper sostiene che FedKT-CSD colma il divario tra bassa comunicazione, robustezza all'eterogeneità e privacy rigorosa nell'apprendimento federato. Sfruttando la struttura degli autoencoder pre-addestrati, il metodo trasforma il problema della condivisione privata dei dati nell'aggregazione di statistiche additive a bassa dimensionalità.

Gli autori sottolineano che il dataset sintetico preserva la separazione inter-classe necessaria per la classificazione senza richiedere il fotorealismo, motivo per cui raggiunge un'elevata accuratezza a valle nonostante l'aspetto grossolano delle singole immagini generate. Il lavoro suggerisce un principio di progettazione più ampio: gli autoencoder pre-addestrati possono servire come spazio condiviso e a bassa dimensionalità dove semplici statistiche additive sono sufficienti per una generazione di dati di alta qualità e rispettosa della privacy, abilitando sistemi federati scalabili ed efficienti senza l'onere computazionale dell'addestramento locale o i rischi di privacy dello scambio di parametri.