Riepilogo Tecnico: FLRSP – Apprendimento Federato con Preservazione della Privacy Utilizzando Parametri del Modello Selezionati Casualmente

1. Enunciato del Problema

L'addestramento di Reti Neurali Profonde (DNN) di alta qualità richiede tipicamente enormi quantità di dati, spesso contenenti informazioni sensibili o personali. Sebbene l'Apprendimento Federato (FL) consenta a più client di addestrare collaborativamente un modello senza condividere dati grezzi, rimane vulnerabile ad attacchi alla privacy. Nello specifico, gli attaccanti possono ricostruire i dati di addestramento originali dagli aggiornamenti del modello condivisi (gradienti o pesi) utilizzando tecniche come l'attacco APRIL (Attention PRIvacy Leakage) per i Vision Transformers (ViT) e attacchi di ottimizzazione avversaria per le Reti Neurali Convoluzionali (CNN).

I metodi esistenti di potenziamento della sicurezza presentano limitazioni significative:

• Privacy Differenziale (DP): Aggiunge rumore agli aggiornamenti per resistere agli attacchi, ma degrada inevitabilmente l'accuratezza del modello.
• Metodi a Posizione Fissa: Efficaci per i ViT azzerando gli aggiornamenti degli embedding posizionali, ma falliscono quando i modelli sono addestrati da zero (poiché tutti i livelli necessitano di aggiornamenti) e non sono applicabili alle CNN.
• Concetti Precedenti di Selezione Casuale: I lavori precedenti sui gradienti selezionati casualmente erano limitati alle architetture ViT e all'algoritmo di Discesa Stocastica del Gradiente Federato (FedSGD).

La sfida principale è sviluppare un metodo FL che preservi la privacy, robusto contro gli attacchi di ripristino delle immagini all'avanguardia su diverse architetture (ViT e CNN) e algoritmi (FedSGD e FedAvg), senza sacrificare l'accuratezza della classificazione.

2. Metodologia: FLRSP

Gli autori propongono l'Apprendimento Federato utilizzando Parametri del Modello Selezionati Casualmente (FLRSP). In questo framework, ogni client seleziona casualmente un sottoinsieme di parametri del modello (gradienti in FedSGD o pesi in FedAvg) da condividere con il server centrale, sostituendo i parametri non selezionati con valori zero.

Meccanismo Principale

1. Selezione Casuale: Prima della trasmissione, ogni client applica una sequenza binaria casuale $B_{n,k,i}^l \in \{0, 1\}$ ai parametri del modello $\theta_{n,k,i}^l$ (o ai pesi $W_{n,k,i}^m$).
   • Se $B=1$, il parametro è condiviso.
   • Se $B=0$, il parametro è impostato a zero.
   • La probabilità di occorrenza dello zero è indicata come $R$.
2. Aggregazione del Server: Il server centrale aggrega gli aggiornamenti ricevuti. Crucialmente, la formula di aggregazione tiene conto della sparsità introdotta dalla selezione casuale. Per FedSGD, l'aggiornamento globale del modello $w_{k,i}^{l+1}$ è calcolato come:
   $$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$$
   (Se il denominatore è zero, il parametro rimane invariato). Ciò garantisce che il modello globale venga aggiornato utilizzando solo i gradienti non nulli, normalizzando efficacemente il tasso di apprendimento in base al numero di parametri partecipanti.
3. Sequenze Dinamiche: A differenza degli approcci a "pesi congelati" in cui specifici livelli sono esclusi permanentemente, FLRSP utilizza diverse sequenze casuali per ogni epoca (in FedAvg) o batch (in FedSGD). Ciò garantisce che tutti i parametri vengano aggiornati nel tempo, prevenendo la perdita permanente di informazioni.

Base Teorica

Il documento fornisce un'analisi di convergenza che dimostra come FLRSP mantenga proprietà di convergenza stabili simili all'FL standard. Il tasso di apprendimento effettivo è regolato dal fattore $(1 - RN)$, dove $N$ è il numero di client. Poiché il tasso di apprendimento rimane positivo, il metodo è matematicamente dimostrato come convergente.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Nuovo Metodo FL: Un nuovo approccio per difendersi dagli attaccanti selezionando casualmente i parametri del modello globale calcolati sui server locali, applicabile sia alle architetture ViT che CNN.
2. Generalizzazione: L'espansione del concetto di selezione casuale (precedentemente limitato a ViT e FedSGD) per includere FedAvg e le architetture ResNet.
3. Verifica Empirica: Esperimenti completi che dimostrano come FLRSP superi i metodi all'avanguardia (in particolare la Privacy Differenziale e i metodi a Posizione Fissa) sia in termini di robustezza agli attacchi che di accuratezza di classificazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset CIFAR-10 utilizzando ViT (vit_small_patch16_224) e ResNet34 sotto entrambi i protocolli FedSGD e FedAvg.

Accuratezza di Classificazione

• ViT: FLRSP ha mantenuto un'accuratezza paragonabile all'FL standard sia per modelli pre-addestrati fine-tunati che per modelli addestrati da zero. Al contrario, il metodo a Posizione Fissa ha subito un significativo degrado dell'accuratezza durante l'addestramento da zero perché impedisce gli aggiornamenti al livello di embedding posizionale.
• ResNet: FLRSP ha raggiunto un'alta accuratezza attraverso vari valori di $R$ (0.2, 0.5, 0.8). Mentre la Privacy Differenziale (DP) ha mostrato un degrado dell'accuratezza all'aumentare dell'intensità della privacy ($\epsilon$), FLRSP ha mantenuto prestazioni vicine alla linea di base.
• Dati Non-I.I.D.: Sotto distribuzioni di dati eterogenee (distribuzione di Dirichlet, $\alpha=0.1$), FLRSP ha mantenuto un'accuratezza superiore rispetto alla DP.

Robustezza agli Attacchi

Lo studio ha valutato la resistenza contro due attacchi all'avanguardia utilizzando l'Indice di Similarità Strutturale (SSIM) tra immagini originali e ripristinate:

• APRIL (ViT): L'FL standard ha permesso il pieno ripristino visivo. FLRSP (anche con $R=0.2$) ha efficacemente impedito il ripristino, raggiungendo una robustezza equivalente al metodo a Posizione Fissa.
• Ottimizzazione Avversaria (CNN): L'FL standard e la DP (anche con basso $\epsilon$) hanno permesso un significativo ripristino delle immagini (valori SSIM spesso > 0.6). FLRSP ha drasticamente ridotto i valori SSIM (spesso < 0.1), rendendo il ripristino visivo quasi impossibile.
• Confronto: FLRSP ha costantemente ottenuto valori SSIM più bassi (indicanti una migliore privacy) rispetto alla DP, mantenendo al contempo un'accuratezza di classificazione superiore.

5. Significato e Affermazioni

Il documento afferma che FLRSP affronta con successo il compromesso tra privacy e utilità nell'Apprendimento Federato. Selezionando casualmente i parametri, il metodo interrompe le equazioni matematiche necessarie per gli attacchi di ripristino delle immagini basati sui gradienti (in particolare rompendo la similarità del coseno nell'ottimizzazione avversaria e le equazioni in forma chiusa in APRIL).

Gli autori sottolineano che FLRSP è una soluzione generalizzabile applicabile a modelli arbitrari (inclusi ViT e ResNet) e algoritmi (FedSGD e FedAvg). A differenza dei metodi precedenti che degradano l'accuratezza (DP) o sono specifici dell'architettura (Posizione Fissa), FLRSP offre un meccanismo di difesa robusto che preserva le prestazioni del modello. Lo studio conclude che FLRSP è un metodo di potenziamento della sicurezza vitale ed efficace per scenari pratici di apprendimento federato.