Sintesi Tecnica: Apprendimento Federato tramite Inferenza Bayesiana Variazionale

1. Definizione del Problema

L'Apprendimento Federato (FL) consente l'apprendimento automatico distribuito preservando la privacy dei client. Tuttavia, gli approoli standard di FL, come il Federated Averaging (FedAvg), soffrono spesso di un degrado delle prestazioni quando si trovano di fronte a due criticità del mondo reale:

1. Eterogeneità dei Dati (Non-i.i.d.): Le distribuzioni dei dati dei client variano significativamente a causa delle differenze nelle abitudini, nelle posizioni e nelle preferenze degli utenti.
2. Scarsità di Dati: I client possiedono spesso dati limitati a causa dell'alto costo di raccolta, portando al overfitting del modello.

Le soluzioni esistenti tentano di affrontare questi problemi attraverso l'Apprendimento Federato Personalizzato (PFL) e l'Apprendimento Federato Clusterizzato (CFL). Tuttavia, i modelli PFL spesso vanno in overfitting su dati insufficienti, e i modelli di Bayesian FL (BFL) standard faticano ad affrontare l'estrema eterogeneità. Inoltre, il costo di inferenza delle Reti Neurali Bayesiane (BNN) è elevato a causa della necessità di molteplici passaggi in avanti (forward passes) per stimare l'incertezza. Questo articolo affronta la necessità di un framework che gestisca simultaneamente eterogeneità, scarsità di dati ed efficienza di inferenza.

2. Metodologia

Gli autori propongono un framework di ottimizzazione a due livelli che integra le BNN nel PFL e nel CFL tramite l'Inferenza Bayesiana Variazionale (VI). A differenza della VI tradizionale in cui si assume un prior fisso per i parametri, questo framework utilizza la distribuzione globale addestrata dal server come distribuzione prior per ogni client. Ciò evita il disallineamento tra i prior assunti e le distribuzioni reali.

Il framework consiste in tre algoritmi specifici:

2.1 pFedBayes (Apprendimento Federato Bayesiano Personalizzato)

• Meccanismo: Progettato per scenari con dati limitati. Assume che tutti i parametri della rete seguano distribuzioni Gaussiane indipendenti e identicamente distribuite (i.i.d.).
• Ottimizzazione: I client minimizzano la somma dell'errore di ricostruzione sui propri dati locali e della divergenza di Kullback-Leibler (KL) tra la propria distribuzione locale e la distribuzione globale. Il server aggrega le distribuzioni locali per aggiornare la distribuzione globale.
• Obiettivo: Raggiungere la personalizzazione sfruttando al contempo il prior globale per prevenire l'overfitting.

2.2 sFedBayes (Apprendimento Federato Bayesiano Personalizzato Sparso)

• Meccanismo: Progettato per migliorare l'efficienza dell'inferenza. Introduce la sparsità assumendo che i parametri seguano una distribuzione Bernoulli-Gaussian (un prior "spike-and-slab").
• Ottimizzazione: Simile a pFedBayes ma include una struttura di sparsità apprendibile. I parametri vengono potati (pruning) se la probabilità di inclusione è bassa.
• Obiettivo: Ridurre i costi di archiviazione e computazione durante l'inferenza potando i parametri ridondanti pur mantenendo le prestazioni del modello.

2.3 cFedBayes (Apprendimento Federato Bayesiano Clusterizzato)

• Meccanismo: Progettato per una diversità statistica estrema. Invece di apprendere un singolo prior globale, il server apprende molteplici distribuzioni globali (una per ogni cluster).
• Ottimizzazione: I client selezionano dinamicamente la distribuzione globale (cluster) che meglio corrisponde ai loro dati privati (minimizzando la divergenza KL) e aggiornano la propria distribuzione locale basandosi su quel particolare prior.
• Obiettivo: Fornire garanzie adattive a livello di cluster piuttosto che un singolo limite uniforme, accogliendo meglio i client con distribuzioni di dati molto diverse.

3. Contributi Chiave

1. Algoritmi Innovativi: L'articolo introduce tre algoritmi di BFL personalizzato a due livelli: pFedBayes, sFedBayes e cFedBayes.
2. Garanzie Teoriche:
   • Gli autori forniscono limiti di errore di generalizzazione per tutti e tre gli approcci.
   • Dimostrano che i tassi di errore di generalizzazione medi raggiungono l'ottimalità minimax fino a un fattore logaritmico.
   • Nello specifico, si dimostra che cFedBayes raggiunge un limite di errore di generalizzazione a livello di cluster, offrendo garanzie adattive superiori rispetto al limite uniforme singolo di pFedBayes.
3. Efficienza e Sparsità: sFedBayes è proposto per affrontare l'alto costo di inferenza delle BNN. L'analisi teorica mostra che raggiunge tassi di convergenza minimax ottimali nel regime sparso.
4. Algoritmi di Gradiente Stocastico: Sono sviluppati algoritmi di gradiente stocastico corrispondenti per tutti e tre i metodi, utilizzando tecniche di riparametrizzazione (ad esempio, Gumbel-softmax per variabili discrete in sFedBayes) per consentire l'addestramento end-to-end.

4. Risultati Sperimentali

Gli autori hanno valutato i metodi proposti su quattro dataset di benchmark (MNIST, FMNIST, CIFAR-10, SVHN) in contesti non-i.i.d. e di clustering, confrontandoli con baseline allo stato dell'arte (ad esempio, FedAvg, FedProx, pFedMe, IFCA, FedCFL).

• Prestazioni su Dati Limitati: pFedBayes ha superato significativamente altri metodi personalizzati, in particolare su dataset piccoli. Ad esempio, sul piccolo dataset CIFAR-10, pFedBayes ha migliorato l'accuratezza personalizzata del 12,43% rispetto al miglior algoritmo SOTA.
• Benefici della Sparsità: sFedBayes ha dimostrato che una sparsità moderata (ad esempio, mantenendo circa il 35-45% dei parametri) può mantenere o persino migliorare leggermente l'accuratezza personalizzata rispetto al modello denso pFedBayes, agendo come un regolarizzatore implicito contro l'overfitting.
• Efficacia del Clustering: cFedBayes ha raggiunto le accuratezze più elevate sui dataset di clustering (ad esempio, MNIST-MNIST⊥, CIFAR10-CIFAR10⊥), superando le baseline basate su clustering come FedCFL e IFCA di circa l'1-2% in termini di accuratezza globale.
• Stima dell'Incertezza: La natura Bayesiana dei modelli consente la quantificazione dell'incertezza, che gli autori notano poter essere utilizzata per filtrare i modelli a bassa confidenza durante l'aggregazione.

5. Significato e Rivendicazioni

L'articolo sostiene che gli approcci proposti affrontano efficacemente le doppie sfide dell'eterogeneità e dei dati limitati nell'Apprendimento Federato. Utilizzando la distribuzione globale come prior, i modelli evitano le insidie di assumere prior incompatibili, sfruttando al contempo la robustezza dell'inferenza Bayesiana.

Gli autori sottolineano che la loro analisi teorica stabilisce l'ottimalità minimax, fornendo una base rigorosa per i guadagni empirici osservati. Affermano che cFedBayes rappresenta un avanzamento significativo fornendo garanzie adattive a livello di cluster invece di un limite unico per tutti. Infine, l'articolo posiziona sFedBayes come una soluzione pratica per ambienti con risorse limitate, riducendo i costi di inferenza senza sacrificare l'accuratezza.

Il lavoro è presentato come un'estensione di una precedente versione per conferenza, con miglioramenti sostanziali che includono l'introduzione della sparsità (sFedBayes), lo sviluppo di un framework clusterizzato con limiti a livello di cluster (cFedBayes) e una vasta validazione sperimentale contro i modelli SOTA attuali.