Riepilogo Tecnico: COSMOS

Enunciato del Problema

L'Apprendimento Federato (FL) affronta sfide significative in ambienti eterogenei, dove i client differiscono non solo nella distribuzione dei dati (eterogeneità statistica) ma anche nell'architettura del modello (eterogeneità architetturale). Sebbene siano stati sviluppati metodi di Apprendimento Federato Personalizzato (PFL) per adattare i modelli ai singoli client, la maggior parte degli approcci esistenti presuppone la compatibilità strutturale o richiede che i client rivelino architetture di modello proprietarie. Ciò crea un ostacolo pratico, poiché i client spesso desiderano utilizzare modelli arbitrari o proprietari senza rivelare parametri o gradienti.

Gli attuali approcci FL agnostici al modello, come FedMD e COMET, si basano sulla comunicazione a livello di output (ad esempio, etichette soft o hard) utilizzando un dataset pubblico non etichettato condiviso. Tuttavia, questi metodi soffrono di limitazioni specifiche:

1. Coordinamento Passivo del Server: Spesso trattano il server come un coordinatore passivo, non sfruttando le risorse computazionali del server per una personalizzazione attiva.
2. Clustering Euristico: Metodi come COMET si basano sul clustering K-means, che richiede la conoscenza a priori del numero di cluster ($K$) e manca di meccanismi formali per garantire la personalizzazione quando la diversità dei client è elevata.
3. Mancanza di Garanzie Teoriche: La letteratura esistente sul PFL agnostico al modello manca generalmente di garanzie teoriche rigorose riguardo alla contrazione del rischio, affidandosi spesso a ipotesi semplificate (ad esempio, modelli lineari, distribuzioni gaussiane) o fornendo solo risultati standard di convergenza verso la stazionarietà.

Metodologia: Framework COSMOS

Gli autori propongono COSMOS (Clustered Output-based Server Models), un framework PFL agnostico al modello che abilita la personalizzazione lato server utilizzando esclusivamente la comunicazione di pseudo-etichette. Il framework opera sotto l'ipotesi che i client possiedano dati etichettati privati e che sia disponibile un dataset pubblico non etichettato condiviso $U$ (ad esempio, dati estratti dal web o sintetici).

COSMOS procede in due fasi distinte:

1. Fase di Pre-Addestramento e Clustering (PTC)

Questa fase stabilisce la mappatura iniziale client-server e i modelli specifici per cluster:

• Pre-Addestramento Locale: I client addestrano i propri modelli locali $f_i$ sui propri dati privati $D_i$ e generano pseudo-etichette sul dataset pubblico $U$.
• Clustering Greedy: Il server raggruppa i client in base alla similarità delle loro pseudo-etichette su $U$. A differenza di K-means, COSMOS impiega un algoritmo di clustering greedy che non richiede che $K$ sia specificato in anticipo. Seleziona iterativamente un client con i vicini più "vicini" (entro una soglia di distanza $B_0$) per formare un cluster fino a quando tutti i client non sono assegnati. Questo processo è endogeno alla procedura di addestramento.
• Distillazione lato Server: Per ogni cluster $G_k$, il server aggrega le pseudo-etichette dai client membri per creare una distribuzione media delle pseudo-etichette. Successivamente, addestra un modello "insegnante" dedicato $h_k$ per quel cluster utilizzando queste etichette aggregate e un termine di regolarizzazione specifico per garantire la regolarità locale e la robustezza.
• Distillazione lato Client: I client ricevono le pseudo-etichette dal modello insegnante del loro cluster assegnato e affinano i propri modelli locali utilizzando queste etichette.

2. Fase di Affinamento Federato Iterativo (IFFT)

Dopo la fase PTC, il sistema entra in un ciclo iterativo:

• Affinamento Locale: I client affinano i propri modelli sui propri dati etichettati privati.
• Distillazione Server: I client inviano pseudo-etichette aggiornate al server. Il server aggiorna i modelli insegnante specifici per cluster in base alle nuove pseudo-etichette aggregate.
• Distillazione Client: I client affinano ulteriormente i propri modelli locali utilizzando le pseudo-etichette insegnante aggiornate.

È fondamentale notare che i modelli server sono addestrati utilizzando un termine di regolarizzazione derivato dalla teoria dell'apprendimento semi-supervisionato (SSL), che penalizza le incoerenze di previsione sotto trasformazioni dei dati (ad esempio, rotazioni, traslazioni) per garantire la robustezza.

Contributi Teorici

Il documento fornisce la prima analisi teorica end-to-end della contrazione del rischio di personalizzazione per il PFL agnostico al modello. Sfruttando strumenti della teoria SSL (in particolare la connettività basata sull'espansione e l'errore limitato delle pseudo-etichette), gli autori derivano condizioni sufficienti per la contrazione esponenziale del rischio.

I componenti teorici chiave includono:

• Ipotesi: L'analisi assume pesi di importanza limitati tra le distribuzioni pubbliche e private, obiettivi localmente ben condizionati e un "margine di confidenza" in cui i client sono sicuri delle proprie previsioni sui dati pubblici. Si basa inoltre su una proprietà di espansione della distribuzione dei dati, garantendo che le pseudo-etichette portino informazioni non banali sulla verità fondamentale.
• Contrazione del Rischio: Gli autori dimostrano che, in queste condizioni, il rischio di personalizzazione sia per i modelli server che per i modelli client si contrae esponenzialmente con il numero di iterazioni. Nello specifico, il limite del rischio diminuisce a un tasso determinato dalla qualità del cluster e dalla copertura del dataset pubblico, scendendo infine al di sotto del rischio dell'addestramento locale puro.

Risultati Sperimentali

Gli autori hanno valutato COSMOS su quattro benchmark di classificazione di immagini: EMNIST-balanced, CIFAR-10, CIFAR-100 e Tiny ImageNet. Gli esperimenti hanno utilizzato una miscela di architetture client (AlexNet, ResNet, MobileNet, SqueezeNet) e un modello server VGG16.

• Prestazioni: COSMOS ha costantemente superato tutti i baseline agnostici al modello (FedMD, FedCT, COMET) su tutti i benchmark. Il divario di prestazioni si è ampliato all'aumentare della complessità del compito (ad esempio, da EMNIST a Tiny ImageNet).
• Eterogeneità: COSMOS è rimasto robusto a diversi gradi di eterogeneità dei dati (controllati dal parametro di Dirichlet $\alpha$) e a diverse miscele di architetture client. Ha mantenuto un vantaggio significativo nelle prestazioni anche quando i client utilizzavano modelli più deboli.
• Efficienza Comunicativa: Comunicando solo pseudo-etichette (hard o soft) invece di parametri o gradienti del modello, COSMOS ha ridotto la larghezza di banda comunicativa di 1-2 ordini di grandezza rispetto ai metodi di condivisione dei parametri.
• Ambienti Omogenei: Anche in ambienti omogenei dove tutti i client condividono la stessa architettura, COSMOS è rimasto competitivo con i metodi PFL all'avanguardia, dimostrando che il suo design agnostico al modello non comporta una penalità nelle prestazioni quando è presente l'omogeneità.

Significato e Affermazioni

Il documento afferma che COSMOS affronta un collo di bottiglia critico nel FL abilitando una personalizzazione ad alte prestazioni senza richiedere conoscenze strutturali dei modelli client. Il suo significato risiede in tre aree principali:

1. Implementazione Pratica: Rimuove le barriere strutturali che limitano il PFL in ecosistemi diversificati e reali, dove i client utilizzano architetture proprietarie o arbitrarie.
2. Avanzamento Teorico: Fornisce le prime garanzie generali di contrazione del rischio per il PFL agnostico al modello, andando oltre i risultati standard di convergenza per dimostrare una riduzione esponenziale del rischio sotto ipotesi realistiche.
3. Scalabilità: Dimostra che l'apprendimento personalizzato lato server utilizzando pseudo-etichette è un paradigma vitale e scalabile per ambienti altamente eterogenei, offrendo significativi guadagni di efficienza comunicativa.

Gli autori concludono che, sebbene il lavoro attuale si concentri su una struttura client-server, il framework getta le basi per futuri sistemi di apprendimento decentralizzati, migliorando ulteriormente la rilevanza pratica dell'apprendimento federato.