FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

1. Enunciato del Problema

L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli senza condividere dati grezzi, ma soffre significativamente in presenza di eterogeneità statistica (dati non-IID). In scenari reali (ad esempio, sanità, dispositivi mobili), le distribuzioni dei dati dei client variano a causa di demografia, tipi di dispositivo o protocolli di acquisizione.

• Limitazione dei Modelli Globali: I metodi di aggregazione standard come FedAvg assumono una singola distribuzione globale, portando a prestazioni subottimali quando i dati dei client divergono.
• Limitazione del FL a Cluster Esistente (CFL):
  • Metodi basati su gradienti (es. CFL, IFCA): Si affidano all'addestramento iterativo per calcolare gradienti, che sono rumorosi nelle fasi iniziali dell'addestramento, instabili e richiedono la sintonizzazione degli iperparametri (soglie) o la conoscenza a priori del numero di cluster ($K$).
  • Metodi one-shot (es. PACFL, FECFL): Utilizzano firme derivate dai dati ma spesso si basano su statistiche di pixel grezzi (prive di significato semantico) o su semplici incorporamenti medi delle caratteristiche (ignorando la struttura distributiva intra-classe). Dipendono frequentemente da soglie di distanza euristiche e mancano di meccanismi principiali per la selezione automatica dei cluster.

2. Metodologia: Framework FMCL

Gli autori propongono FMCL (Client Clustering basato su Foundation Model), un framework one-shot e consapevole delle classi che esegue il clustering prima dell'inizio dell'addestramento federato, non richiedendo comunicazioni aggiuntive durante l'ottimizzazione.

A. Componenti Principali

1. Rappresentazioni di Foundation Model (FM):

   • FMCL utilizza un foundation model congelato, specifico per il dominio (ad esempio, CHIEF per la patologia, USFM per gli ultrasuoni, ViT-Tiny per immagini naturali) per estrarre incorporamenti semantici di alto livello.
   • A differenza dei pixel grezzi o di encoder inizializzati casualmente, gli FM forniscono caratteristiche trasferibili e semanticamente ricche.

2. Firme dei Clienti Consapevoli delle Classi:

   • Invece di un singolo incorporamento globale per client, FMCL costruisce una firma $\mathcal{S}_i$ per ogni client $i$ che cattura la distribuzione di ogni classe presente nel suo dataset locale.
   • Per ogni classe $c$ nei dati del client $i$:
     • Incorporamento Medio ($\mu_{i,c}$): Il vettore di caratteristiche medio dei campioni appartenenti alla classe $c$.
     • Peso della Classe ($w_{i,c}$): La proporzione di campioni della classe $c$ rispetto alla dimensione totale del dataset del client.
   • Firma: $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$.

3. Distanza Cosine Consapevole della Sovrapposizione:

   • Per misurare la similarità tra due client ($i$ e $j$), FMCL calcola una distanza coseno ponderata tra i loro incorporamenti condizionati alla classe.
   • Ponderazione: Il contributo di ogni classe sovrapposta $c$ è ponderato da $\min(w_{i,c}, w_{j,c})$.
   • Scalatura della Sovrapposizione: La distanza finale è scalata inversamente dalla sovrapposizione totale $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$.
     • Razionale: Ciò impedisce che client con pochissime classi condivise appaiano artificialmente simili solo perché concordano su quelle classi sparse. Penalizza le coppie con un supporto di etichette condiviso limitato.
   • Client Non Sovrapposti: Se i client non condividono classi ($C_{ij} = \emptyset$), viene assegnata una distanza elevata derivata dal 95°/99° percentile delle distanze osservate.

4. Selezione Automatica dei Cluster:

   • FMCL impiega una strategia guidata dai dati per determinare il numero ottimale di cluster ($K$) senza sintonizzazione manuale.
   • Processo:
     1. Calcolare il Coefficiente di Variazione (CV) delle distanze fuori diagonale nella matrice a coppie per stimare l'eterogeneità complessiva.
     2. Definire una finestra candidata adattiva per $K$ basata sul CV.
     3. Eseguire il clustering gerarchico per ogni $K$ nella finestra e valutare utilizzando il Punteggio Silhouette.
     4. Selezionare il $K$ corrispondente al massimo locale dominante della curva della silhouette.

3. Contributi Chiave

• Firme Semantiche dei Clienti: Introduce un nuovo metodo di costruzione delle firme utilizzando foundation model congelati che modellano esplicitamente le distribuzioni condizionate alla classe, catturando la struttura semantica meglio delle statistiche grezze o degli incorporamenti medi.
• Metrica Consapevole della Sovrapposizione: Propone una nuova metrica di distanza che tiene conto della sovrapposizione delle classi e del peso distributivo, garantendo una misurazione della similarità robusta anche quando i client hanno distribuzioni di classe sparse o sbilanciate.
• One-Shot e Indipendente dall'Architettura: Il clustering viene eseguito una sola volta prima dell'addestramento, introducendo zero sovraccarico di comunicazione durante la fase di ottimizzazione federata e rimanendo indipendente dall'architettura del modello a valle.
• Automazione Principiale: Fornisce un meccanismo deterministico e guidato dai dati (analisi Silhouette guidata dal CV) per la selezione del numero di cluster, eliminando la necessità di sintonizzazione manuale degli iperparametri.

4. Risultati Sperimentali

Gli autori hanno valutato FMCL su tre dataset: BUSI (Ultrasuoni al Seno), LungHist700 (Istopatologia Polmonare) e Imagenette (Immagini Naturali).

• Prestazioni: FMCL ha costantemente superato le linee di base globali (FedAvg, FedProx) e i precedenti metodi di clustering (CFL, PACFL, FECFL) su tutte le metriche (Accuratezza, Macro-F1, AUC-ROC).
  • Esempio (BUSI): FMCL (Auto-K) ha raggiunto un'Accuratezza del 91,68% e un F1 dell'88,72%, superando significativamente FedAvg (56,34% Acc) e persino le versioni potenziate da FM di altri metodi di clustering (ad esempio, FECFL (FM) al 73,15% Acc).
• Impatto dei Componenti:
  • Foundation Model: Sostituire le caratteristiche grezze con incorporamenti FM ha aumentato significativamente le prestazioni dei metodi esistenti (ad esempio, PACFL (FM) vs PACFL).
  • Consapevolezza della Sovrapposizione: La rimozione del termine di scalatura consapevole della sovrapposizione ("FMCL no overlap") ha portato a un degrado costante delle prestazioni, validando l'importanza della metrica di distanza proposta.
  • Selezione Automatica: La variante "Auto-K" ha generalmente superato le impostazioni a $K$ fisso, dimostrando la robustezza dell'algoritmo di selezione.
• Stabilità: FMCL ha mostrato un comportamento di clustering più stabile e una convergenza più rapida rispetto ai metodi iterativi basati su gradienti.

5. Significato

• Collegamento tra FM e FL: Questo lavoro dimostra l'utilità pratica dei foundation model su larga scala nel contesto dell'apprendimento federato, specificamente per caratterizzare le distribuzioni dei dati dei client senza richiedere la centralizzazione dei dati.
• Robustezza all'Eterogeneità: Modellando esplicitamente le distribuzioni a livello di classe e la sovrapposizione, FMCL affronta i problemi della "coda lunga" e delle "classi sparse" comuni nelle implementazioni reali di FL eterogeneo (ad esempio, sottotipi di malattie rare).
• Deploy Pratico: La natura one-shot del framework lo rende altamente adatto a scenari di deployment in cui la larghezza di banda di comunicazione è limitata o dove il coordinamento iterativo è non fattibile. Offre una base modulare e indipendente dall'architettura per la ricerca futura all'intersezione tra foundation model e apprendimento federato.