HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

Riepilogo Tecnico: HERO – Una Libreria di Benchmark Sensibile all'Eterogeneità per il Federated Continual Learning

1. Definizione del Problema

Il Federated Continual Learning (FCL) affronta la sfida dei client distribuiti che apprendono da flussi di dati non stazionari mantenendo al contempo la conoscenza precedentemente acquisita. Tuttavia, il campo soffre di un significativo "gap nei benchmark". Le valutazioni esistenti sono difficili da confrontare perché i ricercatori alterano simultaneamente molteplalle variabili: dataset, suddivisioni dei task, distribuzioni dei dati dei client, sequenze di task, backbone dei modelli, vincoli di memoria e regole di reporting. Di conseguenza, un metodo può apparire superiore non per robustezza, ma perché è stato valutato sotto un protocollo più favorevole o meno eterogeneo. Le attuali valutazioni spesso non riescono a distinguere se un metodo sia robusto rispetto allo skew dei dati dei client, al mismatch della sequenza dei task o ai cambiamenti di dominio, o se funzioni bene solo in impostazioni sincronizzate e semplici.

2. Metodologia: Il Framework HERO

Gli autori introducono HERO, una libreria di benchmark sensibile all'eterogeneità progettata per unificare la costruzione dello stream, l'esecuzione del metodo e il reporting dei risultati. La filosofia di progettazione centrale è la separazione di tre scelte accoppiate che tipicamente vengono confuse nel lavoro precedente:

1. Suddivisione dei Task (Task Split): Decidere quali classi o domini formano ogni task.
2. Suddivisione dei Dati dei Client (Client Data Split): Decidere la distribuzione dei dati che ogni client riceve per ogni task.
3. Sequenza dei Task dei Client (Client Task Sequence): Decidere l'ordine in cui ogni client incontra i task.

Costruzione dello Stream:
HERO genera stream di benchmark $B(\xi, \alpha, \rho)$ dove:

• $\xi$ è un seed che garantisce la riproducibilità.
• $\alpha$ controlla lo skew dei dati dei client tramite una distribuzione di Dirichlet ($pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$). Valori di $\alpha$ più bassi inducono uno skew più forte (dati non-IID).
• $\rho$ controlla il mismatch dell'ordine dei task. Definisce la deviazione delle sequenze di task dei singoli client da un ordine di riferimento condiviso $\pi^*$. Valori di $\rho$ più elevati risultano in sequenze di task più asincrone e disallineate.

La libreria include tre livelli:

• HERO-Core: Il benchmark primario comparabile focalizzato sul Federated Class-Incremental Learning (FCIL) basato su immagini utilizzando CIFAR-100 e TinyImageNet.
• HERO-Portability: Testa l'estensione dell'interfaccia ad altri setting, specificamente un caso di studio di Domain-Incremental Learning (Domain-IL) su OGB-MolPCBA (dati molecolari basati su grafi).
• HERO-Extended: Contiene ulteriori costruttori di dataset e implementazioni di metodi per uso futuro.

Metriche:
HERO riporta tre metriche primarie per catturare diversi aspetti delle prestazioni:

• Final Average Accuracy (AFA): Misura la prestazione finale complessiva.
• Average Forgetting (AF): Misura il calo delle prestazioni sui task precedenti.
• Bottom-10% Client Accuracy (B10): Misura la prestazione sul 10% dei client con le prestazioni più basse, evidenziando la robustezza contro l'eterogeneità.
• Per lo studio di portabilità su grafi, vengono utilizzati Average Precision (AP) e AP-forgetting.

3. Contributi Chiave

Il documento presenta quattro contributi specifici:

1. Libreria HERO: Una libreria di benchmark unificata e sensibile all'eterogeneità che separa la costruzione dello stream dall'esecuzione del metodo, rilasciando stream fissi, configurazioni e script di reporting per garantire la riproducibilità.
2. Generatore di Stream Disaccoppiato: Un generatore che isola la suddivisione dei task, la suddivisione dei dati dei client e la sequenza dei task dei client, permettendo ai ricercatori di controllare e ispezionare indipendentemente lo skew dei dati dei client ($\alpha$) e il mismatch dell'ordine dei task ($\rho$).
3. Benchmark HERO-Core: Un benchmark denso basato su immagini per il FCIL su CIFAR-100 e TinyImageNet, caratterizzato da stream condivisi, impostazioni di eterogeneità controllate e un pool rappresentativo di metodi.
4. Dimostrazione di Portabilità: Un caso di studio su OGB-MolPCBA che mostra come l'interfaccia HERO si estenda al Domain-IL basato su grafi, dove i domini molecolari raggruppati per scaffold creano shift di distribuzione senza cambiare il task di predizione.

4. Risultati Sperimentali

Gli autori hanno valutato metodi rappresentativi di FCL (es. FedAvg, GLFC, TagFed, LGA, FedCBDR) attraverso una griglia $\alpha$-$\rho$ che spazia da "Easy" (sincronizzato, bilanciato) a "Joint-Hard" (alto skew, alto mismatch).

• Varianza del Comportamento dei Metodi: La prestazione dei metodi dipende fortemente dall'impostazione di eterogeneità. I metodi che dominano nelle impostazioni "Easy" (es. FedCBDR) non rimangono necessariamente i più stabili sotto alta eterogeneità. Ad esempio, TagFed e LGA diventano più competitivi all'aumentare dello skew dei dati dei client e del mismatch dell'ordine dei task, particolarmente riguardo alla B10.
• Prestazione Media vs. Prestazione del Bottom-Client: L'accuratezza media (AFA) può mascherare prestazioni deboli sui client più difficili. Mentre FedCBDR raggiunge spesso un'alta AFA, TagFed e LGA dimostrano una Bottom-10% Client Accuracy (B10) superiore nelle impostazioni eterogenee, indicando una migliore protezione per i client meno performanti.
• Modalità di Fallimento Distinte: Lo studio rivela che lo skew dei dati dei client e il mismatch dell'ordine dei task causano diversi pattern di fallimento.
  • Client Data Skew ($\alpha$): Degrada principalmente la B10, indicando che i client difficili sono sproporzionatamente influenzati dallo squilibrio dei dati.
  • Task-Order Mismatch ($\rho$): Aumenta principalmente l'Average Forgetting (AF), suggerendo che le sequenze disallineate creano maggiore interferenza temporale.
• Portabilità: Nello studio OGB-MolPCBA, l'aumento della granularità dei domini scaffold (domini più fini) ha ridotto l'Average Precision e aumentato l'oblio (forgetting). I metodi basati su grafi (POWER, MOTION) hanno superato FedAvg, confermando che l'interfaccia HERO può descrivere stream di shift di distribuzione oltre il FCIL basato su immagini.

5. Significato e Rivendicazioni

Il documento afferma che HERO affronta la mancanza di una valutazione controllata e comparabile nel FCL. Separando le fonti di eterogeneità, HERO permette ai ricercatori di:

• Determinare se un metodo è robusto a tipi specifici di difficoltà (skew vs mismatch) piuttosto che a un setting "eterogeneo" generico.
• Rivelare che una singola classifica globale è insufficiente; il ranking dei metodi cambia significativamente in base alla specifica configurazione di eterogeneità.
• Esporre i fallimenti sulla "coda lunga" dei client (tramite la B10) che le metriche medie nascondono.
• Estendere i protocolli di valutazione a domini non visivi (come i grafi) senza mescolare impostazioni incompatibili in un unico punteggio.

Gli autori sottolineano che HERO è progettato come una libreria riutilizzabile per supportare una valutazione FCL cumulativa, riproducibile e consapevole del setting, piuttosto che come un protocollo sperimentale una tantum. Dichiarano esplicitamente che, sebbene HERO documenti le assunzioni dei metodi, non sostituisce l'analisi formale della privacy o la validazione a livello di deployment.