Federated Active Learning Under Extreme Non-IID and Global Class Imbalance

Il paper propone FairFAL, un framework di apprendimento attivo federato adattivo che supera le sfide dello sbilanciamento globale delle classi e dell'eterogeneità dei dati non-IID selezionando dinamicamente tra modelli locali e globali e utilizzando strategie di campionamento guidate da prototipi per migliorare le prestazioni finali.

L'essenziale

Immagina di dover insegnare a un gruppo di amici (i "clienti") a riconoscere diversi tipi di animali, ma con due regole fondamentali:

1. Nessuno può mostrare le sue foto agli altri (privacy).
2. Non potete permettervi di chiedere a un esperto di etichettare tutte le foto (costo dell'annotazione).

Questo è il mondo del Federated Active Learning (FAL). È un sistema dove molti computer collaborano per imparare, ma ognuno ha i suoi dati privati e vogliono spendere il meno possibile per chiedere aiuto.

Il problema? Nella vita reale, la situazione è spesso disastrosa:

• Squilibrio Globale: Forse ci sono 1000 foto di gatti e solo 10 di panda. Il sistema tende a imparare tutto sui gatti e a ignorare i panda.
• Caos Locale: Ogni amico ha un tipo di dati diverso. Uno ha solo foto di cani, un altro solo di uccelli, e nessuno ha i panda.

Gli scienziati Chen-Chen Zong e Sheng-Jun Huang hanno scoperto che i metodi attuali falliscono in queste situazioni caotiche. Hanno creato una nuova soluzione chiamata FairFAL.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Dilemma: Chi è il "Capo"? (Il Modello Globale vs. Locale)

Immagina che ci siano due tipi di "istruttori":

• L'Istruttore Globale: È un professore che ha visto tutte le foto di tutti gli amici messi insieme. È bravo a vedere il quadro generale, ma potrebbe non capire le sfumature specifiche di ogni amico.
• L'Istruttore Locale: È il capo del singolo gruppo di amici. Conosce perfettamente i gusti e le foto del suo gruppo, ma non sa cosa succede nel resto del mondo.

La scoperta fondamentale:
Gli autori hanno scoperto che non esiste un "istruttore migliore" per sempre. Dipende dalla situazione:

• Se il mondo è molto sbilanciato (pochi panda, tanti gatti) ma tutti gli amici hanno foto simili tra loro, l'Istruttore Globale è meglio perché può bilanciare la vista d'insieme.
• Se invece ogni amico ha un mondo tutto suo (uno ha solo gatti, l'altro solo cani), l'Istruttore Locale è meglio perché sa esattamente cosa manca al suo gruppo.

FairFAL è come un manager intelligente che, per ogni gruppo, decide istantaneamente: "Oggi usiamo il Professore Globale" oppure "Oggi usiamo il Capo Locale". Non sceglie a caso, ma calcola se il gruppo è simile agli altri o molto diverso.

2. La Tecnica del "Campionamento Equo" (Evitare i Panda Dimenticati)

Il problema principale è che i sistemi tradizionali tendono a chiedere all'esperto di etichettare solo i "gatti" (le classi comuni), perché sono facili da trovare. I "panda" (le classi rare) vengono ignorati.

FairFAL usa una strategia geniale chiamata Pseudo-etichettatura guidata dai prototipi:

• Immagina di creare un "cartellone ideale" per ogni animale. Per i gatti, incollate le foto migliori di gatti che avete già. Per i panda, fate lo stesso.
• Quando arriva una nuova foto sconosciuta, non chiedete al computer "Cosa pensi che sia?". Invece, chiedete: "A quale cartellone ideale assomiglia di più?".
• Questo forza il sistema a cercare attivamente i "panda", anche se sono rari, assicurandosi che l'esperto etichetti anche le cose rare e non solo le cose comuni.

3. La Doppia Selezione (Qualità e Diversità)

Una volta che il sistema decide quali foto sono importanti (quelle dei panda o quelle dubbie), deve scegliere quali mostrare all'esperto.

• Fase 1 (Curiosità): Cerca le foto più confuse o interessanti (quelle su cui il sistema è incerto).
• Fase 2 (Diversità): Tra queste foto confuse, ne sceglie solo alcune che sono diverse tra loro.
  • Metafora: Se devi chiedere a un esperto di descrivere 10 gatti, non chiedergli 10 gatti neri identici. Chiedigli un gatto nero, uno bianco, uno con gli occhi verdi, ecc. Questo massimizza l'apprendimento con meno domande.

Perché è importante?

In settori come la medicina (dove ci sono molte malattie comuni e pochissime malattie rare) o l'industria, perdere le "cose rare" può essere disastroso.

FairFAL è come un allenatore di squadra super-intelligente che:

1. Sa quando ascoltare la strategia generale e quando ascoltare il capitano locale.
2. Si assicura di allenarsi anche sui punti deboli (le malattie rare), non solo su quelli forti.
3. Chiede aiuto all'esperto solo quando è davvero necessario e per cose diverse tra loro.

Il risultato? Un sistema che impara molto più velocemente, costa meno in termini di tempo umano e, soprattutto, non dimentica mai le "cose rare" che potrebbero essere le più importanti.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Federated Active Learning Under Extreme Non-IID and Global Class Imbalance" (Apprendimento Attivo Federato in condizioni di Non-IID Estremo e Squilibrio Globale delle Classi), presentato da Chen-Chen Zong e Sheng-Jun Huang.

1. Il Problema

L'apprendimento attivo federato (FAL) combina l'apprendimento federato (FL) e l'apprendimento attivo (AL) per ridurre i costi di annotazione preservando la privacy. Tuttavia, le metodologie esistenti falliscono in scenari realistici caratterizzati da due sfide critiche:

1. Squilibrio Globale delle Classi (Global Class Imbalance): La distribuzione aggregata dei dati su tutti i clienti è fortemente sbilanciata (distribuzione a coda lunga), dove le classi minoritarie sono rare ma critiche.
2. Eterogeneità Estrema (Non-IID): I dati locali dei singoli clienti sono distribuiti in modo non uniforme e altamente eterogeneo.

Le strategie attuali tendono a favorire le classi maggioritarie ("head"), ignorando le minoritarie, portando a un bias sistematico e a un uso inefficiente del budget di annotazione. Inoltre, non è chiaro se sia meglio utilizzare un modello globale (aggregato) o un modello locale per selezionare i campioni da annotare in tali contesti.

2. Osservazioni Chiave e Analisi Preliminare

Gli autori hanno condotto uno studio sistematico per capire quale modello (globale o locale) funzioni meglio come selettore di query in diverse configurazioni di eterogeneità ($\alpha$) e squilibrio globale ($\rho$). Hanno scoperto tre principi fondamentali:

• Equilibrio delle Classi come Fattore Critico: Il modello che riesce a campionare in modo più bilanciato (specialmente recuperando le classi minoritarie) porta sistematicamente a prestazioni finali superiori.
• Dipendenza dal Contesto:
  • Se lo squilibrio globale è severo ma i dati dei clienti sono relativamente omogenei, il modello globale è preferibile (sfrutta la conoscenza condivisa per contrastare lo skew).
  • In tutti gli altri casi (specialmente quando l'eterogeneità locale è alta), il modello locale è generalmente la scelta migliore.
• Diversità vs. Incertezza: Per strategie basate sull'incertezza, il modello locale spesso eccelle (tranne nei casi di omogeneità globale). Per strategie basate sulla diversità (es. Coreset), il modello globale è superiore grazie alle sue rappresentazioni delle feature più discriminative e allineate globalmente.

3. Metodologia: FairFAL

Sulla base di queste osservazioni, gli autori propongono FairFAL, un framework adattivo e "class-fair" (equo per le classi) composto da tre componenti principali:

A. Selezione Adattiva del Modello (Adaptive Model-Selection)

Per decidere dinamicamente se usare il modello globale o locale per ogni cliente senza violare la privacy:

• Si stima lo squilibrio globale delle classi ($\bar{\gamma}$) e la divergenza distribuzionale locale-globale ($d_k$) utilizzando solo dati etichettati locali e statistiche aggregate.
• Si calcola un punteggio continuo $s_k$ basato su questi due valori.
• Se $s_k$ supera una soglia $\delta$, si usa il modello globale; altrimenti, si usa il modello locale. Questo meccanismo permette di adattarsi automaticamente alle condizioni di Non-IID e squilibrio.

B. Pseudo-Labeling Guidato dai Prototipi (Prototype-Guided Pseudo-Labeling)

Per garantire un campionamento bilanciato a livello di classe:

• Si sfruttano le rappresentazioni delle feature del modello globale (che sono più robuste) per calcolare i prototipi di ogni classe (la media delle feature normalizzate dei campioni etichettati).
• I campioni non etichettati ricevono un "pseudo-label" basato sulla similarità (cosine similarity) con questi prototipi, piuttosto che sulle logits dirette del classificatore (che sarebbero biasate).
• Questo permette di dividere il pool di dati non etichettati in sottoinsiemi specifici per classe, facilitando un campionamento equo.

C. Campionamento Bilanciato Incertezza-Diversità (Two-Stage Uncertainty-Diversity Balanced Sampling)

Per evitare ridondanza e garantire copertura:

1. Fase 1 (Selezione Candidati): All'interno di ogni classe (definita dai pseudo-label), si selezionano i campioni più incerti (es. massima entropia) per creare un pool di candidati sovracampionato.
2. Fase 2 (Diversità): Si applica un algoritmo k-center nello spazio degli embedding dei gradienti (calcolati con il modello globale) per selezionare i campioni finali. Questo garantisce che i campioni scelti siano non solo informativi (incerti) ma anche diversificati e rappresentativi della varietà del manifold dei dati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 5 benchmark (FMNIST, CIFAR-10, CIFAR-100, OctMNIST, DermaMNIST) con configurazioni di squilibrio estremo ($\rho=20$) e vari livelli di eterogeneità ($\alpha=0.1$ e $\alpha=100$).

• Prestazioni Superiori: FairFAL supera costantemente gli stati dell'arte (SOTA) come IFAL, LoGo, KAFAL e varie strategie di AL centralizzate (Entropy, Coreset, BADGE).
• Robustezza: Il vantaggio di FairFAL diventa più marcato man mano che la difficoltà del compito aumenta (es. da FMNIST a CIFAR-100) e in scenari medici reali con distribuzioni intrinsecamente sbilanciate.
• Ablation Study: Le analisi dimostrano che tutti e tre i componenti (selezione adattiva, pseudo-labeling guidato da prototipi globali, e campionamento a due stadi) sono essenziali per le prestazioni finali.
• Generalizzazione: Il metodo funziona bene su diversi framework FL (FedAvg, FedProx, SCAFFOLD), con diversi numeri di clienti e diverse architetture di rete (CNN, MobileNet, ResNet).

5. Contributi Chiave e Significato

• Insight Teorico: Il paper fornisce una comprensione fondamentale di come l'interazione tra squilibrio globale ed eterogeneità locale influenzi la scelta del modello di query in FAL, dimostrando che l'equilibrio nel campionamento è il fattore determinante per il successo.
• Framework Innovativo: FairFAL è la prima soluzione che integra dinamicamente la selezione del modello, la correzione del bias tramite prototipi globali e una strategia di diversità avanzata per gestire scenari di FAL estremi.
• Impatto Pratico: Offre una soluzione robusta per applicazioni reali (come la diagnostica medica distribuita) dove i dati sono sia privati che fortemente sbilanciati, permettendo di costruire modelli accurati con un budget di annotazione minimo e garantendo equità per le classi minoritarie.

In sintesi, FairFAL risolve il problema del "bias verso le classi maggioritarie" nel Federated Active Learning, trasformando un problema di distribuzione estrema in un'opportunità per un campionamento più intelligente ed equo.