🤖 machine learning

Multi-Level Analyzation of Imbalance to Resolve Non-IID-Ness in Federated Learning

Questo articolo propone FedBB, un framework di apprendimento federato che affronta lo squilibrio dei dati a livello inter-caso, inter-classe e inter-client attraverso una funzione di perdita Positive Negative Balanced e una strategia di Client Balanced Reweighting, superando così gli algoritmi esistenti in termini di accuratezza ed efficienza pur preservando la privacy.

Autori originali: Haengbok Chung, Jae Sung Lee

Pubblicato 2026-06-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haengbok Chung, Jae Sung Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un gruppo di medici provenienti da diversi ospedali che cercano di costruire un'unica IA super intelligente per diagnosticare malattie. Vogliono farlo senza condividere i loro effettivi file dei pazienti (per proteggere la privacy), quindi addestrano i propri modelli di IA locali e inviano solo le "lezioni apprese" a un server centrale per combinarle. Questo è il Federated Learning (Apprendimento Federato).

Tuttavia, c'è un grosso problema: i dati sono disordinati.

Alcuni ospedali vedono soprattutto pazienti sani, altri vedono soprattutto pazienti malati o un mix insolito di malattie rare. Nella pubblicazione, gli autori chiamano questo fenomeno "Non-IID" (dati che non sono identici o distribuiti uniformemente). A causa di questo disordine, l'IA combinata spesso si confonde e ottiene prestazioni scarse.

Gli autori di questo articolo, Haengbok Chung e Jae Sung Lee, dicono: "Dobbiamo guardare questo disordine da tre diverse angolazioni". Chiamano la loro soluzione FedBB (Federated Learning con Positive-Negative Balanced loss e Client Balanced Reweighting).

Ecco come lo suddividono usando semplici analogie:

1. I Tre Livelli di Disordine

Gli autori hanno capito che lo "squilibrio" avviene in tre modi diversi, come guardare un mucchio di frutta attraverso un microscopio, una finestra e un drone:

Inter-Case (La vista al Microscopio):
- Il Problema: Immaginate una malattia specifica, come la "Polmonite". Per ogni paziente che ha la polmonite, potrebbero essercene 100 che non ce l'hanno. L'IA diventa pigra e indovina semplicemente "Nessuna Polmonite" per tutti, perché ha ragione il 99% delle volte.
- La Soluzione: L'IA deve essere costretta a prestare un'attenzione extra ai casi positivi ("Sì") rari.
Inter-Class (La vista alla Finestra):
- Il Problema: Ora guardate l'intero cesto di frutta. Magari avete 1.000 mele, 100 arance, ma solo 5 banane. L'IA diventa un "Esperto di Mele" ma un pessimo "Esperto di Banane" perché non ne ha viste abbastanza.
- La Soluzione: L'IA deve essere istruita: "Ehi, quelle 5 banane sono super importanti! Non ignorarle".
Inter-Client (La vista al Drone):
- Il Problema: Immaginate che l'Ospedale A abbia 10.000 pazienti, ma siano tutti casi di "Mela". L'Ospedale B ne abbia solo 100, ma siano un mix perfetto di Mele, Arance e Banane.
- Il Vecchio Metodo: Il server centrale di solito dice: "L'Ospedale A ha più dati, quindi ascolteremo loro 100 volte di più".
- Il Risultato: L'IA finale diventa un "Esperto di Mele" e dimentica tutto il resto.
- La Soluzione: Il server dovrebbe in realtà ascoltare di più l'Ospedale B, perché il suo piccolo dataset è più equilibrato e insegna all'IA una varietà di lezioni più ampia.

2. La Soluzione: FedBB

Gli autori hanno costruito uno strumento diviso in due parti per risolvere questi problemi:

Parte A: L' "Insegnante Equo" (PNB Loss)

Questo è un nuovo modo di valutare l'IA durante il suo addestramento locale.

Come funziona: Invece di contare solo quante volte l'IA ha risposto correttamente a una domanda, questo metodo agisce come un insegnante severo che assegna crediti extra per aver risolto i casi rari o difficili.
L'Analogia: Se uno studente risponde correttamente a 100 domande facili ma sbaglia l'unica domanda difficile, l'insegnante non dice solo "Buon lavoro". L'insegnante dice: "Hai mancato quella rara! Quella vale doppio!". Questo costringe l'IA a smettere di ignorare i casi di minoranza (le malattie rare o le poche banane).
Bonus: Questo funziona sia per "Multi-class" (scegli una categoria) che per "Multi-label" (scegli più categorie contemporaneamente, come un paziente che ha sia polmonite che una costola fratturata).

Parte B: Il "Mixer Intelligente" (CBR)

Questo è un nuovo modo per il server centrale di combinare i modelli di tutti gli ospedali.

Come funziona: Invece di contare semplicemente quanti pazienti ha un ospedale, il server controlla quanto sono equilibrati i loro dati.
L'Analogia: Immaginate di preparare degli smoothie. Se avete un secchio gigante di smoothie alla fragola (Ospedale A) e una piccola tazza di un perfetto macedonia di frutta (Ospedale B), non dovreste semplicemente versare tutto il secchio. Dovreste dare alla piccola tazza di macedonia una voce più forte nel mix finale, perché rappresenta un profilo di sapore più diversificato.
Il Risultato: Il modello globale finale diventa un "Generalista" che è bravo a diagnosticare tutto, non solo le cose più comuni.

3. Perché questo è importante (Secondo l'articolo)

Gli autori hanno testato questo metodo su due tipi di dati:

Radiografie mediche: Vere radiografie del torace provenienti da diversi ospedali (dataset NIH e CheXpert).
Immagini naturali: Dataset standard di computer vision come CIFAR (gatti, cani, auto, ecc.).

I Risultati:

Prestazioni Migliori: FedBB ha superato tutti gli altri metodi popolari (come FedAvg, FedProx, MOON) in termini di accuratezza. È stato particolarmente efficace nel gestire i dati "disordinati" dove alcune malattie o oggetti erano molto rari.
Efficienza: Non richiedeva un supercomputer. Ha utilizzato la stessa potenza di calcolo del metodo base (FedAvg), ma ha ottenuto risultati molto migliori.
Privacy: Richiede solo la conoscenza di alcune statistiche (come "quanto sono equilibrati i tuoi dati?") invece di vedere i file reali dei pazienti, il che mantiene sicura la privacy.

Riassunto

L'articolo sostiene che per costruire un'IA davvero intelligente in modo rispettoso della privacy, non possiamo limitarci a gettare tutti i dati insieme. Dobbiamo:

Insegnare all'IA locale a prestare attenzione ai casi rari (usando la PNB Loss).
Ascoltare l'IA locale che ha i dati più diversificati, anche se sono meno numerosi (usando la CBR).

Facendo questo, il "Cervello Globale" finale diventa più equo, più accurato e pronto ad affrontare il mondo reale, dove i dati sono raramente perfetti.

Sintesi Tecnica: Analisi Multi-livello del Disequilibrio per Risolvere la Non-IID-ness nel Federated Learning

1. Definizione del Problema

Il Federated Learning (FL) consente l'addestramento collaborativo di modelli su client distribuiti preservando al contempo la privacy dei dati. Tuttavia, una barriera critica alla sua efficacia è la natura non identicamente distribuita (non-IID) dei dati, spesso causata da un severo squilibrio delle classi. Le soluzioni esistenti per i dati non-IID spesso trascurano la natura sfumata dello squilibrio delle classi, in particolare nei scenari di classificazione multi-label.

Gli autori identificano che gli approcci convenzionali allo squilibrio delle classi sono insufficienti perché:

Si concentrano principalmente sulla classificazione multi-classe, fallendo nel affrontare la complessità dei compiti multi-label dove esistono $2^n$ combinazioni di etichette.
Ignorano lo squilibrio inter-caso, dove la disparità tra casi positivi e negativi all'interno di una singola categoria causa l'overfitting del modello sulla classe di maggioranza (tipicamente il caso negativo).
Si affidano alla dimensione del dataset per l'aggregazione, assegnando pesi maggiori ai client con dataset più grandi. Nel FL, i dataset di grandi dimensioni sono spesso altamente sbilanciati, portando a un modello globale distorto che favorisce le classi di maggioranza viste frequentemente da quei client specifici.

2. Metodologia: FedBB

Per affrontare questi problemi, gli autori propongono FedBB (Federated Learning with Positive Negative Balanced loss and Client Balanced Reweighting). L'innovazione principale è un'analisi del disequilibrio su più livelli suddivisa in tre scale distinte:

Squilibrio Inter-caso: La discrepanza tra il numero di casi positivi e negativi all'interno di una singola categoria.
Squilibrio Inter-classe: La differenza nella distribuzione dei dati tra diverse categorie all'interno di un singolo client.
Squilibrio Inter-client: L'eterogeneità dello skewness (asimmetria) dei dati tra diversi client.

FedBB affronta questi livelli attraverso due componenti primarie:

A. Funzione di Perdita Positive Negative Balanced (PNB)

Progettata per l'addestramento locale, la funzione di perdita PNB mitiga sia lo squilibrio inter-caso che quello inter-classe.

Meccanismo: A differenza della Cross-Entropy standard o della Class-Balanced (CB) loss, la PNB calcola esplicitamente i pesi basandosi sul numero effettivo di casi positivi e negativi per ogni categoria.
Adattamento Multi-label: Riconosce che nei compiti multi-label, i campioni con molteplici condizioni co-occorrenti rare (ad esempio, molteplizie malattie in una radiografia del torace) sono statisticamente più rari. La PNB assegna pesi maggiori a questi casi e categorie minoritari per evitare che il modello sia dominato da campioni negativi o di classe maggioritaria.
Formulazione: La perdita incorpora uno smoothing tramite un parametro di temperatura ( $\tau$ ) e un iperparametro ( $\beta$ ) per calcolare i numeri di campioni effettivi, prevenendo pesi estremi quando i dati sono scarsi. Un fattore di scala ( $\mu$ ) viene utilizzato per regolare l'entità complessiva della perdita.

B. Client Balanced Reweighting (CBR)

Progettato per l'aggregazione del modello, il CBR regola il peso del contributo di ogni client al modello globale.

Meccanismo: Invece di pesare i client esclusivamente in base alla dimensione del dataset (come in FedAvg), il CBR valuta lo skewness della distribuzione locale dei dati di un client.
Calcolo: Calcola la deviazione standard dei conteggi delle classi per client per determinare l'equilibrio dei dati. Ai client con dataset meno sbilanciati (più equilibrati) viene assegnato un peso maggiore, poiché i loro modelli locali sono considerati dotati di migliori capacità di generalizzazione.
Ponderazione Ibrida: Il peso di aggregazione finale ( $W_k$ ) è una combinazione lineare del peso basato sull'equilibrio ( $\omega^a_k$ ) e del peso basato sulla dimensione ( $\omega^b_k$ ), controllata da un iperparametro $\gamma$ . Ciò assicura che i client con dataset grandi ma altamente sbilanciati non dominino il modello globale, mentre i client con dataset piccoli ma equilibrati non vengano ignorati.

3. Contributi Chiave

Il documento sostiene i seguenti contributi:

Analisi del Disequilibrio Multi-livello: Un framework innovativo che decompone lo squilibrio delle classi nel FL in livelli inter-caso, inter-classe e inter-client, sostenendo che affrontare tutti e tre sia necessario per una prestazione robusta.
Perdita PNB: Una funzione di perdita che affronta simultaneamente gli squilibri inter-caso e inter-classe, applicabile sia alla classificazione multi-label che a quella multi-classe, assegnando pesi maggiori ai casi e alle classi minoritarie.
Aggregazione CBR: Una strategia di aggregazione del modello che dà priorità ai client con distribuzioni di dati meno sbilanciate, migliorando la generalizzabilità del modello globale senza richiedere l'accesso ai dati locali grezzi (preservando la privacy).
Efficienza e Privacy: Il metodo raggiunge prestazioni state-of-the-art (SOTA) con un overhead computazionale minimo e si basa solo su informazioni statistiche limitate (conteggi delle classi), evitando la fuga delle distribuzioni dei dati grezzi.

4. Risultati Sperimentali

Gli autori hanno valutato FedBB su dataset di radiografie toraciche (NIH CXR14, CheXpert) e dataset di immagini naturali (CIFAR-10/100, Tiny-ImageNet e varianti create artificialmente Long-Tailed).

Prestazioni: FedBB ha costantemente superato gli algoritmi esistenti (FedAvg, FedProx, MOON, FedNova, FedAlign, FedLC) in tutti i dataset e le impostazioni di squilibrio (controllate dal parametro $\delta$ $δ$ ).
- Su NIH CXR14, FedBB ha raggiunto un AUC di 72.47 (a $\delta=0.1$ ), superando FedAvg (67.77) e FedProx (68.51).
- Su LT-CIFAR-100, FedBB ha raggiunto il 45.13% di accuratezza, superando FedLC (41.08%) e FedAlign (41.37%).
Efficienza: Nonostante la complessità aggiunta del calcolo dei fattori di squilibrio, FedBB mantiene un'efficienza computazionale comparabile a FedAvg.
- Parametri: 0.61 milioni (uguale a FedAvg).
- MFLOPs: 87.3 milioni (significativamente inferiore ai 262.2 milioni di MOON).
Studi di Ablazione: Gli esperimenti hanno confermato che sia la perdita PNB che il CBR contribuiscono indipendentemente al miglioramento delle prestazioni. Il metodo ha inoltre dimostrato la capacità di armonizzarsi con altri algoritmi di FL (ad esempio, combinando FedBB con FedProx o MOON) per potenziare ulteriormente l'accuratezza.

5. Significato e Rivendicazioni

Il documento posiziona FedBB come un baseline per il Federated Learning generico e personalizzato. Il suo significato risiede nel:

Affrontare la Causa Radice: Trattando lo squilibrio delle classi come un problema multi-livello piuttosto che come una singola metrica, risolve la specifica non-IID-ness che degrada le prestazioni del FL.
Preservazione della Privacy: Il ricorso ad aggregati statistici (conteggi delle classi) anziché alle distribuzioni dei dati grezzi lo rende adatto a domini sensibili alla privacy come quello sanitario.
Versatilità: L'approccio è efficace sia per compiti multi-label (imaging medico) che multi-classe (immagini naturali), una versatilità non comunemente presente nei precedenti metodi di FL specifici per lo squilibrio.

Gli autori concludono che, sebbene FedBB richieda un server centrale e sia basato su parametri (rendendolo teoricamente vulnerabile a certi attacchi), rappresenta un passo avanti significativo nella creazione di modelli globali che classificano accuratamente tutte le classi, anche in ambienti federati altamente sbilanciati. Il lavoro futuro suggerisce di esplorare metodi serverless e non basati su parametri per mitigare ulteriormente i rischi di sicurezza.