🤖 machine learning

Multi-Level Analyzation of Imbalance to Resolve Non-IID-Ness in Federated Learning

Dit artikel stelt FedBB voor, een federated learning-framework dat data-onbalans op inter-case, inter-class en inter-client niveau aanpakt via een Positive Negative Balanced loss-functie en een Client Balanced Reweighting-strategie, waardoor het bestaande algoritmen overtreft in nauwkeurigheid en efficiëntie terwijl de privacy behouden blijft.

Oorspronkelijke auteurs: Haengbok Chung, Jae Sung Lee

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haengbok Chung, Jae Sung Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep artsen van verschillende ziekenhuizen voor die samen één super-slimme AI willen bouwen om ziekten te diagnosticeren. Ze willen dit doen zonder hun werkelijke patiëntendossiers te delen (om de privacy te beschermen); ze trainen hun eigen lokale AI-modellen en sturen alleen de "geleerde lessen" terug naar een centrale server om deze te combineren. Dit is Federated Learning.

Echter, er is een groot probleem: de data is rommelig.

Sommige ziekenhuizen zien vooral gezonde patiënten, sommige zien vooral zieke patiënten, en sommige zien een vreemde mix van zeldzame ziekten. In het artikel noemen de auteurs dit "Non-IID" (data die niet identiek of gelijk verdeeld is). Vanwege deze rommel raakt de gecombineerde AI vaak in de war en presteert deze slecht.

De auteurs van dit artikel, Haengbok Chung en Jae Sung Lee, zeggen: "We moeten naar deze rommel kijken vanuit drie verschillende hoeken." Ze noemen hun oplossing FedBB (Federated Learning met Positive-Negative Balanced loss en Client Balanced Reweighting).

Hier is hoe ze dit onderverdelen met behulp van eenvoudige analogieën:

1. De Drie Niveaus van Rommeligheid

De auteurs realiseerden zich dat "onbalans" op drie verschillende manieren optreedt, alsovergelijkbaar met het bekijken van een stapel fruit door een microscoop, een raam en een drone:

Inter-Case (Het Microscoop-perspectief):
- Het Probleem: Stel dat een specifieke ziekte, zoals "Pneumonie", voorkomt. Voor elke patiënt die wél pneumonie heeft, zijn er misschien 100 die het niet hebben. De AI wordt lui en gokt gewoon "Geen Pneumonie" voor iedereen, omdat hij daarmee in 99% van de gevallen gelijk heeft.
- De Oplossing: De AI moet worden gedwongen om extra aandacht te besteden aan de zeldzame "Ja"-gevallen.
Inter-Class (Het Raam-perspectief):
- Het Probleem: Kijk nu naar de hele fruitmand. Misschien heb je 1.000 appels, 100 sinaasappels, maar slechts 5 bananen. De AI wordt een "Appel-expert" maar een verschrikkelijke "Banaan-expert" omdat hij nooit genoeg bananen heeft gezien.
- De Oplossing: De AI moet de instructie krijgen: "Hé, die 5 bananen zijn superbelangrijk! Negeer ze niet."
Inter-Client (Het Drone-perspectief):
- *Het Proble: Stel dat Ziekenhuis A 10.000 patiënten heeft, maar zij zijn allemaal "Appel"-gevallen. Ziekenhuis B heeft slechts 100 patiënten, maar zij vormen een perfecte mix van Appels, Sinaasappels en Bananen.
- De Oude Manier: De centrale server zegt meestal: "Ziekenhuis A heeft meer data, dus we luisteren 100 keer meer naar hen."
- Het Resultaat: De uiteindelijke AI wordt een "Appel-expert" en vergeet alles wat er anders is.
- De Oplossing: De server zou eigenlijk meer naar Ziekenhuis B moeten luisteren, omdat hun kleine dataset meer gebalanceerd is en de AI een breder scala aan lessen leert.

2. De Oplossing: FedBB

De auteurs bouwden een tweeledig hulpmiddel om deze problemen op te lossen:

Deel A: De "Eerlijke Leraar" (PNB Loss)

Dit is een nieuwe manier om de AI te beoordelen tijdens de lokale training.

Hoe het werkt: In plaats van alleen te tellen hoe vaak de AI een vraag goed heeft, werkt deze methode als een strenge leraar die extra punten geeft voor het goed beantwoorden van de zeldzame of moeilijke vragen.
De Analogie: Als een student 100 makkelijke vragen goed heeft, maar de ene moeilijke vraag mist, zegt de leraar niet alleen "Goed gedaan." De leraar zegt: "Je miste de zeldzame vraag! Die telt dubbel!" Dit dwingt de AI om de minderheidsgevallen (de zeldzame ziekten of de weinige bananen) niet te negeren.
Bonus: Dit werkt voor zowel "Multi-class" (kies één categorie) als "Multi-label" (kies meerdere categorieën tegelijk, zoals een patiënt die zowel pneumonie als een gebroken rib heeft).

Deel B: De "Slimme Mixer" (CBR)

Dit is een nieuwe manier voor de centrale server om de modellen van alle ziekenhuizen te combineren.

Hoe het werkt: In plaats van alleen te tellen hoeveel patiënten een ziekenhuis heeft, controleert de server hoe gebalanceerd hun data is.
De Analogie: Stel je voor dat je smoothies mengt. Als je een enorme emmer met alleen maar aardbeiensmoothie hebt (Ziekenhuis A) en een klein bekertje met een perfecte fruitsalade (Ziekenhuis B), moet je niet gewoon de hele emmer erbij gooien. Je zou het kleine bekertje met fruitsalade een luidere stem moeten geven in de uiteindelijke mix, omdat het een diverser smaakprofiel vertegenwoordigt.
Het Resultaat: Het uiteindelijke globale model wordt een "Generalist" die goed is in het diagnosticeren van alles, en niet alleen van de meest voorkomende zaken.

3. Waarom dit ertoe doet (Volgens het artikel)

De auteurs testten dit op twee soorten data:

Medische röntgenfoto's: Echte borstfoto's van verschillende ziekenhuizen (NIH en CheXpert datasets).
Natuurlijke afbeeldingen: Standaard computer vision datasets zoals CIFAR (katten, honden, auto's, etc.).

De Resultaten:

Betere Prestaties: FedBB versloeg alle andere populaire methoden (zo als FedAvg, FedProx, MOON) in nauwkeurigheid. Het was vooral goed in het omgaan met de "rommelige" data waarbij sommige ziekten of objecten zeer zeldzaam waren.
Efficiëntie: Het vereiste geen supercomputer. Het gebruikte evenveel rekenkracht als de basismethode (FedAvg), maar behaalde veel betere resultaten.
Privacy: Het heeft alleen een beetje statistiek nodig (zoals "hoe gebalanceerd is je data?") in plaats van de werkelijke patiëntendossiers te zien, wat de privacy veilig houdt.

Samenvatting

Het artikel betoogt dat om een echt slimme AI op een privacyvriendelijke manier te bouwen, we de data niet zomaar bij elkaar kunnen gooien. We moeten:

De lokale AI leren om aandacht te hebben voor de zeldzame gevallen (met de PNB Loss).
Luisteren naar de lokale AI die de meest diverse data heeft, zelfs als die kleiner is (met CBR).

Door dit te doen, wordt het uiteindelijke "Globale Brein" eerlijker, nauwkeuriger en klaar om de echte wereld aan te kunnen, waar data zelden perfect is.

Technische Samenvatting: Multi-Level Analyse van Imbalans om Non-IID-ness in Federated Learning te Oplossen

1. Probleemdefinitie

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk over gedistribueerde clients terwijl de privacy van gegevens behouden blijft. Echter, een kritieke barrière voor de effectiviteit ervan is non-identiek verdeelde (non-IID) data, vaak gedreven door ernstige klasse-imbalans. Bestaande oplossingen voor non-IID data negeren vaak de genuanceerde aard van klasse-imbalans, met name in scenario's met multi-label classificatie.

De auteurs identificeren dat conventionele benaderingen van klasse-imbalans onvoldoende zijn omdat ze:

Primair focussen op multi-class classificatie, waardoor ze niet in staat zijn de complexiteit van multi-label taken aan te pakken waar $2^n$ labelcombinaties bestaan.
Inter-case imbalans negeren, waarbij de discrepantie tussen positieve en negatieve gevallen binnen een enkele categorie ervoor zorgt dat modellen overfitten op de meerderheidsklasse (meestal de negatieve klasse).
Vertrouwen op datasetgrootte voor aggregatie, waarbij een hogere weging wordt toegekend aan clients met grotere datasets. In FL zijn grote datasets vaak sterk scheefgetrokken, wat leidt tot een bevooroordeeld globaal model dat de meerderheidsklassen bevoordeelt die specifiek door die clients frequent worden gezien.

2. Methodologie: FedBB

Om deze problemen aan te pakken, stellen de auteurs FedBB voor (Federated Learning met Positive Negative Balanced loss en Client Balanced Reweighting). De kerninnovatie is een multi-level analyse van imbalans, verdeeld in drie afzonderlijke schalen:

Inter-case Imbalans: De discrepantie tussen het aantal positieve en negatieve gevallen binnen een enkele categorie.
Inter-class Imbalans: Het verschil in datadistributie tussen verschillende categorieën binnen een enkele client.
Inter-client Imbalans: De heterogeniteit van de dataskewness (scheefheid) over verschillende clients.

FedBB pakt deze niveaus aan via twee primaire componenten:

A. Positive Negative Balanced (PNB) Loss Functie

Ontworpen voor lokale training, de PNB loss functie verzacht zowel inter-case als inter-class imbalans.

Mechanisme: In tegenstelling tot standaard Cross-Entropy of Class-Balanced (CB) loss, berekent PNB expliciet gewichten op basis van het effectieve aantal positieve en negatieve gevallen voor elke categorie.
Multi-Label Adaptatie: Het erkent dat in multi-label taken monsters met meerdere samen voorkomende zeldzame condities (bijv. meerdere ziekten in een borstfoto/X-ray) statistisch zeldzamer zijn. PNB wijst hogere gewichten toe aan deze minderheidsgevallen en categorieën om te voorkomen dat het model wordt gedomineerd door negatieve of meerderheidsklasse monsters.
Formulering: De loss incorporeert smoothing via een temperatuurparameter ( $\tau$ ) en een hyperparameter ( $\beta$ ) om effectieve steekproefaantallen te berekenen, wat extreme weging voorkomt wanneer data schaars is. Een schaleringsfactor ( $\mu$ ) wordt gebruikt om de algehele loss-magnitude te reguleren.

B. Client Balanced Reweighting (CBR)

Ontworpen voor modelaggregatie, CBR past de weging van de bijdrage van elke client aan het globale model aan.

Mechanisme: In plaats van clients uitsluitend te wegen op basis van datasetgrootte (zoals in FedAvg), evalueert CBR de skewness van de lokale datadistributie van een client.
Berekening: Het berekent de standaarddeviatie van de klasse-aantallen per client om de databalans te bepalen. Clients met minder scheve (meer gebalanceerde) datasets krijgen een hogere weging toegewezen, aangezien hun lokale modellen als beter in staat worden beschouwd tot generalisatie.
Hybride Weging: De uiteindelijke aggregatiegewicht ( $W_k$ ) is een lineaire combinatie van de balans-gebaseerde weging ( $\omega^a_k$ ) en de grootte-gebaseerde weging ( $\omega^b_k$ ), gecontroleerd door een hyperparameter $\gamma$ . Dit zorgt ervoor dat clients met grote maar zeer scheve datasets het globale model niet domineren, terwijl clients met kleine maar gebalanceerde datasets niet genegeerd worden.

3. Belangrijkste Bijdragen

Het paper claimt de volgende bijdragen:

Multi-Level Imbalans Analyse: Een nieuw framework dat klasse-imbalans in FL deelt in inter-case, inter-class en inter-client niveaus, en beargumenteert dat het aanpakken van alle drie noodzakelijk is voor robuuste prestaties.
PNB Loss: Een loss functie die gelijktijdig inter-case en inter-class imbalans aanpakt, toepasbaar op zowel multi-label als multi-class classificatie, waarbij hogere gewichten worden toegewezen aan minderheidsgevallen en categorieën.
CBR Aggregatie: Een modelaggregatiestrategie die prioriteit geeft aan clients met minder scheve datadistributies, wat de generaliseerbaarheid van het globale model verbetert zonder toegang nodig te hebben tot ruwe lokale data (wat privacy waarborgt).
Efficiëntie en Privacy: De methode bereikt state-of-the-art (SOTA) prestaties met minimale computationele overhead en vertrouwt slechts op beperkte statistische informatie (klasse-aantallen), waardoor lekkage van ruwe datadistributies wordt voorkomen.

4. Experimentele Resultaten

De auteurs evalueerden FedBB op medische X-ray datasets (NIH CXR14, CheXpert) en natuurlijke beelddatasets (CIFAR-10/100, Tiny-ImageNet, en kunstmatig gecreëerde Long-Tailed varianten).

Prestaties: FedBB presteerde consistent beter dan bestaande algoritmen (FedAvg, FedProx, MOON, FedNova, FedAlign, FedLC) over alle datasets en imbalans-instellingen (gecontroleerd door parameter $\delta$ $δ$ ).
- Op NIH CXR14 behaalde FedBB een AUC van 72.47 (bij $\delta=0.1$ ), waarmee het FedAvg (67.77) en FedProx (68.51) overtrof.
- Op LT-CIFAR-100 behaalde FedBB 45.13% nauwkeurigheid, waarmee het FedLC (41.08%) en FedAlign (41.37%) overtrof.
Efficiëntie: Ondanks de toegevoegde complexiteit van het berekenen van imbalansfactoren, behoudt FedBB een computationele efficiëntie die vergelijkbaar is met FedAvg.
- Parameters: 0.61 miljoen (hetzelfde als FedAvg).
- MFLOPs: 87.3 miljoen (significant lager dan MOON's 262.2 miljoen).
Ablatie-studies: Experimenten bevestigden dat zowel de PNB loss als CBR onafhankelijk bijdragen aan prestatieverbeteringen. De methode demonstreerde ook het vermogen om te harmoniseren met andere FL-algoritmen (bijv. het combineren van FedBB met FedProx of MOON) om de nauwkeurigheid verder te verhogen.

5. Betekenis en Claims

Het paper positioneert FedBB als een baseline voor generieke en gepersonaliseerde Federated Learning. De betekenis ligt in:

Aanpakken van de Grondoorzaak: Door klasse-imbalans te behandelen als een multi-level probleem in plaats van een enkele metriek, lost het de specifieke non-IID-ness op die de FL-prestaties verslechtert.
Privacybehoud: Het vertrouwen op geaggregeerde statistieken (klasse-aantallen) in plaats van ruwe datadistributies maakt het geschikt voor privacygevoelige domeinen zoals de gezondheidszorg.
Veelzijdigheid: De aanpak is effectief voor zowel multi-label (medische beeldvorming) als multi-class (natuurlijke afbeeldingen) taken, een veelzijdigheid die niet vaak voorkomt bij eerdere imbalans-specifieke FL-methoden.

De auteurs concluderen dat hoewel FedBB een gecentraliseerde server vereist en parameter-gebaseerd is (wat het theoretisch kwetsbaar maakt voor bepaalde aanvallen), het een significante stap voorwaarts vertegenwoordigt in het creëren van globale modellen die alle klassen accuraat kunnen classificeren, zelfs in zeer scheve federated omgevingen. Toekomstig werk suggereert om serverloze, niet-parameter-gebaseerde methoden te verkennen om de beveiligingsrisico's verder te mitigeren.