Federated Active Learning Under Extreme Non-IID and Global Class Imbalance

Deze paper introduceert FairFAL, een adaptief framework voor federatief actief leren dat de prestaties verbetert onder extreme non-IID-omstandigheden en globale klasse-ongelijkheid door een slimme selectie tussen lokale en globale query-modellen, prototypegestuurde pseudo-labeling en een gebalanceerde bemonsteringsstrategie.

De kern

De Grote Uitdaging: Een Wereldwijd Team dat niet met elkaar praat

Stel je voor dat je een enorm team hebt van artsen, leraren of ingenieurs verspreid over de hele wereld. Ze willen samen een slimme AI bouwen (bijvoorbeeld om ziektes te herkennen of auto's te laten rijden), maar ze mogen hun eigen patiëntendata of foto's niet delen vanwege privacywetten. Dit noemen we Federated Learning.

Daarnaast is het heel duur om al die data te labelen (bijv. een arts moet elke foto van een huidlaesie bekijken en zeggen of het kwaadaardig is). Om geld te besparen, willen ze alleen de allerbelangrijkste foto's laten bekijken. Dit noemen we Active Learning.

Als je deze twee ideeën combineert, krijg je Federated Active Learning (FAL). Het probleem? In de echte wereld is het niet eerlijk verdeeld:

1. Scheve verdeling: Sommige ziektes komen heel vaak voor, andere zijn extreem zeldzaam (maar juist die zijn belangrijk!).
2. Verschillende werelden: De artsen in Azië zien misschien heel andere patiënten dan die in Europa.

Bestaande methoden maken hier vaak een fout: ze kiezen de "verkeerde" foto's om te labelen. Ze focussen te veel op de veelvoorkomende ziektes en missen de zeldzame, dodelijke gevallen.

De Kernvraag: Wie moet de beslissing nemen?

De onderzoekers stelden zich een simpele vraag: Wie is de beste "keuze-maker" voor welke foto we moeten labelen?

• De Wereldwijde Leraar (Global Model): Een samenvatting van alle kennis van iedereen.
• De Lokale Leraar (Local Model): De expert die alleen zijn eigen lokale data kent.

Wat ontdekten ze?
Het hangt af van de situatie, net als bij het plannen van een reis:

• Als de wereldwijde verdeling heel scheef is (veel van het ene, weinig van het andere), maar iedereen heeft ongeveer dezelfde soort patiënten, dan is de Wereldwijde Leraar beter. Hij ziet het grote plaatje en kan zeggen: "We hebben meer foto's nodig van die zeldzame ziekte."
• Als de patiënten in elke regio heel anders zijn (sommige regio's hebben alleen maar zeldzame gevallen, andere alleen maar veelvoorkomende), dan is de Lokale Leraar beter. Hij kent zijn eigen buurt het beste en kan de specifieke nuance zien.

De meeste oude methoden dachten dat ze altijd één van de twee moesten gebruiken. Dit onderzoek zegt: "Nee, we moeten slim schakelen!"

De Oplossing: FairFAL (De Eerlijke Reisplanner)

De onderzoekers hebben een nieuwe methode bedacht genaamd FairFAL. Je kunt het zien als een slimme, eerlijke reisplanner die drie trucs gebruikt om ervoor te zorgen dat niemand wordt genegeerd.

1. De Slimme Schakelaar (Adaptieve Model-Selectie)

Stel je voor dat je een team hebt van lokale gidsen en een centrale hoofdkantoor.

• De truc: FairFAL kijkt eerst even snel of de situatie "lokaal" of "wereldwijd" is.
• Hoe? Het meet hoe goed de lokale gids en het hoofdkantoor het doen met het voorspellen van de data. Als ze het heel anders doen, is de lokale gids beter. Als ze het heel gelijk doen, maar de wereldwijde verdeling is scheef, dan schakelt het over naar het hoofdkantoor.
• Resultaat: Je gebruikt altijd de juiste "expert" voor die specifieke situatie, zonder dat je privacy verliest.

2. De "Stempel" Techniek (Prototype-Guided Pseudo-Labeling)

Stel je voor dat je een verzameling hebt van duizenden foto's, maar je weet niet welke ziekte ze hebben.

• Het probleem: Als je gewoon vraagt aan de AI "wat zie je?", neigt de AI naar de veelvoorkomende ziektes (want die kent hij beter).
• De oplossing: FairFAL maakt voor elke ziekte een "stempel" (een prototype) van hoe die ziekte eruit moet zien, gebaseerd op de beste wereldwijde kennis.
• Hoe het werkt: De AI kijkt naar een nieuwe foto en zegt: "Deze lijkt het meest op het stempel van de zeldzame ziekte." Zo krijgt de AI een voorlopig label (een "pseudo-label") dat eerlijker is, zelfs als de data scheef is. Hierdoor worden de zeldzame gevallen niet over het hoofd gezien.

3. De Eerlijke Loterij (Uncertainty-Diversity Sampling)

Stel je voor dat je een groep mensen wilt interviewen.

• Fout: Je vraagt alleen aan de mensen die het meest twijfelen (onzekerheid). Het probleem is dat die twijfelende mensen vaak allemaal op elkaar lijken (bijvoorbeeld allemaal mensen met een lichte verkoudheid). Je krijgt dan 10 keer hetzelfde antwoord.
• De oplossing van FairFAL:
  1. Kies de twijfelaars: Zoek eerst de mensen die de AI het meest verwarren.
  2. Maak ze divers: Zorg er dan voor dat je niet 10 mensen kiest die op elkaar lijken, maar 10 mensen die er heel verschillend uitzien (diversiteit).
  3. Per ziekte: Doe dit voor elke ziekte apart. Zorg dat je voor de zeldzame ziekte ook echt 5 verschillende voorbeelden krijgt, en niet 5 keer hetzelfde.

Waarom is dit belangrijk?

In de echte wereld (zoals in ziekenhuizen) zijn de zeldzame ziektes vaak de dodelijkste. Als je AI alleen leert van de veelvoorkomende gevallen, faalt hij precies daar waar het erom gaat.

FairFAL zorgt ervoor dat:

1. De AI niet "blind" wordt voor zeldzame gevallen.
2. Het team van artsen (de clients) samenwerkt zonder hun data te delen.
3. Je minder geld uitgeeft aan het labelen van onbelangrijke foto's, omdat je slim kiest.

Samenvattend

Stel je voor dat je een grote puzzel moet leggen, maar de stukjes zitten verspreid over de wereld en er zijn veel meer stukjes van de lucht dan van de bomen.

• Oude methoden legden alleen maar luchtstukjes, omdat die makkelijk te vinden waren.
• FairFAL is als een slimme coördinator die zegt: "Wacht, in regio A zijn er veel bomen, maar in regio B zijn er alleen maar lucht. Laten we de expert van regio A gebruiken om de bomen te vinden, en de wereldwijde expert om te zorgen dat we genoeg luchtstukjes hebben."

Het resultaat is een AI die niet alleen slimmer is, maar ook eerlijker voor iedereen, inclusief de zeldzame gevallen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Federated Active Learning Under Extreme Non-IID and Global Class Imbalance" van Chen-Chen Zong en Sheng-Jun Huang, in het Nederlands.

1. Probleemstelling

Federated Active Learning (FAL) combineert Federated Learning (FL) en Active Learning (AL) om modeltraining te laten plaatsvinden zonder dat ruwe data worden gedeeld, terwijl tegelijkertijd de kosten voor annotatie worden geminimaliseerd door alleen de meest informatieve samples te labelen.

Het artikel identificeert twee kritieke uitdagingen in realistische scenario's die bestaande methoden ondermijnen:

• Extreme Non-IID (Niet-Independent and Identically Distributed): De data-verdeling over de clients (bijv. ziekenhuizen, mobiele apparaten) is sterk heterogeen.
• Globale Class Imbalance (Klasse-ongelijkheid): De totale dataset vertoont een "long-tailed" verdeling, waarbij zeldzame maar kritieke klassen (minority classes) schaars zijn, terwijl hoofdklassen (head classes) oververtegenwoordigd zijn.

Bestaande FAL-methoden gaan vaak uit van een relatief evenwichtige verdeling of behandelen heterogeniteit alleen als een data-partitieprobleem. Hierdoor falen ze in het selecteren van zeldzame klassen, wat leidt tot systematische bias en inefficiënt gebruik van het annotatiebudget.

2. Methodologie: FairFAL

De auteurs introduceren FairFAL, een adaptief framework dat is ontworpen om class-balanced sampling te garanderen onder extreme omstandigheden. De methode bestaat uit drie kerncomponenten:

A. Adaptieve Model-Selectie (Adaptive Model-Selection)

In FAL kunnen twee modellen worden gebruikt om samples te selecteren: het globale model (geaggregeerd van alle clients) of het lokale model (getraind op de data van een specifieke client).

• Observatie: De auteurs ontdekten dat de keuze afhankelijk is van de mate van globale onbalans en lokale heterogeniteit.
  • Als de globale verdeling sterk onbalans is maar clients homogeen zijn, werkt het globale model beter (het kan kennis delen om de onbalans te compenseren).
  • Als de verdeling gebalanceerd is of clients zeer heterogeen zijn, werkt het lokale model beter.
• Implementatie: FairFAL schat voor elke client twee waarden:
  1. De ernst van de globale class-imbalance ($\bar{\gamma}$).
  2. De divergentie tussen de lokale en globale data-verdeling ($d_k$).
     Op basis hiervan wordt een score $s_k$ berekend die dynamisch bepaalt welk model (lokaal of globaal) als query-selector wordt gebruikt voor die specifieke client, zonder privacy te schenden.

B. Prototype-Guided Pseudo-Labeling

Om ervoor te zorgen dat zeldzame klassen toch worden geselecteerd, wordt een mechanisme gebruikt dat de bias van de classifier tegenwerkt.

• In plaats van directe voorspellingen van de classifier te gebruiken (die vaak bias hebben naar hoofdklassen), worden prototypes berekend voor elke klasse.
• Deze prototypes worden afgeleid van de globale model-features (die volgens de auteurs representatiever en robuuster zijn).
• Ongelabelde samples krijgen een "pseudo-label" op basis van hun cosine-afstand tot deze prototypes. Dit zorgt voor een class-aware selectie die de zeldzame klassen expliciet omarmt.

C. Twee-Staps Uncertainty-Diversity Sampling

Om redundantie te voorkomen en diversiteit te waarborgen binnen elke klasse, wordt een twee-traps strategie toegepast:

1. Klasse-specifieke kandidaat-pool: Voor elke klasse worden de samples met de hoogste onzekerheid (uncertainty) geselecteerd om een over-complete pool te vormen.
2. K-center selectie: In een "gradient-embedding space" (gebaseerd op de globale model-gradienten) wordt een k-center algoritme toegepast. Dit selecteert een subset van samples die zowel informatief (hoge onzekerheid) als divers (maximale dekking van de feature-ruimte) zijn, terwijl de class-balans wordt behouden.

3. Belangrijkste Bijdragen

• Systematische Analyse: Een grondig empirisch onderzoek naar het effect van globale onbalans en lokale heterogeniteit op de keuze tussen globale en lokale query-modellen.
• FairFAL Framework: Een nieuw, adaptief framework dat de bovenstaande inzichten combineert in een werkend systeem dat class-balanced sampling garandeert.
• Privacy-Bewust Ontwerp: De methode vereist geen uitwisseling van ruwe data of gedetailleerde lokale statistieken; alleen geaggregeerde schattingen worden gedeeld.
• Robuustheid: De methode is getest op diverse datasets en presteert goed onder extreme Non-IID en long-tailed condities.

4. Resultaten

De auteurs hebben FairFAL getest op vijf benchmarks: FMNIST, CIFAR-10, CIFAR-100, OctMNIST en DermaMNIST (medische beeldvorming).

• Prestaties: FairFAL overtreft consistent state-of-the-art methoden (zoals KAFAL, LoGo, IFAL) en traditionele AL-baselines.
• Situaties: De prestatieverbetering is het meest opvallend in moeilijke scenario's (bijv. CIFAR-100 met $\rho=20$ en $\alpha=0.1$), waar andere methoden vaak falen of zelfs slechter presteren dan willekeurige selectie.
• Medische Data: Op de natuurlijk onbalans datasets OctMNIST en DermaMNIST behaalde FairFAL de hoogste nauwkeurigheid, wat aantoont dat het geschikt is voor kritieke real-world toepassingen.
• Ablatie-studies: Experimenten bevestigen dat elk onderdeel (adaptieve selectie, prototype-guiding, en twee-staps sampling) essentieel is voor de uiteindelijke prestaties.

5. Betekenis en Impact

Dit werk is significant omdat het een fundamentele beperking van bestaande Federated Active Learning aanpakt: de neiging om zeldzame klassen te negeren in onbalans scenario's.

• Praktische Toepasbaarheid: Het biedt een oplossing voor domeinen waar data per nature onbalans is (zoals medische diagnose zeldzame ziektes) en privacy cruciaal is.
• Theoretisch Inzicht: Het onderstreept dat "class-balanced sampling" een cruciale factor is voor succes in FAL, en dat er geen "one-size-fits-all" oplossing is voor het kiezen van een query-model; deze keuze moet adaptief zijn.
• Toekomst: De code is openbaar beschikbaar, wat de basis legt voor verdere onderzoek naar eerlijke en efficiënte federale leer-systemen.

Kortom, FairFAL biedt een robuuste, adaptieve aanpak die de efficiëntie van annotatie maximaliseert en de prestaties van het globale model verbetert, zelfs in de meest uitdagende federale leeromgevingen.