FederatedFactory: Generative One-Shot Learning for Extremely Non-IID Distributed Scenarios

FederatedFactory is een zero-dependency framework dat door het uitwisselen van generatieve modules in plaats van discriminatieve gewichten, in één communicatieronde volledig niet-IID federated learning-scenario's oplost en prestaties herstelt tot het niveau van gecentraliseerd leren.

De kern

Het Grote Probleem: De "Stille Ziekenhuizen"

Stel je voor dat er een wereldwijde groep artsen is die samen wil werken om een super slimme AI te bouwen die ziektes kan herkennen. Maar er is een groot probleem: geen enkele arts wil of mag de foto's van hun eigen patiënten delen vanwege privacywetten.

In de normale wereld van Machine Learning (AI) proberen deze artsen hun "denkpatronen" (de AI-parameters) met elkaar te delen. Maar hier botst het op een muur:

• Arts A heeft alleen foto's van huidkanker.
• Arts B heeft alleen foto's van longkanker.
• Arts C heeft alleen foto's van breukkanker.

Als ze nu proberen hun AI's te "mixen", krijg je een chaos. Het is alsof je probeert een recept voor een taart te maken door alleen de ingrediënten van één persoon te nemen die alleen eieren heeft, en een ander die alleen bloem heeft. Als je ze samenvoegt zonder de rest, krijg je geen taart, maar een rommelpot. De AI raakt in de war en stopt met werken. Dit noemen de auteurs een "Single-Class Silo" (een eenzame kooi).

De Oplossing: De "FederatedFactory"

De auteurs van dit papier, FederatedFactory, zeggen: "Waarom proberen we de AI's te laten praten als ze elkaars taal niet spreken? Laten we in plaats daarvan de recepten voor de ingrediënten uitwisselen."

In plaats van de AI's zelf te delen, sturen de artsen een generatieve fabriek (een soort 3D-printer voor beelden) naar een centrale plek.

De Vergelijking: De Boodschappenmand vs. De Recepten

1. De Oude Manier (Federated Learning):
   Iedere arts stuurt een stukje van hun eigen AI naar de centrale server. De server probeert deze stukken aan elkaar te plakken.

   • Probleem: Omdat Arts A alleen eieren heeft en Arts B alleen bloem, kan de server geen taart maken. De stukken botsen tegen elkaar op.

2. De Nieuwe Manier (FederatedFactory):
   Iedere arts bouwt een kleine fabriek die alleen die specifieke ziekte kan "dromen" of "tekenen".

   • Arts A bouwt een fabriek die alleen huidkanker-afbeeldingen kan tekenen.
   • Arts B bouwt een fabriek die alleen longkanker-afbeeldingen kan tekenen.
   • Ze sturen alleen de blauwdrukken van deze fabrieken naar de server.

Hoe werkt het nu?

De server (of een andere arts) neemt deze blauwdrukken en gebruikt ze om nieuwe, neppe maar perfecte foto's te maken.

• De server zegt tegen de fabriek van Arts A: "Maak 1000 foto's van huidkanker."
• De server zegt tegen de fabriek van Arts B: "Maak 1000 foto's van longkanker."

Nu heeft de server een complete verzameling van alle ziektes, zonder dat hij ook maar één echte patiëntfoto heeft gezien. Met deze nieuwe, complete verzameling kan de server een super-AI bouwen die alles herkent.

De magische truc: Omdat de fabrieken zijn gebouwd op de echte data van de artsen, zijn de "neppe" foto's zo goed dat de AI er net zo goed van leert als van echte foto's.

Waarom is dit zo cool? (De Voordelen)

1. Geen Privacy Lekkage: De artsen sturen nooit hun echte patiëntdata. Ze sturen alleen de "recepten" (de fabriek). Het is alsof je je geheime sausrecept deelt, maar niemand je eigen keuken binnenkomt.
2. Geen "Foundation Models" nodig: Veel andere methodes gebruiken een enorme, vooraf getrainde AI (zoals een super-robot) die alles al kent. Maar die robots begrijpen soms medische details niet goed. FederatedFactory bouwt zijn eigen kleine robots die specifiek voor die ziekenhuizen zijn getraind. Geen externe bias, puur lokaal weten.
3. Snelheid (One-Shot): Normaal gesproken moeten artsen en de server 200 keer heen en weer praten om de AI te verbeteren. Hier gebeurt het in één keer. Je stuurt de blauwdruk, en klaar.
4. Vergeten is makkelijk (Unlearning): Stel dat Arts A weggaat of de wet zegt dat we zijn data moeten vergeten. In de oude wereld moet je de hele AI opnieuw trainen. In deze wereld? Je haalt gewoon de blauwdruk van Arts A uit de kast en gooit hem weg. De "neppe" foto's van die ziekte verdwijnen direct. Het is alsof je een lego-toren deelt in losse blokken; als je één blok verwijdert, is dat specifieke stukje weg, zonder de hele toren te slopen.

De Kosten: Rekenkracht vs. Bandbreedte

Er is wel een prijs voor deze genialiteit.

• Oude manier: Veel internetverkeer (veel heen en weer sturen van data), maar weinig rekenkracht nodig bij de artsen.
• Nieuwe manier: Weinig internetverkeer (alleen de blauwdrukken), maar de artsen moeten wel hard werken om hun eigen fabriek te bouwen (veel rekenkracht nodig).

Voor ziekenhuizen is dit een goede ruil. Ze hebben vaak krachtige computers, maar internetverbindingen kunnen traag of duur zijn.

Samenvatting in één zin

FederatedFactory lost het probleem op waarbij ziekenhuizen niet samen kunnen werken omdat ze verschillende ziektes zien, door in plaats van de antwoorden te delen, de vermogen om de vragen (de ziektebeelden) te genereren uit te wisselen, zodat ze samen een compleet plaatje kunnen maken zonder ooit hun eigen patiënten te verraden.

Technische samenvatting

Probleemstelling: Het Falen van Federated Learning bij Extreme Heterogeniteit

Federated Learning (FL) staat bekend om het mogelijk maken van gedistribueerde optimalisatie zonder dat ruwe data de lokale server verlaat (data-soevereiniteit). Echter, traditionele FL-methoden (zoals FedAvg) zijn gebaseerd op de aanname dat data onafhankelijk en identiek verdeeld (IID) is over de clients.

In real-world scenario's, zoals multi-institutionele medische beeldvorming, treedt vaak extreme statistische heterogeniteit op. Het paper richt zich specifiek op het "Single-Class Silo" regime: een pathologische situatie waarbij elke client (bijv. een ziekenhuis) uitsluitend data van één specifieke klasse bezit, en de labelverdelingen van de clients volledig disjunct zijn ($Y_i \cap Y_j = \emptyset$).

• Het Kernprobleem: Wanneer clients geen overlappende klassen hebben, falen standaard methoden voor het aggregeren van discriminatieve parameters. Omdat elke client geen voorbeelden heeft van andere klassen, kunnen ze geen inter-class decision boundaries vormen. De lokale optimalisatietrajecten conflicteren fundamenteel, wat leidt tot een instorting van het globale model (bijv. een nauwkeurigheid van slechts 11,36% op CIFAR-10 in plaats van ~90%).
• Beperkingen van Bestaande Oplossingen: Bestaande One-Shot FL-methoden vertrouwen vaak op vooraf getrainde Foundation Models (FMs) als universele priors om synthetische data te genereren. Dit is onbetrouwbaar voor gespecialiseerde domeinen (zoals medische beeldvorming) omdat deze externe modellen zeldzame, domein-specifieke kenmerken kunnen negeren of "hallucineren", wat leidt tot projectiefouten.

Methodologie: FederatedFactory

Het paper introduceert FederatedFactory, een zero-dependency framework dat de eenheid van federatie inverteert: van discriminatieve parameters (gewichten van een classifier) naar generatieve priors.

1. Kernconcept: Generatieve Inversie
In plaats van gradienten of modelgewichten te delen, trainen clients lokaal een generatief model (een "Factory") op hun eigen data.

• Architectuur: Het framework gebruikt efficiënte diffusion-modellen (specifiek EDM2) als generatieve Factorys.
• Protocol: Er vindt slechts één communicatieronde plaats (One-Shot). Clients uploaden hun getrainde generatieve parameters ($\theta_k$) naar een server of peer-to-peer netwerk.
• Synthese: De server (of peers) gebruikt deze Factorys om een volledig synthetisch, class-balanced dataset ex nihilo (uit het niets) te genereren vanuit een standaard latent space ($Z \sim \mathcal{N}(0, I)$). Omdat de Factorys lokaal zijn getraind op de ware data-distributies, worden de zeldzame diagnostische signalen behouden zonder externe bias.

2. Twee Implementatie-Modi

• Centrale Synthese (Protocol A): Een betrouwbare aggregator verzamelt alle Factorys, genereert een globale synthetische dataset en traint daarop één globale classifier.
• Decentrale Synthese (Protocol B - P2P): Elke client ontvangt de Factorys van alle andere peers, genereert lokaal de ontbrekende klassen, en traint een lokale expert. De globale inferentie gebeurt via een Product of Experts (PoE) benadering, waarbij de beslissingen van alle lokale experts worden vermenigvuldigd (in log-space) om een strikte consensus te bereiken.

3. Theoretische Garanties
Het paper bewijst (Theorem 1) dat de globale risicofunctie strikt begrensd is door de lokale generatieve fouten ($\epsilon_k$). In tegenstelling tot FM-afhankelijke methoden, waar de fout kan divergeren door domeinverschillen, benadert de fout nul zodra de lokale generatieve modellen convergeren. Dit garandeert dat het framework de centrale upper-bound performance kan bereiken zonder externe priors.

4. Modulaire Unlearning
Een unieke eigenschap is de mogelijkheid tot exacte machine unlearning. Omdat het globale model een disjuncte unie is van generatieve modules, kan een client of een specifieke klasse eenvoudig worden verwijderd door de bijbehorende generatieve module te wissen ($\Gamma_{:,k} \leftarrow \emptyset$) en de synthetische dataset opnieuw te genereren, zonder het hele model opnieuw te hoeven trainen.

Kernresultaten

De evaluatie is uitgevoerd op diverse benchmarks, waaronder CIFAR-10, MedMNIST (Blood, Retina, Path) en ISIC2019 (huidkanker), onder zowel matige als extreme (Single-Class Silo) label-skew.

• Prestatieherstel: Waar standaard FL-methoden (FedAvg, FedDyn, etc.) instorten tot willekeurige prestaties onder extreme skew, herstelt FederatedFactory de performance tot het niveau van een centraal getraind model (Centralized Upper Bound).
  • CIFAR-10: Van 11,36% (FedAvg) naar 90,57% (FederatedFactory).
  • ISIC2019: Van 47,31% AUROC (FedProx) naar 90,57% AUROC.
• Communicatie-efficiëntie: Het framework reduceert de communicatie-overhead met 99,4% (van ~358 GB naar ~1,9 GB voor CIFAR-10) door de iteratieve communicatie te vervangen door één enkele upload van generatieve parameters.
• Kwaliteit van Synthetische Data: Visualisaties en t-SNE-projecties tonen aan dat de gegenereerde data de ware data-manifold nauwkeurig nabootst zonder memorisatie (overfitting) van de training data. De synthetische samples behouden complexe morfologische details (bijv. textuur van huidlaesies of vorm van bloedcellen).
• Trade-off: Het framework verschuift de last van communicatiebandbreedte naar lokale rekenkracht ("generative tax"). De lokale FLOPs nemen toe (van $\sim 10^{17}$ naar $\sim 10^{18}$), maar dit is acceptabel in cross-silo scenario's (zoals ziekenhuizen) waar rekenkracht vaak ruimer beschikbaar is dan bandbreedte.

Betekenis en Impact

FederatedFactory biedt een fundamentele doorbraak voor Federated Learning in kritieke domeinen zoals de gezondheidszorg:

1. Oplossing voor Data Silos: Het maakt samenwerking mogelijk tussen instanties die volledig disjuncte data bezitten (bijv. gespecialiseerde ziekenhuizen), een situatie waar traditionele FL-methoden volledig falen.
2. Zero-Dependency: Door af te zien van externe Foundation Models, elimineert het framework bias en garandeert het dat de synthetische data puur gebaseerd is op de lokale, vertrouwde data-distributies.
3. Privacy en Unlearning: De modulaire structuur biedt een robuust mechanisme voor het nakomen van "Right to be Forgotten" reguleringen, waarbij data van een specifieke client exact en wiskundig bewezen kan worden verwijderd uit het globale model.
4. Paradigmaverschuiving: Het paper stelt dat het overdragen van de onderliggende data-manifold (via generatieve modellen) robuuster is dan het aggregeren van discriminatieve grenzen in extreme heterogene omgevingen.

Samenvattend transformeert FederatedFactory het probleem van data-isolatie van een blokkade in een kans, door lokale generatieve kennis te bundelen om een universeel, class-balanced dataset te creëren dat de prestaties van een centraal model evenaart.