🤖 machine learning

FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

Het artikel stelt FMCL voor, een een-shot, klassenbewust client-clusteringkader dat bevroren representaties van fundamentele modellen benut om semantische client-handtekeningen te construeren, waardoor de prestaties en stabiliteit van federatief leren onder statistische heterogeniteit worden verbeterd zonder iteratieve coördinatie of extra communicatie- overhead.

Oorspronkelijke auteurs: Mahad Ali, Laura J. Brattain

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahad Ali, Laura J. Brattain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep mensen probeert te leren verschillende soorten dieren te herkennen. In een perfecte wereld zou iedereen een handboek hebben met dezelfde afbeeldingen van leeuwen, tijgers en beren. Maar in de echte wereld (zoals dit artikel "Federated Learning" beschrijft) heeft iedereen zijn eigen privé-fotoalbum.

Sommige mensen hebben alleen foto's van boerderijdieren, anderen alleen foto's van jungle-dieren, en sommigen hebben een mix. Als je probeert iedereen tegelijk te onderwijzen met één "globale" leraar, raakt de les in de war. De boerderij-expert zou een tijger voor een kat kunnen houden, en de jungle-expert zou in de war kunnen raken door een koe. Dit is het probleem van statistische heterogeniteit: ieders data is anders, en een "one-size-fits-all"-aanpak faalt.

De Oude Manier: Gissen en Controleren

Vorige methoden probeerden dit op te lossen door mensen bij elkaar te groeperen.

De "Gradient"-Methode: Ze wachtten tot iedereen begon te leren, en keken toen naar hun huiswerkantwoorden (gradients) om te zien wie op elkaar leek. Het probleem? Vroeg huiswerk is rommelig en vol fouten, dus de gevormde groepen waren instabiel.
De "Pixel"-Methode: Sommigen keken naar de ruwe pixels van de afbeeldingen (zoals het tellen van hoeveel rode pixels er in een foto zitten). Dit is als proberen een verhaal te begrijpen door het aantal komma's te tellen; het mist de daadwerkelijke betekenis.
De "Gemiddelde"-Methode: Anderen namen het gemiddelde van ieders kenmerken. Dit is als zeggen: "Het gemiddelde persoon is 1,75 m lang met bruin haar", wat negeert dat sommige mensen 1,95 m zijn en anderen 1,57 m.

De Nieuwe Oplossing: FMCL (De "Slimme Bibliothecaris")

De auteurs stellen een nieuw systeem voor genaamd FMCL. Denk hierbij aan een Slimme Bibliothecaris die een enorme, vooraf getrainde encyclopedie (een Foundation Model genoemd) gebruikt om de studenten te organiseren voordat de les zelfs begint.

Zo werkt FMCL, stap voor stap:

1. De "One-Shot" Handtekening (Geen Wachten)

In plaats van te wachten tot studenten leren en fouten maken, bekijkt de Slimme Bibliothecaris hun fotoalbums direct.

Het Gereedschap: De Bibliothecaris gebruikt een "Frozen Foundation Model". Stel je dit voor als een superintelligente AI die al miljoenen boeken heeft gelezen en miljoenen afbeeldingen heeft gezien. Het weet precies hoe een "leeuw" eruitziet, niet alleen op basis van kleur, maar op basis van betekenis (semantische structuur).
De Handtekening: Voor elke student maakt de Bibliothecaris een "Class-Aware Signature". Het zegt niet alleen: "Deze student heeft 50 foto's." Het zegt: "Deze student heeft 10 foto's van leeuwen, 20 van tijgers en 20 van beren, en hier is de exacte essentie van hoe ze er voor hen uitzien."

2. De "Overlap-Aware" Afstand (Valse Vrienden Vermijden)

Dit is de slimste truc van het artikel.
Stel je twee studenten voor:

Student A heeft 1.000 foto's van leeuwen en 1 foto van een tijger.
Student B heeft 1 foto van een leeuw en 1.000 foto's van tijgers.

Als je alleen kijkt naar het "gemiddelde" plaatje, lijken ze misschien op elkaar omdat ze allebei een leeuw en een tijger hebben. Maar ze zijn eigenlijk heel verschillend!

De Oplossing: FMCL gebruikt een Overlap-Aware berekening. Het controleert: "Hoeveel deel je echt?" Het beseft dat Student A nauwelijks om tijgers geeft, en Student B nauwelijks om leeuwen. Dus houdt het ze in verschillende groepen. Het voorkomt dat het systeem mensen bij elkaar groepeert alleen omdat ze toevallig één klein, zeldzaam ding delen.

3. De "Silhouette"-Test (De Juiste Groepsgrootte Vinden)

Normaal gesproken moet je gokken: "Zouden we 2 groepen moeten hebben? 3? 5?"
FMCL heeft een ingebouwde Silhouette Score. Stel je een dansvloer voor. De Silhouette Score meet hoe goed mensen dansen in hun eigen kringen.

Als de groepen te klein zijn, zijn mensen op elkaar gepakt.
Als de groepen te groot zijn, zitten mensen ver uit elkaar.
Het systeem scant automatisch verschillende groepsgroottes en kiest degene waarbij de "dansers" het gelukkigst en meest onderscheiden zijn. Dit doet het eenmaal, voordat het trainen begint, zodat er geen extra tijd wordt verspild tijdens het daadwerkelijke leerproces.

De Resultaten: Waarom Het Belangrijke Is

De auteurs hebben dit getest op drie verschillende "fotoalbums":

Breast Ultrasound Images (BUSI): Medische beelden van bulten.
Lung Histology (LungHist700): Microscopische beelden van longweefsel.
Imagenette: Een standaardset van 10 natuurlijke afbeeldingen (zoals honden, katten en vrachtwagens).

Het Resultaat:
In elke enkele test was FMCL de duidelijke winnaar.

Nauwkeurigheid: Het behaalde de hoogste scores bij het identificeren van de juiste categorieën.
Stabiliteit: Het fluctueerde niet wild zoals de oudere methoden.
Het "Foundation"-Effect: Toen ze oudere methoden (zoals PACFL of FECFL) namen en hen dezelfde "Slimme Bibliothecaris" (Foundation Model) gaven om te gebruiken, werden die oudere methoden veel beter. Dit bewijst dat een diep, semantisch begrip van de data de geheime saus is.

De Conclusie

FMCL is als een voorspel-strategievergadering voor een team van verspreide leerlingen. In plaats van hen te laten struikelen en ruzie te maken over wie bij wie hoort, gebruikt het een superintelligente, vooraf getrainde AI om direct de "sfeer" van ieders data te begrijpen. Het groepeert ze perfect op basis van wat ze eigenlijk weten, houdt rekening met het feit dat sommige dingen zeldzaam zijn, en berekent automatisch het beste aantal teams.

Het resultaat? Een team dat sneller leert, minder fouten maakt en geen tijd hoeft te verspillen aan ruziën over wie aan welke tafel zit.

1. Probleemstelling

Federated Learning (FL) maakt collaboratieve modeltraining mogelijk zonder ruwe data te delen, maar lijdt aanzienlijk onder statistische heterogeniteit (non-IID-data). In real-world scenario's (bijvoorbeeld gezondheidszorg, mobiele apparaten) variëren de data-distributies van clients door demografie, apparaattypen of acquisitieprotocollen.

Beperking van globale modellen: Standaard aggregatiemethoden zoals FedAvg gaan uit van één enkele globale distributie, wat leidt tot suboptimale prestaties wanneer de data van clients afwijkt.
Beperking van bestaande Clustered FL (CFL):
- Op gradiënten gebaseerde methoden (bijv. CFL, IFCA): Vertrouwen op iteratieve training om gradiënten te berekenen, die vroeg in de training luidruchtig zijn, instabiel, en hyperparameter-tuning (drempelwaarden) of voorkennis van het aantal clusters ( $K$ ) vereisen.
- One-shot methoden (bijv. PACFL, FECFL): Gebruiken data-afgeleide handtekeningen, maar vertrouwen vaak op ruwe pixelstatistieken (ontbreekt semantische betekenis) of eenvoudige gemiddelde feature-embeddings (negeert de intra-klassale distributie-structuur). Ze zijn vaak afhankelijk van heuristische afstandsdrempels en missen principiële mechanismen voor automatische clusterselectie.

2. Methodologie: FMCL Framework

De auteurs stellen FMCL (Foundation Model-based Client Clustering) voor, een one-shot, class-aware framework dat clustering uitvoert voordat de federale training begint, zonder extra communicatie tijdens optimalisatie.

A. Kerncomponenten

Foundation Model (FM) Representaties:
- FMCL maakt gebruik van een bevroren, domeinspecifiek foundation model (bijv. CHIEF voor pathologie, USFM voor echografie, ViT-Tiny voor natuurlijke afbeeldingen) om hoog-niveau semantische embeddings te extraheren.
- In tegenstelling tot ruwe pixels of willekeurig geïnitialiseerde encoders, bieden FMs overdraagbare, semantisch rijke features.
Class-Aware Client Handtekeningen:
- In plaats van één enkele globale embedding per client, construeert FMCL een handtekening $\mathcal{S}_i$ voor elke client $i$ die de distributie van elke klasse vastlegt die aanwezig is in hun lokale dataset.
- Voor elke klasse $c$ $c$ in de data van client $i$ $i$ :
  - Gemiddelde Embedding ( $\mu_{i,c}$ ): Het gemiddelde feature-vector van samples die tot klasse $c$ behoren.
  - Klasse Gewicht ( $w_{i,c}$ ): Het aandeel van samples van klasse $c$ ten opzichte van de totale datasetgrootte van de client.
- Handtekening: $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$ .
Overlap-Aware Cosine Afstand:
- Om de gelijkenis tussen twee clients ( $i$ en $j$ ) te meten, berekent FMCL een gewogen cosine-afstand tussen hun klasse-voorwaardelijke embeddings.
- Gewicht: De bijdrage van elke overlappende klasse $c$ wordt gewogen met $\min(w_{i,c}, w_{j,c})$ .
- Overlap Schaling: De uiteindelijke afstand wordt omgekeerd geschaald met de totale overlap $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$ $Ω_{ij} = \sum min (w_{i, c}, w_{j, c})$ .
  - Redenering: Dit voorkomt dat clients met zeer weinig gedeelde klassen kunstmatig vergelijkbaar lijken alleen omdat ze het eens zijn over die schaarse klassen. Het straalt paren met beperkte gedeelde labelondersteuning af.
- Niet-overlappende Clients: Als clients geen klassen delen ( $C_{ij} = \emptyset$ ), krijgen ze een grote afstand toegewezen, afgeleid van het 95e/99e percentiel van waargenomen afstanden.
Automatische Clusterselectie:
- FMCL hanteert een data-gedreven strategie om het optimale aantal clusters ( $K$ ) te bepalen zonder handmatige tuning.
- Proces:
  1. Bereken de Variatiecoëfficiënt (CV) van de niet-diagonale afstanden in de paarwijze matrix om de algehele heterogeniteit te schatten.
  2. Definieer een adaptief kandidaatvenster voor $K$ op basis van de CV.
  3. Voer hiërarchische clustering uit voor elke $K$ in het venster en evalueer met de Silhouette Score.
  4. Selecteer de $K$ die overeenkomt met het dominante lokale maximum van de silhouette-curve.

3. Belangrijkste Bijdragen

Semantische Client Handtekeningen: Introduceert een nieuwe methode voor het construeren van handtekeningen met bevroren foundation modellen die expliciet klasse-voorwaardelijke distributies modelleren, waardoor ze de semantische structuur beter vastleggen dan ruwe statistieken of gemiddelde embeddings.
Overlap-Aware Maatstaf: Stelt een nieuwe afstandsmaatstaf voor die rekening houdt met klassenoverlap en distributiegewicht, waardoor robuuste gelijkenismeting wordt gegarandeerd, zelfs wanneer clients schaarse of onbalanserde klassedistributies hebben.
One-Shot & Architectuur-onafhankelijk: De clustering wordt één keer uitgevoerd voordat de training begint, wat nul communicatie-overhead introduceert tijdens de federale optimalisatiefase en onafhankelijk blijft van de downstream modelarchitectuur.
Principiële Automatisering: Biedt een deterministisch, data-gedreven mechanisme (CV-gestuurde Silhouette-analyse) voor het selecteren van het aantal clusters, waardoor de noodzaak voor handmatige hyperparameter-tuning wordt verwijderd.

4. Experimentele Resultaten

De auteurs evalueerden FMCL op drie datasets: BUSI (Borst Echografie), LungHist700 (Long Pathologie) en Imagenette (Natuurlijke Afbeeldingen).

Prestaties: FMCL presteerde consistent beter dan globale baselines (FedAvg, FedProx) en eerdere clusteringmethoden (CFL, PACFL, FECFL) over alle metrieken (Accuracy, Macro-F1, AUC-ROC).
- Voorbeeld (BUSI): FMCL (Auto-K) behaalde 91,68% Accuracy en 88,72% F1, wat aanzienlijk beter is dan FedAvg (56,34% Acc) en zelfs FM-verbeterde versies van andere clusteringmethoden (bijv. FECFL (FM) met 73,15% Acc).
Impact van Componenten:
- Foundation Models: Het vervangen van ruwe features door FM-embeddings verbeterde de prestaties van bestaande methoden aanzienlijk (bijv. PACFL (FM) versus PACFL).
- Overlap Awareness: Het verwijderen van de overlap-aware schalingsterm ("FMCL no overlap") resulteerde in consistente prestatiedaling, wat de belangrijkheid van de voorgestelde afstandsmaatstaf bevestigt.
- Automatische Selectie: De "Auto-K" variant presteerde over het algemeen beter dan vaste- $K$ instellingen, wat de robuustheid van het selectie-algoritme aantoont.
Stabiliteit: FMCL vertoonde een stabieler clustergedrag en snellere convergentie dan iteratieve op gradiënten gebaseerde methoden.

5. Betekenis

Brug tussen FMs en FL: Dit werk demonstreert de praktische bruikbaarheid van grootschalige foundation modellen in de context van federated learning, specifiek voor het karakteriseren van client-data-distributies zonder dat data-centralisatie vereist is.
Robuustheid tegen Heterogeniteit: Door expliciet klasse-niveau distributies en overlap te modelleren, adresseert FMCL de "long-tail" en "schaarse klasse" problemen die veel voorkomen in real-world heterogene FL-implementaties (bijv. zeldzame ziektesubtypen).
Praktische Implementatie: De one-shot aard van het framework maakt het zeer geschikt voor implementatiescenario's waar communicatiebandbreedte beperkt is of waar iteratieve coördinatie onuitvoerbaar is. Het biedt een modulaire, architectuur-onafhankelijke basis voor toekomstig onderzoek op het snijvlak van foundation modellen en federated learning.