🤖 machine learning

FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

Das Papier schlägt FMCL vor, ein One-Shot-Framework zur klientenweisen Clustering, das eingefrorene Repräsentationen von Foundation-Modellen nutzt, um semantische Klienten-Signaturen zu erstellen, und dadurch die Leistung und Stabilität des federierten Lernens unter statistischer Heterogenität verbessert, ohne iterative Koordination oder zusätzlichen Kommunikationsaufwand zu erfordern.

Ursprüngliche Autoren: Mahad Ali, Laura J. Brattain

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mahad Ali, Laura J. Brattain

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer Gruppe von Menschen beizubringen, verschiedene Tierarten zu erkennen. In einer perfekten Welt hätte jeder ein Lehrbuch mit denselben Bildern von Löwen, Tigern und Bären. Doch in der realen Welt (so wie dieses Papier „Federated Learning" beschreibt) hat jeder sein eigenes privates Fotoalbum.

Manche Menschen haben nur Bilder von Nutztieren, andere nur von Dschungeltieren, und einige haben eine Mischung. Wenn Sie versuchen, alle gleichzeitig mit einem einzigen „globalen" Lehrer zu unterrichten, wird die Lektion verwirrt. Der Nutztier-Experte könnte einen Tiger für eine Katze halten, und der Dschungel-Experte könnte von einer Kuh verwirrt werden. Dies ist das Problem der statistischen Heterogenität: Die Daten aller sind unterschiedlich, und ein Einheitsansatz scheitert.

Der alte Weg: Raten und Prüfen

Frühere Methoden versuchten, dies zu lösen, indem sie Menschen zusammenfassten.

Die „Gradienten"-Methode: Sie warteten, bis alle mit dem Lernen begannen, und betrachteten dann ihre Hausaufgabenantworten (Gradienten), um zu sehen, wer ähnlich war. Das Problem? Frühe Hausaufgaben sind chaotisch und voller Fehler, sodass die gebildeten Gruppen instabil waren.
Die „Pixel"-Methode: Einige betrachteten die rohen Pixel der Bilder (z. B. indem sie zählten, wie viele rote Pixel in einem Foto sind). Dies ist wie der Versuch, eine Geschichte zu verstehen, indem man die Anzahl der Kommas zählt; es verpasst die eigentliche Bedeutung.
Die „Mittelwert"-Methode: Andere nahmen den Durchschnitt aller Merkmale. Dies ist wie zu sagen: „Der durchschnittliche Mensch ist 1,75 m groß und hat braune Haare", was ignoriert, dass manche Menschen 1,95 m groß sind und andere nur 1,58 m.

Die neue Lösung: FMCL (Der „intelligente Bibliothekar")

Die Autoren schlagen ein neues System namens FMCL vor. Stellen Sie es sich als einen intelligenten Bibliothekar vor, der eine riesige, vortrainierte Enzyklopädie (ein Foundation Model genannt) nutzt, um die Schüler bevor der Unterricht überhaupt beginnt, zu organisieren.

So funktioniert FMCL, Schritt für Schritt:

1. Der „One-Shot"-Fingerabdruck (Kein Warten)

Anstatt darauf zu warten, dass die Schüler lernen und Fehler machen, betrachtet der intelligente Bibliothekar sofort ihre Fotoalben.

Das Werkzeug: Der Bibliothekar verwendet ein „eingefrorenes Foundation Model". Stellen Sie sich dies als eine superintelligente KI vor, die bereits Millionen von Büchern gelesen und Millionen von Bildern gesehen hat. Sie weiß genau, wie ein „Löwe" aussieht, nicht nur nach Farbe, sondern nach Bedeutung (semantische Struktur).
Der Fingerabdruck: Für jeden Schüler erstellt der Bibliothekar einen „Klassenbewussten Fingerabdruck". Er sagt nicht nur: „Dieser Schüler hat 50 Bilder." Er sagt: „Dieser Schüler hat 10 Bilder von Löwen, 20 von Tigern und 20 von Bären, und hier ist die genaue Essenz dessen, wie sie für ihn aussehen."

2. Der „Überlappungsbewusste" Abstand (Vermeidung falscher Freunde)

Dies ist der cleverste Trick des Papiers.
Stellen Sie sich zwei Schüler vor:

Schüler A hat 1.000 Bilder von Löwen und 1 Bild von einem Tiger.
Schüler B hat 1 Bild von einem Löwen und 1.000 Bilder von Tigern.

Wenn Sie nur auf das „durchschnittliche" Bild schauen, könnten sie ähnlich aussehen, weil sie beide einen Löwen und einen Tiger haben. Aber sie sind tatsächlich sehr unterschiedlich!

Die Lösung: FMCL verwendet eine überlappungsbewusste Berechnung. Es prüft: „Wie viel teilen Sie wirklich?" Es erkennt, dass Schüler A sich kaum um Tiger kümmert und Schüler B sich kaum um Löwen kümmert. Daher hält es sie in verschiedenen Gruppen. Es verhindert, dass das System Menschen nur deshalb zusammenfasst, weil sie zufällig eine winzige, seltene Sache gemeinsam haben.

3. Der „Silhouette"-Test (Finden der richtigen Gruppengröße)

Normalerweise muss man raten: „Sollten wir 2 Gruppen haben? 3? 5?"
FMCL hat eine eingebaute Silhouette-Bewertung. Stellen Sie sich einen Tanzboden vor. Die Silhouette-Bewertung misst, wie gut die Menschen in ihren eigenen Kreisen tanzen.

Wenn die Gruppen zu klein sind, sind die Menschen überfüllt.
Wenn die Gruppen zu groß sind, sind die Menschen weit voneinander entfernt.
Das System scannt automatisch verschiedene Gruppengrößen und wählt diejenige aus, bei der die „Tänzer" am glücklichsten und deutlichsten sind. Dies geschieht einmal, bevor das Training beginnt, sodass während des eigentlichen Lernprozesses keine zusätzliche Zeit verschwendet wird.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten dies an drei verschiedenen „Fotoalben":

Brustultraschallbilder (BUSI): Medizinische Bilder von Klumpen.
Lungenhistologie (LungHist700): Mikroskopische Bilder von Lungengewebe.
Imagenette: Ein Standardset von 10 natürlichen Bildern (wie Hunde, Katzen und Lastwagen).

Das Ergebnis:
Bei jedem einzelnen Test war FMCL der klare Gewinner.

Genauigkeit: Es erzielte die höchsten Werte bei der Identifizierung der richtigen Kategorien.
Stabilität: Es schwankte nicht wild wie die älteren Methoden.
Der „Foundation"-Effekt: Als sie ältere Methoden (wie PACFL oder FECFL) nahmen und ihnen denselben „intelligenten Bibliothekar" (Foundation Model) zur Verfügung stellten, wurden diese älteren Methoden deutlich besser. Dies beweist, dass ein tiefes, semantisches Verständnis der Daten die geheime Zutat ist.

Das Fazit

FMCL ist wie eine Vorbereitungssitzung vor dem Spiel für ein Team verteilter Lerner. Anstatt sie herumtaumeln und darüber streiten zu lassen, wer zu wem gehört, nutzt es eine superintelligente, vortrainierte KI, um sofort die „Ausstrahlung" der Daten jeder Person zu verstehen. Es gruppiert sie perfekt basierend auf dem, was sie tatsächlich wissen, berücksichtigt die Tatsache, dass manche Dinge selten sind, und ermittelt automatisch die beste Anzahl an Teams.

Das Ergebnis? Ein Team, das schneller lernt, weniger Fehler macht und keine Zeit damit verschwenden muss, darüber zu streiten, wer an welchem Tisch sitzt.

1. Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Trainieren von Modellen ohne Austausch roher Daten, leidet jedoch erheblich unter statistischer Heterogenität (nicht-IID-Daten). In realen Szenarien (z. B. Gesundheitswesen, mobile Geräte) variieren die Datenverteilungen der Clients aufgrund von Demografie, Gerätetypen oder Erfassungsprotokollen.

Einschränkung globaler Modelle: Standard-Aggregationsmethoden wie FedAvg gehen von einer einzigen globalen Verteilung aus, was bei divergierenden Client-Daten zu suboptimaler Leistung führt.
Einschränkung bestehender Cluster-basierter FL (CFL):
- Gradientenbasierte Methoden (z. B. CFL, IFCA): Verlassen sich auf iteratives Training zur Berechnung von Gradienten, die zu Trainingsbeginn verrauscht und instabil sind, sowie auf Hyperparameter-Tuning (Schwellenwerte) oder Vorwissen über die Anzahl der Cluster ( $K$ ).
- One-Shot-Methoden (z. B. PACFL, FECFL): Nutzen datenabgeleitete Signaturen, verlassen sich jedoch häufig auf rohe Pixelstatistiken (fehlende semantische Bedeutung) oder einfache mittlere Feature-Embeddings (Ignorieren der innerklassigen Verteilungsstruktur). Sie hängen oft von heuristischen Distanzschwellenwerten ab und fehlen prinzipielle Mechanismen für die automatische Cluster-Auswahl.

2. Methodik: FMCL-Framework

Die Autoren schlagen FMCL (Foundation Model-based Client Clustering) vor, ein einmaliges, klassenbewusstes Framework, das das Clustering vor Beginn des federierten Trainings durchführt und während der Optimierung keinen zusätzlichen Kommunikationsaufwand erfordert.

A. Kernkomponenten

Foundation Model (FM) Repräsentationen:
- FMCL nutzt ein eingefrorenes, domänenspezifisches Foundation Model (z. B. CHIEF für Pathologie, USFM für Ultraschall, ViT-Tiny für natürliche Bilder), um hochrangige semantische Embeddings zu extrahieren.
- Im Gegensatz zu rohen Pixeln oder zufällig initialisierten Encodern bieten FMs übertragbare, semantisch reiche Merkmale.
Klassenbewusste Client-Signaturen:
- Anstatt eines einzigen globalen Embeddings pro Client konstruiert FMCL eine Signatur $\mathcal{S}_i$ für jeden Client $i$ , die die Verteilung jeder Klasse erfasst, die in dessen lokalem Datensatz vorhanden ist.
- Für jede Klasse $c$ $c$ in den Daten von Client $i$ $i$ :
  - Mittleres Embedding ( $\mu_{i,c}$ ): Der durchschnittliche Feature-Vektor der zu Klasse $c$ gehörenden Stichproben.
  - Klassengewicht ( $w_{i,c}$ ): Der Anteil der Stichproben der Klasse $c$ relativ zur Gesamtgröße des Datensatzes des Clients.
- Signatur: $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$ .
Überlappungsbewusste Kosinussdistanz:
- Um die Ähnlichkeit zwischen zwei Clients ( $i$ und $j$ ) zu messen, berechnet FMCL eine gewichtete Kosinussdistanz zwischen ihren klassenbedingten Embeddings.
- Gewichtung: Der Beitrag jeder überlappenden Klasse $c$ wird mit $\min(w_{i,c}, w_{j,c})$ gewichtet.
- Überlappungs-Skalierung: Die finale Distanz wird invers durch die gesamte Überlappung $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$ $Ω_{ij} = \sum min (w_{i, c}, w_{j, c})$ skaliert.
  - Begründung: Dies verhindert, dass Clients mit sehr wenigen gemeinsamen Klassen künstlich ähnlich erscheinen, nur weil sie bei diesen spärlichen Klassen übereinstimmen. Es bestraft Paare mit begrenzter gemeinsamer Label-Unterstützung.
- Nicht-überlappende Clients: Wenn Clients keine Klassen teilen ( $C_{ij} = \emptyset$ ), wird ihnen eine große Distanz zugewiesen, die vom 95./99. Perzentil der beobachteten Distanzen abgeleitet ist.
Automatische Cluster-Auswahl:
- FMCL employs eine datengetriebene Strategie, um die optimale Anzahl der Cluster ( $K$ ) ohne manuelles Tuning zu bestimmen.
- Prozess:
  1. Berechnung des Variationskoeffizienten (CV) der Nicht-Diagonal-Distanzen in der paarweisen Matrix zur Schätzung der Gesamtheterogenität.
  2. Definition eines adaptiven Kandidatenfensters für $K$ basierend auf dem CV.
  3. Durchführung hierarchischen Clustering für jedes $K$ im Fenster und Evaluierung mittels Silhouette-Score.
  4. Auswahl des $K$ , das dem dominanten lokalen Maximum der Silhouette-Kurve entspricht.

3. Hauptbeiträge

Semantische Client-Signaturen: Einführung einer neuartigen Signatur-Konstruktionsmethode unter Verwendung eingefrorener Foundation Models, die klassenbedingte Verteilungen explizit modelliert und die semantische Struktur besser erfasst als rohe Statistiken oder mittlere Embeddings.
Überlappungsbewusste Metrik: Vorschlag einer neuartigen Distanzmetrik, die Klassenüberlappung und Verteilungsgewicht berücksichtigt und eine robuste Ähnlichkeitsmessung sicherstellt, selbst wenn Clients spärliche oder unausgewogene Klassenverteilungen aufweisen.
One-Shot & Architekturneutral: Das Clustering wird einmal vor dem Training durchgeführt, führt während der federierten Optimierungsphase zu keinem zusätzlichen Kommunikationsaufwand und bleibt gegenüber der nachgelagerten Modellarchitektur agnostisch.
Prinzipielle Automatisierung: Bereitstellung eines deterministischen, datengetriebenen Mechanismus (CV-gesteuerte Silhouette-Analyse) zur Auswahl der Clusteranzahl, wodurch die Notwendigkeit manuellen Hyperparameter-Tunnings entfällt.

4. Experimentelle Ergebnisse

Die Autoren bewerteten FMCL auf drei Datensätzen: BUSI (Brust-Ultraschall), LungHist700 (Lungen-Histopathologie) und Imagenette (natürliche Bilder).

Leistung: FMCL übertraf konsistent globale Baselines (FedAvg, FedProx) und vorherige Clustering-Methoden (CFL, PACFL, FECFL) über alle Metriken hinweg (Genauigkeit, Macro-F1, AUC-ROC).
- Beispiel (BUSI): FMCL (Auto-K) erreichte 91,68 % Genauigkeit und 88,72 % F1, was FedAvg (56,34 % Genauigkeit) und sogar FM-gestützte Versionen anderer Clustering-Methoden (z. B. FECFL (FM) mit 73,15 % Genauigkeit) deutlich übertraf.
Auswirkung der Komponenten:
- Foundation Models: Der Ersatz roher Merkmale durch FM-Embeddings steigerte die Leistung bestehender Methoden signifikant (z. B. PACFL (FM) im Vergleich zu PACFL).
- Überlappungsbewusstsein: Das Entfernen des überlappungsbewussten Skalierungsterms („FMCL no overlap") führte zu einer konsistenten Leistungsverschlechterung und validierte die Bedeutung der vorgeschlagenen Distanzmetrik.
- Automatische Auswahl: Die Variante „Auto-K" schnitt im Allgemeinen besser ab als feste $K$ -Einstellungen und demonstrierte die Robustheit des Auswahlalgorithmus.
Stabilität: FMCL zeigte ein stabileres Clustering-Verhalten und eine schnellere Konvergenz im Vergleich zu iterativen gradientenbasierten Methoden.

5. Bedeutung

Brückenschlag zwischen FMs und FL: Diese Arbeit demonstriert den praktischen Nutzen großskaliger Foundation Models im Kontext des Federated Learning, speziell zur Charakterisierung von Client-Datenverteilungen ohne Zentralisierung der Daten.
Robustheit gegenüber Heterogenität: Durch die explizite Modellierung von Klassenverteilungen und Überlappungen adressiert FMCL die Probleme der „Long-Tail"- und „spärlichen Klassen"-Verteilungen, die in realen heterogenen FL-Einsätzen (z. B. seltene Krankheitsuntertypen) üblich sind.
Praktische Einsatzfähigkeit: Der One-Shot-Charakter des Frameworks macht es hochgradig geeignet für Einsatzszenarien, in denen die Kommunikationsbandbreite begrenzt ist oder eine iterative Koordination nicht durchführbar ist. Es bietet eine modulare, architekturneutrale Grundlage für zukünftige Forschung an der Schnittstelle von Foundation Models und Federated Learning.