🤖 machine learning

COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication

COSMOS ist ein modellagnostisches Framework für personalisiertes Federated Learning, das architektonische und statistische Heterogenität adressiert, indem es Clients auf Basis von Pseudo-Label-Vorhersagen clustert, clusterspezifische Servermodelle trainiert und diese zurück zu den Clients destilliert, wodurch eine exponentielle Kontraktion des personalisierten Risikos und eine überlegene Leistung gegenüber bestehenden Baselines erreicht werden.

Ursprüngliche Autoren: Ben Rachmut, Luise Ge, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ben Rachmut, Luise Ge, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen massiven, globalen Kochwettbewerb vor, bei dem Tausende von Köchen (die Clients) versuchen zu lernen, wie man das perfekte Gericht zubereitet. Allerdings gibt es einen Haken:

Verschiedene Küchen: Jeder Koch hat eine völlig unterschiedliche Küchenausstattung. Manche haben Hochtechnologie-Öfen, andere Holzherde, und einige verfügen nur über eine Mikrowelle. Sie können ihre tatsächlichen Rezepte oder Zutaten nicht teilen, sei es aufgrund von Datenschutzbestimmungen oder proprietären Geheimnissen.
Verschiedene Geschmäcker: Die Zutaten, die Koch A in Tokio zur Verfügung stehen, sind völlig anders als die von Koch B in New York.
Das Ziel: Alle möchten voneinander lernen, um besser zu werden, können aber ihre tatsächlichen Rezepte (Modellparameter) nicht an einen zentralen Richter senden, da ihre Küchen zu unterschiedlich sind, um sie direkt zu vergleichen.

Dies ist das Problem, das Federated Learning zu lösen versucht. Die meisten bestehenden Methoden scheitern hier, weil sie davon ausgehen, dass alle die gleiche Art von Küche haben oder ihre Rezeptschritte teilen können.

Dann kommt COSMOS ins Spiel, das in diesem Papier vorgeschlagene neue Framework. Denken Sie an COSMOS als einen brillanten, superscharfsinnigen Hauptrichter, der den Wettbewerb mit einem cleveren Trick leitet.

Wie COSMOS funktioniert: Die „Geschmacksprobe"-Strategie

Anstatt die Köche zu bitten, ihre geheimen Rezepte zu senden, nutzt der Hauptrichter ein gemeinsames, leeres Degustationsmenü (ein öffentliches, ungelabeltes Datenset). Hier ist der schrittweise Prozess:

1. Das lokale Üben (Client-Training)
Jeder Koch übt mit seinen eigenen privaten Zutaten. Sie kochen ein paar Gerichte und versuchen dann, ein Gericht vom gemeinsamen Degustationsmenü zuzubereiten. Sie senden das Essen nicht; sie schreiben lediglich auf, wie das Gericht ihrer Meinung nach schmecken sollte (ein „Pseudo-Label").

Analogie: Koch A betrachtet ein Bild eines Burgers und schreibt: „Dies sollte wie ein saftiges Rinderpatty mit Käse schmecken."

2. Die Gruppierung (Clustering)
Der Hauptrichter sammelt all diese Geschmacksbeschreibungen. Anstatt die Rezepte zu betrachten, betrachtet der Richter die Beschreibungen.

„Hey, Koch A, Koch B und Koch C haben den Burger alle als 'saftiges Rindfleisch mit Käse' beschrieben."
„Aber Koch D sagte, es sollte 'scharfes Hähnchen mit Mango' sein."
Der Richter gruppiert die Köche mit ähnlichem Geschmack in Cluster. Dies geschieht automatisch; der Richter muss nicht im Voraus wissen, wie viele Gruppen es gibt.

3. Der Küchenchef (Server-Training)
Für jede Gruppe erstellt der Hauptrichter einen Küchenchef (ein spezialisiertes Server-Modell). Dieser Küchenchef wird speziell auf den kombinierten „Geschmacksbeschreibungen" dieser Gruppe trainiert.

Analogie: Der Richter erstellt einen „Saftiges-Rindfleisch"-Küchenchef für Gruppe 1 und einen „Scharfes-Hähnchen"-Küchenchef für Gruppe 2. Diese Küchenchefs sind mächtig, weil sie Zugang zur kollektiven Weisheit der gesamten Gruppe haben, kennen aber nur den spezifischen Stil dieser Gruppe.

4. Die Feedback-Schleife (Distillation)
Der Hauptrichter sendet die verfeinerten Geschmacksbeschreibungen des „Küchenchefs" zurück an die einzelnen Köche. Die Köche nutzen diese verfeinerten Beschreibungen dann, um ihr eigenes lokales Kochen anzupassen.

Analogie: Koch A erhält eine Notiz vom „Saftiges-Rindfleisch"-Küchenchef mit der Aussage: „Fügen Sie tatsächlich eine Prise Salz hinzu." Koch A passt seinen eigenen Kochstil basierend auf diesem Rat an.

Warum ist das eine große Sache?

Das Papier behauptet drei große Durchbrüche:

Kein „Einheitsgröße": Im Gegensatz zu früheren Methoden ist COSMOS nicht daran interessiert, ob Koch A eine Mikrowelle und Koch B einen Holzofen hat. Sie können jede beliebige „Küche" (Modellarchitektur) verwenden, die sie möchten. Sie müssen lediglich in der Lage sein, den Geschmack des Essens zu beschreiben.
Massive Effizienz: Ein komplettes Rezept (Modellparameter) zu senden, ist wie das Versenden eines schweren Pakets. Eine Geschmacksbeschreibung (Pseudo-Label) zu senden, ist wie das Versenden einer Postkarte. Das Papier zeigt, dass dies die über das Netzwerk gesendeten Daten um das 10- bis 100-fache reduziert, was es viel schneller und kostengünstiger macht.
Schneller klüger werden (Der mathematische Teil): Die Autoren haben mathematisch bewiesen, dass dieser Prozess nicht nur langsam verbessert; er erzeugt einen „Schneeball-Effekt". Jedes Mal, wenn die Köche Feedback vom Küchenchef ihrer Gruppe erhalten, sinkt ihr Risiko, einen Fehler zu machen, exponentiell. Es ist wie der Übergang vom „Raten" zum „Wissen", viel schneller als zuvor.

Das Fazit

COSMOS ist eine Möglichkeit für eine diverse Gruppe von Menschen (oder Computern), gemeinsam zu lernen, ohne jemals ihre Geheimnisse preiszugeben oder dieselben Werkzeuge verwenden zu müssen. Indem es ein gemeinsames „Degustationsmenü" verwendet und Menschen nach ihren Meinungen statt nach ihren Werkzeugen gruppiert, entstehen spezialisierte Experten für jede Art von Lerner, während gleichzeitig sehr wenig Daten hin und her gesendet werden.

Das Papier testete dies an Aufgaben zur Bilderkennung (wie das Identifizieren von Katzen, Hunden und Autos) und fand heraus, dass COSMOS andere Methoden konsequent schlug, selbst wenn die Teilnehmer sehr unterschiedliche Computermodelle und Daten hatten.

Technische Zusammenfassung: COSMOS

Problemstellung

Federated Learning (FL) steht in heterogenen Umgebungen vor erheblichen Herausforderungen, in denen sich Clients nicht nur in der Datenverteilung (statistische Heterogenität), sondern auch in der Modellarchitektur (architektonische Heterogenität) unterscheiden. Zwar wurden Methoden für Personalized Federated Learning (PFL) entwickelt, um Modelle auf einzelne Clients zuzuschneiden, doch die meisten bestehenden Ansätze gehen von struktureller Kompatibilität aus oder verlangen, dass Clients proprietäre Modellarchitekturen offenlegen. Dies stellt eine praktische Hürde dar, da Clients häufig beliebige oder proprietäre Modelle nutzen möchten, ohne Parameter oder Gradienten preiszugeben.

Aktuelle FL-Ansätze, die modellagnostisch sind, wie FedMD und COMET, basieren auf der Kommunikation auf Ausgabeebene (z. B. weiche oder harte Labels) unter Verwendung eines gemeinsamen, ungelabelten Datensatzes. Diese Methoden leiden jedoch unter spezifischen Einschränkungen:

Passive Server-Koordination: Sie behandeln den Server oft als passiven Koordinator und nutzen die Rechenressourcen des Servers nicht für eine aktive Personalisierung.
Heuristisches Clustering: Methoden wie COMET verlassen sich auf K-Means-Clustering, was eine vorherige Kenntnis der Clusteranzahl ( $K$ ) erfordert und keine formalen Mechanismen für Personalisierungsgarantien bietet, wenn die Client-Vielfalt hoch ist.
Fehlende theoretische Garantien: Die bestehende Literatur zu modellagnostischem PFL bietet in der Regel keine rigorosen theoretischen Garantien hinsichtlich der Risikokontraktion und verlässt sich oft auf vereinfachte Annahmen (z. B. lineare Modelle, Gaußsche Verteilungen) oder liefert lediglich Standardergebnisse zur Konvergenz gegen Stationarität.

Methodik: COSMOS-Rahmenwerk

Die Autoren schlagen COSMOS (Clustered Output-based Server Models) vor, ein modellagnostisches PFL-Rahmenwerk, das eine serverseitige Personalisierung unter Verwendung ausschließlich von Pseudo-Label-Kommunikation ermöglicht. Das Rahmenwerk geht von der Annahme aus, dass Clients private gelabelte Daten besitzen und ein gemeinsamer, ungelabelter öffentlicher Datensatz $U$ (z. B. durch Web-Scraping oder synthetische Daten gewonnen) verfügbar ist.

COSMOS läuft in zwei distincten Phasen ab:

1. Phase: Pre-Training und Clustering (PTC)

Diese Phase etabliert die initiale Client-Server-Zuordnung und clusterspezifische Modelle:

Lokales Pre-Training: Clients trainieren ihre lokalen Modelle $f_i$ auf ihren privaten Daten $D_i$ und generieren Pseudo-Labels auf dem öffentlichen Datensatz $U$ .
Greedy-Clustering: Der Server clustert Clients basierend auf der Ähnlichkeit ihrer Pseudo-Labels auf $U$ . Im Gegensatz zu K-Means verwendet COSMOS einen greedy-Clustering-Algorithmus, der keine vorherige Spezifikation von $K$ erfordert. Er wählt iterativ einen Client mit den meisten „nahen" Nachbarn (innerhalb eines Distanzschwellenwerts $B_0$ ) aus, um einen Cluster zu bilden, bis alle Clients zugewiesen sind. Dieser Prozess ist endogen zum Trainingsverfahren.
Serverseitige Distillation: Für jeden Cluster $G_k$ aggregiert der Server die Pseudo-Labels seiner Mitglieds-Clients, um eine mittlere Pseudo-Label-Verteilung zu erstellen. Anschließend trainiert er ein dediziertes „Lehrer"-Modell $h_k$ für diesen Cluster unter Verwendung dieser aggregierten Labels und eines spezifischen Regularisierungsterms, um lokale Glattheit und Robustheit sicherzustellen.
Clientseitige Distillation: Clients erhalten die Pseudo-Labels des Lehrer-Modells ihres zugewiesenen Clusters und verfeinern ihre lokalen Modelle unter Verwendung dieser Labels.

2. Phase: Iteratives Federated Fine-Tuning (IFFT)

Nach der PTC-Phase betritt das System eine iterative Schleife:

Lokales Fine-Tuning: Clients verfeinern ihre Modelle auf ihren privaten gelabelten Daten.
Server-Distillation: Clients senden aktualisierte Pseudo-Labels an den Server. Der Server aktualisiert die clusterspezifischen Lehrer-Modelle basierend auf den neuen aggregierten Pseudo-Labels.
Client-Distillation: Clients verfeinern ihre lokalen Modelle weiter unter Verwendung der aktualisierten Lehrer-Pseudo-Labels.

Entscheidend ist, dass die Server-Modelle unter Verwendung eines Regularisierungsterms trainiert werden, der aus der Theorie des semi-überwachten Lernens (SSL) abgeleitet ist und Inkonsistenzen bei Vorhersagen unter Daten Transformationen (z. B. Rotationen, Translationen) bestraft, um Robustheit zu gewährleisten.

Theoretische Beiträge

Die Arbeit bietet die erste End-to-End-theoretische Analyse der Personalisierungs-Risikokontraktion für modellagnostisches PFL. Durch die Nutzung von Werkzeugen aus der SSL-Theorie (insbesondere expansionsbasierte Konnektivität und begrenzte Pseudo-Label-Fehler) leiten die Autoren hinreichende Bedingungen für eine exponentielle Risikokontraktion her.

Wesentliche theoretische Komponenten umfassen:

Annahmen: Die Analyse geht von beschränkten Importance-Weights zwischen den öffentlichen und privaten Verteilungen, lokal gut konditionierten Zielfunktionen und einem „Confidence-Margin" aus, bei dem Clients bei ihren Vorhersagen auf den öffentlichen Daten zuversichtlich sind. Sie stützt sich zudem auf eine Expansions-Eigenschaft der Datenverteilung, die sicherstellt, dass Pseudo-Labels nicht-triviale Informationen über die Ground Truth enthalten.
Risikokontraktion: Die Autoren beweisen, dass unter diesen Bedingungen das Personalisierungsrisiko sowohl für Server-Modelle als auch für Client-Modelle mit der Anzahl der Iterationen exponentiell kontrahiert. Spezifisch nimmt die Risikoschranke mit einer Rate ab, die durch die Clusterqualität und die Abdeckung des öffentlichen Datensatzes bestimmt wird, und fällt schließlich unter das Risiko des reinen lokalen Trainings.

Experimentelle Ergebnisse

Die Autoren evaluierten COSMOS über vier Bildklassifizierungs-Benchmarks hinweg: EMNIST-balanced, CIFAR-10, CIFAR-100 und Tiny ImageNet. Die Experimente nutzten eine Mischung aus Client-Architekturen (AlexNet, ResNet, MobileNet, SqueezeNet) und ein VGG16-Server-Modell.

Leistung: COSMOS übertraf konsistent alle modellagnostischen Baselines (FedMD, FedCT, COMET) über alle Benchmarks hinweg. Die Leistungslücke vergrößerte sich mit zunehmender Aufgabenkomplexität (z. B. von EMNIST zu Tiny ImageNet).
Heterogenität: COSMOS blieb robust gegenüber unterschiedlichen Graden der Datenheterogenität (gesteuert durch den Dirichlet-Parameter $\alpha$ ) und verschiedenen Mischungen von Client-Architekturen. Es behielt einen signifikanten Leistungsvorteil, selbst wenn Clients schwächere Modelle verwendeten.
Kommunikationseffizienz: Durch die Kommunikation nur von Pseudo-Labels (hart oder weich) anstelle von Modellparametern oder Gradienten reduzierte COSMOS die Kommunikationsbandbreite im Vergleich zu Methoden mit Parameter-Sharing um 1–2 Größenordnungen.
Homogene Settings: Selbst in homogenen Settings, in denen alle Clients dieselbe Architektur teilen, blieb COSMOS mit State-of-the-Art-PFL-Methoden konkurrenzfähig, was zeigt, dass sein modellagnostisches Design keine Leistungseinbußen verursacht, wenn Homogenität vorliegt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass COSMOS einen kritischen Engpass in FL adressiert, indem es eine hochleistungsfähige Personalisierung ermöglicht, ohne strukturelles Wissen über Client-Modelle zu erfordern. Ihre Bedeutung liegt in drei Hauptbereichen:

Praktische Bereitstellung: Es beseitigt die strukturellen Barrieren, die PFL in diversen, realen Ökosystemen einschränken, in denen Clients proprietäre oder beliebige Architekturen verwenden.
Theoretischer Fortschritt: Es liefert die ersten allgemeinen Risikokontraktionsgarantien für modellagnostisches PFL und geht über Standardkonvergenzergebnisse hinaus, um eine exponentielle Risikoreduktion unter realistischen Annahmen zu beweisen.
Skalierbarkeit: Es zeigt, dass personalisiertes serverseitiges Lernen unter Verwendung von Pseudo-Labels ein viable und skalierbares Paradigma für hochgradig heterogene Umgebungen ist und erhebliche Gewinne bei der Kommunikationseffizienz bietet.

Die Autoren schließen, dass sich die aktuelle Arbeit zwar auf eine Client-Server-Struktur konzentriert, das Rahmenwerk jedoch den Grundstein für zukünftige dezentrale Lernsysteme legt und damit die praktische Relevanz von Federated Learning weiter stärkt.