FedDAG: Clustered Federated Learning via Global Data and Gradient Integration for Heterogeneous Environments

FedDAG ist ein Framework für das Clustered Federated Learning, das durch die Integration von Daten- und Gradientenähnlichkeit sowie einen Dual-Encoder-Ansatz zur überkreuz-Cluster-Wissenstransfer die Leistung in heterogenen Umgebungen verbessert.

Das Wesentliche

Stellen Sie sich vor, eine große Gruppe von Menschen möchte gemeinsam ein sehr kluges Gehirn (eine künstliche Intelligenz) trainieren, um Dinge zu erkennen – zum Beispiel, ob ein Foto einen Hund oder eine Katze zeigt. Das Problem ist: Niemand möchte seine eigenen privaten Fotos auf einen zentralen Server hochladen. Das ist das Prinzip von Federated Learning (Verzweigtes Lernen). Jeder trainiert das Gehirn mit seinen eigenen Fotos direkt auf seinem Gerät und sendet nur die "Erkenntnisse" (nicht die Fotos selbst) zurück.

Aber hier kommt das große Problem: Jeder hat andere Fotos.

• Ein Kind hat nur Fotos von Spielzeughunden.
• Ein Tierarzt hat Fotos von vielen verschiedenen Hunderassen.
• Ein Fotograf hat nur Schwarz-Weiß-Bilder.

Wenn man alle diese unterschiedlichen Meinungen einfach mischt, wird das Gehirn verwirrt und macht viele Fehler. Das nennt man Heterogenität (Verschiedenartigkeit).

Die bisherigen Lösungen versuchten, die Leute in Gruppen zu stecken, die sich ähnlich sind (z. B. alle mit Hund-Fotos in Gruppe A, alle mit Katzen-Fotos in Gruppe B). Aber diese alten Methoden hatten zwei große Schwächen:

1. Sie schauten sich nur an, was die Leute haben (die Daten), oder nur, wie sie denken (die Gradienten), aber nicht beides zusammen. Das ist wie wenn man jemanden nur nach seiner Kleidung beurteilt, aber nicht danach, wie er spricht.
2. Die Gruppen durften sich nicht untereinander austauschen. Die "Hund-Gruppe" lernte nichts von der "Katzen-Gruppe", obwohl beide Tiere verstehen, was ein "Tier" ist.

Die Lösung: FEDDAG – Der clevere Gruppenmanager

Die Forscher haben eine neue Methode namens FEDDAG entwickelt. Hier ist eine einfache Erklärung, wie sie funktioniert, mit ein paar lustigen Vergleichen:

1. Der perfekte Gruppenzettel (Daten + Gradienten)

Stellen Sie sich vor, Sie wollen eine Party planen und Gäste in Tische einteilen.

• Die alten Methoden schauten nur auf den Namen des Gastes (Daten) ODER nur auf die Art, wie er lacht (Gradienten).
• FEDDAG macht beides: Es schaut sich an, was die Gäste mitbringen (ihre Daten), und wie sie auf bestimmte Dinge reagieren (ihre Lern-Updates).
• Der Clou: FEDDAG berechnet für jeden Gast eine Art "Gewichtung". Manchmal ist die Kleidung (Daten) wichtiger, manchmal das Lachen (Gradienten). So entsteht eine viel genauere Liste, wer wirklich zu wem passt. Das verhindert, dass jemand falsch zugeordnet wird, nur weil er zufällig ein ähnliches Hemd trägt, aber ganz anders denkt.

2. Der "Zwei-Köpfe"-Ansatz (Dual-Encoder)

Das ist der coolste Teil. In den alten Gruppen hatte jeder Tisch nur einen Kopf, der nur für seine eigene Gruppe dachte.
FEDDAG gibt jedem Tisch zwei Köpfe:

• Kopf A (Der Spezialist): Dieser Kopf lernt nur von den Leuten am eigenen Tisch. Er wird zum Experten für genau diese spezifischen Fotos (z. B. nur für Spielzeughunde).
• Kopf B (Der Weltenbummler): Dieser Kopf ist offen für die Welt! Er lernt von den anderen Tischen, aber nur von denen, die ihm wirklich helfen können.
  • Beispiel: Der Tisch mit den Spielzeughunden schaut sich an, wie der Tisch mit den echten Hunden "Hund" erkennt. Er übernimmt diese allgemeinen Fähigkeiten, behält aber seinen Spezial-Wissen für Spielzeug.

Das ist wie ein Student, der sein Hauptfach (z. B. Biologie) an seiner Uni lernt, aber gleichzeitig einen Austauschkurs in einem anderen Land macht, um sein Verständnis zu erweitern, ohne sein Hauptfach zu vergessen.

3. Der selbstständige Moderator (Adaptive Clusterung)

Früher musste man dem System sagen: "Teile die Leute in genau 5 Gruppen auf!" Das war oft falsch.
FEDDAG hat einen intelligenten Moderator, der selbst entscheidet: "Wie viele Gruppen brauchen wir eigentlich?"

• Er probiert verschiedene Einteilungen aus.
• Er bestraft Gruppen, die zu klein sind (wie eine Gruppe mit nur einer Person, die niemanden kennt).
• Er belohnt Gruppen, die gut zusammenpassen.
  So findet das System automatisch die perfekte Anzahl an Gruppen, ohne dass jemand eingreifen muss.

4. Der Tauschhandel (Global Representation Sharing)

Wenn eine Gruppe etwas fehlt (z. B. keine Fotos von "Katzen"), schaut sie sich im "Tauschbörse"-Netzwerk (dem CC-Graph) um: "Wer hat viele Katzen?"
Dann schickt sie ihren "Lern-Kopf" (Kopf B) zu dieser anderen Gruppe. Dort wird er auf den Katzen-Fotos trainiert und kommt mit neuen Erkenntnissen zurück. So lernt jede Gruppe von den Stärken der anderen, ohne ihre eigene Identität zu verlieren.

Warum ist das wichtig?

FEDDAG ist wie ein super-organisierter Lehrer, der:

1. Die Schüler nicht nach dem Zufallsprinzip, sondern nach ihrer wahren Persönlichkeit und ihrem Wissen gruppiert.
2. Den Schülern erlaubt, von den besten Talenten anderer Klassen zu lernen, ohne ihre eigenen Stärken zu verwässern.
3. Selbstständig entscheidet, wie viele Lerngruppen es geben soll.

Das Ergebnis: Das KI-Modell wird viel schlauer, macht weniger Fehler und funktioniert auch dann super, wenn die Daten aller Teilnehmer völlig unterschiedlich sind – genau wie im echten Leben.

Technische Zusammenfassung

1. Problemstellung

Federated Learning (FL) ermöglicht es Clients, gemeinsam ein Modell zu trainieren, ohne ihre lokalen Daten zu teilen. Ein Hauptproblem in realen Szenarien ist jedoch die Heterogenität der Daten (Non-IID), die zu einer schlechten Konvergenz und suboptimaler Genauigkeit globaler Modelle führt. Diese Heterogenität manifestiert sich in vier Hauptformen:

• Label-/Klassen-Verzerrung (Label Skew): Unterschiedliche Verteilung von Klassenlabels über die Clients.
• Feature-Verzerrung (Feature Skew): Unterschiedliche Darstellungen derselben Klasse (z. B. verschiedene Handschriften).
• Konzept-Shift (Concept Shift): Dieselbe Klasse wird für grundlegend unterschiedliche Daten verwendet.
• Mengen-Shift (Quantity Shift): Unterschiedliche Datenmengen pro Client.

Bestehende Clustered FL-Ansätze versuchen, ähnliche Clients zu gruppieren, leiden jedoch unter folgenden Einschränkungen:

1. Unzureichende Ähnlichkeitsmetriken: Sie nutzen entweder nur Daten- oder nur Gradienten-Ähnlichkeit. Dies führt zu unvollständigen Bewertungen, insbesondere bei Konzept-Shift oder hoher Dimensionalität.
2. Isolierte Wissensweitergabe: Modelle teilen Wissen nur innerhalb desselben Clusters, was verhindert, dass Clients von komplementären Repräsentationen anderer Cluster profitieren.
3. Starre Clusteranzahl: Viele Methoden erfordern eine vordefinierte Anzahl von Clustern oder können Cluster nicht dynamisch anpassen (z. B. bei neuen Clients).
4. Hoher Overhead: Iterative Ansätze erfordern oft die Evaluation mehrerer globaler Modelle pro Runde, was rechenintensiv ist.

2. Methodik: FEDDAG

FEDDAG (Federated Learning via global Data and Gradient integration) ist ein neuer Algorithmus, der diese Limitierungen adressiert. Der Ansatz gliedert sich in drei Hauptkomponenten:

A. Gewichtete, klassenweise Ähnlichkeitsberechnung (Data & Gradient Integration)

Anstatt nur eine Metrik zu verwenden, kombiniert FEDDAG Daten- und Gradienteninformationen:

• Gradient-basierte Ähnlichkeit: Clients führen lokale Trainingsrunden durch und senden eine k-sparsifizierte Version der Gradienten (nur 1–2% der Einträge) an den Server. Die Ähnlichkeit wird über den Kosinus-Abstand dieser sparsifizierten Gradienten berechnet. Dies reduziert die Kommunikation erheblich.
• Daten-basierte Ähnlichkeit (Verbessert): Im Gegensatz zu PACFL (das ganze Daten-Unterräume vergleicht), führt FEDDAG einen klassenweisen Vergleich durch. Für jede Klasse werden die Hauptvektoren (via SVD) der Client-Daten extrahiert. Der Winkel zwischen den Unterräumen derselben Klasse wird gemessen.
  • Gewichtung: Um Mengen-Shift zu berücksichtigen, werden Ähnlichkeitswerte basierend auf der Häufigkeit der Klassen gewichtet.
• Fusion: Ein adaptiver Mechanismus lernt Gewichte für jeden Client, um zu bestimmen, wie stark Daten- vs. Gradienteninformation gewichtet werden sollen. Dies wird durch Minimierung eines Entropie-Verlusts optimiert, der die Adjazenzmatrix schärft und starke Nachbarn hervorhebt.

B. Adaptive Clusterbildung

FEDDAG verwendet eine agglomerative hierarchische Clusterung (HC).

• Statt eine feste Clusteranzahl vorzugeben, durchläuft der Server verschiedene Schwellenwerte ($\alpha$).
• Ein neuartiger federated-aware Metrik-Verlust ($L = L_1 + \lambda L_2$) bewertet die Clusterqualität:
  • $L_1$ fördert kompakte Cluster.
  • $L_2$ bestraft eine Über-Segmentierung (Degenerierung in sehr kleine Cluster).
• Der Algorithmus wählt automatisch die Clusterkonfiguration mit dem niedrigsten Verlust und einer angemessenen Clusteranzahl.

C. Globale Repräsentationsfreigabe (Global Representation Sharing - GRS) & Dual-Encoder

Um Wissen über Clustergrenzen hinweg zu teilen, ohne die Spezialisierung zu verlieren, nutzt FEDDAG eine Dual-Encoder-Architektur:

• Primärer Encoder: Lernt spezifische Merkmale des eigenen Clusters (lokal optimiert).
• Sekundärer Encoder: Lernt komplementäre Merkmale von anderen Clustern.
• Cluster-Komplementaritäts-Graph (CC-Graph): Ein gerichteter Graph identifiziert, welche Cluster welche Klassen-Informationen „anbieten" (Supply) und welche „benötigen" (Demand). Dies basiert auf der Seltenheit von Klassen und der Ausrichtung der Feature-Unterräume.
• Trainingsprozess: Der sekundäre Encoder eines anfragenden Clusters wird auf den Daten des Quell-Clusters trainiert (über Gradienten-Updates), während der primäre Encoder lokal bleibt. Die Ausgaben beider Encoder werden verkettet und einem Klassifikator zugeführt.

3. Wichtige Beiträge

1. Hybride Ähnlichkeitsmetrik: FEDDAG ist der erste Ansatz, der Daten- und Gradienteninformationen gewichtet kombiniert, um eine robustere Ähnlichkeitsmatrix zu erstellen, die Label-, Feature-, Konzept- und Mengen-Shift gleichzeitig adressiert.
2. Dual-Encoder mit GRS: Eine innovative Architektur, die cross-cluster Feature-Transfer ermöglicht, ohne die lokale Spezialisierung zu verwässern (im Gegensatz zu „Soft-Clustering"-Ansätzen, die Modelle zu verrauschten Mischungen machen).
3. Adaptive Clusteranzahl: Ein neuer, federated-aware Metrik-Verlust ermöglicht die automatische Bestimmung der optimalen Clusteranzahl ohne manuelle Vorgabe.
4. Effizienz: Durch sparsifizierte Gradienten und die Wiederverwendung von Warm-up-Phasen wird der Kommunikations- und Rechenaufwand im Vergleich zu iterativen Clustering-Methoden drastisch reduziert.

4. Ergebnisse

Die Evaluierung erfolgte auf mehreren Datensätzen (CIFAR-10, FMNIST, SVHN, CIFAR-100, Google Landmarks) unter verschiedenen Nicht-IID-Szenarien:

• Genauigkeit: FEDDAG übertrifft konsistent State-of-the-Art-Methoden (wie IFCA, PACFL, FedSoft, FedRC) in allen getesteten Szenarien.
  • Unter Label- und Mengen-Shift (Dirichlet $\alpha'=0.25$) erreichte FEDDAG auf CIFAR-10 ca. 90,76% Genauigkeit (vs. 86,93% bei PACFL).
  • Unter Konzept-Shift zeigte FEDDAG die größte Verbesserung, da die klassenweise Ähnlichkeitsberechnung hier besonders effektiv ist.
• Ablationsstudien:
  • Die Kombination aus Daten- und Gradienteninformation war entscheidend für die Clusterqualität.
  • Der Dual-Encoder mit GRS brachte signifikante Genauigkeitsgewinne gegenüber einem Single-Encoder-Modell, was beweist, dass der Gewinn aus echtem Feature-Transfer und nicht nur aus mehr Parametern stammt.
• Skalierbarkeit: Tests auf dem großen Google Landmarks-Datensatz (1.000 Clients) bestätigten die Robustheit und Skalierbarkeit des Ansatzes.
• Neue Clients: Der Algorithmus kann neue Clients effizient integrieren, ohne das gesamte System neu zu clustern oder neu zu trainieren.

5. Bedeutung und Fazit

FEDDAG stellt einen bedeutenden Fortschritt im Bereich des Clustered Federated Learning dar. Es löst das fundamentale Problem der unzureichenden Ähnlichkeitsmessung in heterogenen Umgebungen durch die intelligente Fusion von Daten- und Gradienteninformationen.

Die Einführung des Dual-Encoder-Mechanismus mit Global Representation Sharing überwindet die traditionelle Isolation von Clustern und ermöglicht es, dass Clients von komplementären Daten anderer Gruppen profitieren, ohne ihre eigene Spezialisierung zu verlieren. Zudem adressiert FEDDAG erstmals systematisch alle vier Hauptarten von Daten-Heterogenität (Label, Feature, Konzept, Menge) innerhalb eines einzigen Frameworks.

Die Fähigkeit, die Clusteranzahl automatisch und adaptiv zu bestimmen, macht den Ansatz besonders geeignet für dynamische, reale FL-Umgebungen, in denen sich Datenverteilungen und die Anzahl der Teilnehmer ständig ändern. FEDDAG demonstriert somit, dass durch eine sorgfältige Integration von Daten- und Gradienteninformationen sowie durch architektonische Innovationen (Dual-Encoder) die Grenzen aktueller FL-Methoden in Bezug auf Genauigkeit und Robustheit erheblich erweitert werden können.