🤖 machine learning

Fed-BAC: Federated Bandit-Guided Additive Clustering in Hierarchical Federated Learning

Dieser Artikel stellt Fed-BAC vor, ein hierarchisches Framework für federiertes Lernen, das additive Cluster-Personalisierung mit einem zweistufigen Bandit-Mechanismus integriert, um Server-zu-Cluster-Zuordnungen und Client-Auswahl gemeinsam zu optimieren und damit unter starker Datenheterogenität signifikante Genauigkeitsgewinne, schnellere Konvergenz sowie verbesserte Fairness zu erzielen.

Ursprüngliche Autoren: Satwat Bashir, Tasos Dagiuklas, Muddesar Iqbal

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Satwat Bashir, Tasos Dagiuklas, Muddesar Iqbal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges globales Klassenzimmer vor, in dem Tausende von Schülern (Clients) gemeinsam ein Fach lernen möchten, die jedoch über verschiedene Städte verstreut sind. In einem traditionellen Setup müsste jeder Schüler seine Hausaufgaben direkt an den Hauptlehrer in der zentralen Schule (die Cloud) senden. Dies erzeugt einen Stau, und der Lehrer wird überfordert.

Hierarchisches Federated Learning (HFL) ist wie die Einstellung lokaler Tutoren (Edge-Server) in jeder Stadt. Die lokalen Tutoren sammeln die Hausaufgaben ihrer Schüler ein, korrigieren sie und senden eine Zusammenfassung an den Hauptlehrer. Dies reduziert den Verkehr.

Es gibt jedoch ein Problem: Die „Ein-Größe-Passt-Alle"-Falle.
In der realen Welt lernen Schüler in verschiedenen Städten unterschiedlich. Manche sind großartig in Mathematik, aber schlecht in Kunst; andere sind genau das Gegenteil. Wenn der lokale Tutor alle Schüler zwingt, aus exakt demselben „durchschnittlichen" Lehrbuch zu lernen, werden die Mathematikgenies gelangweilt und die Kunstliebhaber verwirrt. Dies wird als Datenheterogenität bezeichnet.

Bestehende Methoden versuchen, dies zu beheben, indem sie Schüler in separate Klassen (Cluster) einteilen, tun dies jedoch oft in zwei Punkten schlecht:

Sie schaffen isolierte Klassenzimmer, in denen kein Wissen zwischen den Gruppen ausgetauscht wird.
Sie wählen zufällig aus, welche Schüler aufgerufen werden, und verschwenden Zeit mit Schülern, die nicht gut lernen.

Enter Fed-BAC: Das intelligente, adaptive Klassenzimmer

Die Arbeit schlägt ein neues System namens Fed-BAC vor. Stellen Sie es sich als ein superschlaueres Bildungssystem vor, das zwei Arten von „Glücksspielstrategien" (sogenannte Bandits) zur Entscheidungsfindung nutzt, kombiniert mit einer einzigartigen Lehrmethode.

1. Das zweistufige „Glücksspieler"-System

Fed-BAC verwendet zwei verschiedene Entscheidungsträger, um das Klassenzimmer-Chaos zu lösen:

Der Cloud-Lehrer (Der „Kontextuelle Bandit"):
Stellen Sie sich vor, der Hauptlehrer hat eine magische Kristallkugel. Alle paar Wochen betrachtet der Lehrer die lokalen Tutoren und fragt: „Welche Gruppe von Tutoren sollte zusammenarbeiten?"
Anstatt zu raten, verwendet der Lehrer eine Strategie namens LinUCB. Sie betrachtet vier Hinweise (wie die Leistung der aktuellen Gruppe, die Ausgewogenheit der Gruppen usw.), um zu entscheiden, welche Tutoren in derselben „Lerngruppe" sein sollten. Wenn eine Gruppe nicht funktioniert, mischt der Lehrer sie in eine neue Gruppe. Dies stellt sicher, dass die richtigen Tutoren zusammenarbeiten.
Der lokale Tutor (Der „Thompson-Sampling"-Auswähler):
Innerhalb jeder Stadt muss der lokale Tutor entscheiden, welche 8 von 10 Schülern für die nächste Lektion aufgerufen werden.
Anstatt zufällig auszuwählen, verwendet der Tutor eine Strategie namens Thompson Sampling. Stellen Sie es sich wie einen Spielautomaten vor. Der Tutor führt für jeden Schüler eine mentale Punktzahl. Wenn die Hausaufgaben eines Schülers den Klassendurchschnitt verbessern, gibt der Tutor ihm einen „Sieg" und wird ihn beim nächsten Mal eher auswählen. Wenn sie Schwierigkeiten haben, gibt der Tutor ihm eine „Niederlage" und wählt jemand anderen aus. Mit der Zeit lernt der Tutor genau, welche Schüler den meisten Beitrag leisten, und konzentriert sich auf sie.

2. Das „Geteilt + Speziell"-Lehrbuch (Additives Clustering)

Dies ist der kreativste Teil. Die meisten Systeme verwenden entweder ein großes Lehrbuch für alle oder ein völlig anderes Lehrbuch für jede einzelne Gruppe. Fed-BAC macht beides gleichzeitig.

Stellen Sie sich vor, jeder Schüler erhält ein Basis-Lehrbuch (Das globale Netzwerk), das die gemeinsamen Fakten abdeckt, die jeder kennen muss. Darüber hinaus erhält jeder Schüler ein benutzerdefiniertes Notizbuch (Das clusterspezifische Netzwerk), in dem sie die spezifischen Tricks und Abkürzungen notieren, die für ihren lokalen Stil funktionieren.

Warum dies großartig ist: Das „Basis-Lehrbuch" ermöglicht es verschiedenen Gruppen, gemeinsames Wissen zu teilen (damit sie das Rad nicht neu erfinden). Das „benutzerdefinierte Notizbuch" ermöglicht es ihnen, ihre einzigartigen lokalen Unterschiede zu bewältigen. Es ist wie eine Universalsprache plus ein lokaler Dialekt.

Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher testeten dieses System an drei verschiedenen „Fächern" (Datensätze: CIFAR-10, SVHN, Fashion-MNIST) mit zwei Schwierigkeitsgraden:

Mittlere Schwierigkeit: Die Schüler sind etwas unterschiedlich.
Hohe Schwierigkeit: Die Schüler sind sehr unterschiedlich (einige sind totale Gegensätze).

Hier ist, was passiert ist:

Es wird besser, wenn es chaotisch wird: Je unterschiedlicher die Schüler waren (Hohe Schwierigkeit), desto mehr überrundete Fed-BAC die Konkurrenz. Während andere Systeme kämpften und ihre Scores sanken, stiegen die Scores von Fed-BAC tatsächlich an. Es bewies, dass sein „Geteilt + Speziell"-Ansatz perfekt für chaotische, reale Daten ist.
Es ist ein Geschwindigkeitsdämon: Fed-BAC erreichte eine hohe Genauigkeit 1,5- bis 4,8-mal schneller als die anderen Methoden. Es musste nicht warten, bis alle fertig waren; indem es die besten Schüler auswählte (über den lokalen Tutor) und die Gruppen effizient mischte (über den Cloud-Lehrer), lernte es schnell.
Es spart Energie (sozusagen): Obwohl Fed-BAC nur 80 % der Schüler bat, an jeder Runde teilzunehmen (was Energie und Bandbreite spart), schlug es dennoch Systeme, die eine 100%ige Teilnahme erzwangen.
Fairness: In den alten Systemen wurden einige Schüler (Server) mit schrecklichen Noten zurückgelassen. Fed-BAC stellte sicher, dass sogar der „schlechteste" Schüler der Klasse besser abschnitt als der „durchschnittliche" Schüler in den anderen Systemen.

Das Fazit

Fed-BAC ist wie ein Klassenzimmer, das sich niemals aufhört, sich selbst zu optimieren. Es organisiert Lerngruppen ständig neu, um die besten Matches zu finden, und wählt die hilfreichsten Schüler aus, um die Diskussion zu leiten. Durch die Kombination einer gemeinsamen Grundlage mit personalisierten Notizen lernt es schneller, bewältigt Chaos besser und stellt sicher, dass niemand zurückgelassen wird, und das alles unter Verwendung weniger Ressourcen als die alten Methoden.

Technische Zusammenfassung: Fed-BAC

Problemstellung

Hierarchisches Federated Learning (HFL) nutzt Edge-Server, um eine partielle Aggregation durchzuführen und Kommunikationsengpässe in Multi-Access Edge Computing (MEC)-Umgebungen zu reduzieren. Allerdings stoßen bestehende HFL-Methoden bei der Bewältigung realer Datenheterogenität auf drei kritische Einschränkungen:

Statische Annahmen: Die meisten Methoden gehen von homogenen Datenverteilungen über Edge-Server hinweg aus, was zu „Client Drift" und Genauigkeitsverlusten (bis zu 20 %) führt, wenn Updates von Clients mit divergierenden Label-Verteilungen aggregiert werden.
Isolierte Clustering: Während clusterte FL-Ansätze (z. B. IFCA) ähnliche Clients gruppieren, trainieren sie typischerweise vollständig isolierte Modelle, was einen knowledge transfer zwischen Clustern verhindert.
Ineffiziente Selektion: Die Client-Auswahl erfolgt oft zufällig oder statisch. Bestehende banditbasierte Ansätze operieren in flachen Architekturen und versagen bei der gemeinsamen Optimierung der Cluster-Zuweisung und der Client-Auswahl über die dreistufige Topologie (Cloud-Edge-Client) hinweg.

Darüber hinaus verursachen Personalisierungsmethoden, die pro-Client-Residuen beibehalten (z. B. Ditto, APFL), einen $O(N)$ -Parameter-Overhead, der im großen Maßstab unpraktisch wird und die Kommunikationskosten in dreistufigen Systemen verschärft.

Methodik: Fed-BAC-Rahmenwerk

Die Arbeit schlägt Fed-BAC (Federated Bandit-Guided Additive Clustering) vor, ein Rahmenwerk, das additive Cluster-Personalisierung mit einer zweistufigen banditbasierten Entscheidungsarchitektur integriert.

1. Additive Cluster-Personalisierung

Anstatt isolierte Cluster-Modelle zu trainieren, verwendet Fed-BAC eine additive Zerlegung im Logit-Raum. Die vorhergesagten Logits $\hat{y}$ für einen Client im Cluster $k$ sind definiert als:
$\hat{y} = h(x; \Theta_{global}) + f(x; \Theta_k)$

$\Theta_{global}$ : Ein gemeinsames globales Netzwerk, das gemeinsames Wissen über alle Server hinweg erfasst.
$\Theta_k$ : Ein clusterspezifisches Netzwerk, das Verteilungsvariationen erfasst.
Diese Architektur ermöglicht es allen $M$ Edge-Servern, in jeder Runde zum globalen Modell beizutragen, wodurch ein knowledge transfer zwischen Clustern ermöglicht wird, während die Spezialisierung durch clusterspezifische Residuen erhalten bleibt.

2. Zweistufiges Bandit-Rahmenwerk

Fed-BAC entkoppelt die Entscheidungsfindung in zwei Ebenen, um die dreistufige Topologie zu adressieren:

Cloud-Ebene (Cluster-Zuweisung): Verwendet Contextual LinUCB, um Edge-Server dynamisch Clustern zuzuweisen.
- Kontextmerkmale: Der Bandit nutzt vier FL-spezifische Merkmale: Verlustverhältnis (aktuell vs. beste alternative Cluster), Cluster-Balance, Zuweisungsstabilität und Trainingsfortschritt.
- Mechanismus: Alle $\tau_{re}$ Runden bewertet die Cloud die Eignung jedes Servers für seinen aktuellen Cluster im Vergleich zu Alternativen. Wenn das Verlustverhältnis eines Servers auf eine bessere Eignung anderswo hinweist, wird die Zuweisung aktualisiert. Dies verhindert „Herdenverhalten" und ermöglicht dem System, die optimale Anzahl aktiver Cluster ( $K \le M$ ) zu entdecken.
Edge-Ebene (Client-Auswahl): Verwendet Thompson Sampling (TS) an jedem Edge-Server, um eine Teilmenge von Clients ( $B$ von $N_m$ ) für die Teilnahme auszuwählen.
- Mechanismus: Jeder Server hält eine Beta-Verteilung als Prior für jeden Client. Basierend auf der Genauigkeitsänderung ( $r_{TS}$ ) des Cluster-Modells des Servers in einer einzelnen Runde werden die Posteriors aktualisiert.
- Ziel: Hochbeitragende Clients dynamisch zu identifizieren, um den Kommunikationsaufwand zu reduzieren und gleichzeitig die Modellleistung aufrechtzuerhalten.

3. Trainingsprotokoll

Das System arbeitet in synchronen Runden, die Folgendes umfassen:

Verteilung: Die Cloud sendet $\Theta_{global}$ und das spezifische $\Theta_k$ an jeden Edge-Server.
Auswahl & Training: Edge-Server verwenden TS, um Clients auszuwählen, die lokales SGD auf beiden Netzwerken durchführen.
Aggregation:
- Edge-Aggregation: Gewichteter Durchschnitt der Client-Updates.
- Cloud-Aggregation: Zwei-Phasen-Update. Erstens eine globale Aggregation von $\Theta_{global}$ von allen Servern (unter Verwendung der gesamten Server-Datengrößen, nicht nur der ausgewählten Teilmengen). Zweitens eine clusterspezifische Aggregation von $\Theta_k$ für jeden aktiven Cluster.

Hauptbeiträge

Zweistufige Bandit-Architektur: Ein neuartiges hierarchisches Entscheidungssystem, das die Cluster-Zuweisung (LinUCB in der Cloud) von der Client-Auswahl (Thompson Sampling am Edge) entkoppelt. Dies ermöglicht unterschiedliche Update-Frequenzen, die den Zeitskalen jeder Entscheidung angepasst sind.
Integrierte additive Personalisierung: Die erste Integration additiver Cluster-Personalisierung innerhalb einer dreistufigen HFL-Architektur. Im Gegensatz zu IFCA, das Cluster isoliert, teilt Fed-BAC einen globalen Backbone und erleichtert so den knowledge transfer zwischen Gruppen.
Gemeinsame Optimierung: Das Rahmenwerk optimiert die Cluster-Zuweisung und die Client-Auswahl gemeinsam und schließt eine Lücke, in der bestehende Methoden diese Aufgaben separat behandeln oder statische Konfigurationen annehmen.

Experimentelle Ergebnisse

Experimente wurden an drei Benchmarks (CIFAR-10, SVHN, Fashion-MNIST) unter moderater ( $\alpha=0,5$ ) und schwerer ( $\alpha=0,1$ ) Dirichlet-Nicht-IID-Partitionierung durchgeführt.

Genauigkeitsgewinne: Fed-BAC erzielte verteilte Genauigkeitsgewinne von bis zu +35,5 Prozentpunkten gegenüber HierFAVG und +8,4 Prozentpunkten gegenüber IFCA.
Heterogenitätsempfindlichkeit: Der Leistungs-vorteil von Fed-BAC nahm mit der Schwere der Datenheterogenität zu. Unter schwerer Heterogenität ( $\alpha=0,1$ ) verschlechterte sich HierFAVG erheblich, während Fed-BAC eine hohe Genauigkeit beibehielt.
Effizienz: Trotz einer erforderlichen Client-Teilnahme von nur 80 % ( $p=0,8$ ) konvergierte Fed-BAC 1,5–4,8× schneller als die Baselines, abhängig vom Datensatz und dem Genauigkeitsziel. Diese Beschleunigung führte zu einer 3,0× bis 5,9× Reduzierung der gesamten Kommunikationsbytes, um repräsentative Genauigkeitsziele zu erreichen.
Skalierbarkeit: Eine Skalierungsstudie an CIFAR-10 mit 500 Clients (5-fache Skalierung) bestätigte, dass Fed-BAC seinen Vorsprung gegenüber HierFAVG (+12,6 pp) und IFCA (+3,3 pp) behält, was seine Robustheit bei größeren Einsatzskalen validiert.
Fairness: Fed-BAC zeigte eine verbesserte serverübergreifende Fairness und wies eine geringere Varianz in der pro-Server-Genauigkeit im Vergleich zu IFCA und HierFAVG auf, insbesondere unter schwerer Heterogenität.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Fed-BAC die kritischen Herausforderungen der statistischen Heterogenität und der Kommunikationseffizienz im Hierarchischen Federated Learning adressiert. Durch die Kombination von additiver Zerlegung (ermöglicht knowledge sharing) mit banditgesteuerten adaptiven Entscheidungen (optimiert sowohl die Cluster-Struktur als auch die Client-Teilnahme) übertrifft das Rahmenwerk bestehende State-of-the-Art-Methoden.

Die Autoren betonen, dass der additive Personalisierungsansatz mit zunehmender Divergenz der Datenverteilungen an Wert gewinnt und bestätigen, dass das Teilen eines globalen Backbones bei gleichzeitiger Beibehaltung clusterspezifischer Residuen überlegener ist als eine vollständig isolierte Clustering. Die Ergebnisse deuten darauf hin, dass Fed-BAC eine skalierbare Lösung für MEC-Einsätze bietet, bei denen die Datenheterogenität schwerwiegend ist und Kommunikationsressourcen begrenzt sind.

Die Arbeit schließt bescheiden, indem sie feststellt, dass die aktuelle Bewertung eine einzige Teilnahmerate verwendet, und dass zukünftige Arbeiten systematische Durchläufe von Teilnahmeraten, Testumgebungen mit realer Edge-Hardware und formale Konvergenzgarantien für das gekoppelte nicht-stationäre Banditsystem untersuchen sollten.