🤖 machine learning

FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment for Edge Computing

Das Papier schlägt FLEX-MoE vor, ein Framework für federiertes Lernen in ressourcenbeschränkten Edge-Netzwerken, das die Zuweisung von Experten und die Lastverteilung gemeinsam optimiert, indem es Client-Experten-Fitnesswerte nutzt, um die Herausforderungen begrenzter Client-Kapazität und nicht-IID-Datenverteilungen in Mixture-of-Experts-Modellen zu bewältigen.

Ursprüngliche Autoren: Boyang Zhang, Xiaobing Chen, Songyang Zhang, Shuai Zhang, Xiangwei Zhou, Jian Zhang, Mingxuan Sun

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Boyang Zhang, Xiaobing Chen, Songyang Zhang, Shuai Zhang, Xiangwei Zhou, Jian Zhang, Mingxuan Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges, super-intelligentes Team von Experten vor, das gemeinsam versucht, ein komplexes Puzzle zu lösen. In der Welt der künstlichen Intelligenz wird dieses Team als Mixture-of-Experts (MoE)-Modell bezeichnet. Anstatt dass ein einziges riesiges Gehirn die gesamte Arbeit verrichtet, besteht das Modell aus vielen kleineren, spezialisierten „Experten" (wie einem Mathe-Wunder, einem Sprachguru und einem Mustererkennungs-Spezialisten). Wenn ein neues Datenelement hereinkommt, entscheidet das System, welcher spezifische Experte am besten geeignet ist, damit umzugehen.

Stellen Sie sich nun vor, Sie versuchen, dieses Team nicht in einem großen Büro, sondern über Tausende verschiedener Geräte zu betreiben, die auf der ganzen Welt verstreut sind – wie Smartphones, Drohnen und intelligente Sensoren. Dies ist Federated Learning. Die Geräte arbeiten zusammen, um das Modell zu trainieren, ohne jemals ihre privaten Daten zu teilen.

Das Problem: „Zu groß für den Rucksack" und „Der hungrige Haufen"
Der Artikel identifiziert zwei große Kopfschmerzen beim Versuch, dieses System auf Edge-Geräten (wie Ihrem Telefon oder einer Drohne) auszuführen:

Das Rucksack-Problem: Diese Geräte haben begrenzten Speicher und Batterie. Sie können das gesamte Team von Experten nicht in ihren Rucksäcken tragen. Wenn es 100 Experten gibt, kann ein Telefon möglicherweise nur 5 davon halten.
Der Restaurant-Sturm: In einem Standard-Setup stürmen alle natürlich zu den „besten" Experten. Wenn die Daten auf jedem Telefon unterschiedlich sind (was normalerweise der Fall ist), werden einige Experten mit Arbeit überflutet, während andere untätig herumsitzen. Dieses „Lastenungleichgewicht" lässt das gesamte Team schlecht performen, wie ein Restaurant, in dem ein Kellner in Bestellungen ertrinkt, während drei andere herumstehen und nichts tun.

Die Lösung: FLEX-MoE
Die Autoren schlagen ein neues Framework namens FLEX-MoE (Federated Mixture-of-Experts with Load-balanced Expert Assignment) vor. Stellen Sie es sich als einen intelligenten, fairen Manager vor, der das Team koordiniert.

So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der „Fitness-Score" (Der Lebenslauf-Check)

Anstatt nur zu raten, welche Experten ein Gerät verwenden sollte, führt der Server (der Manager) eine Punktekarte.

Jedes Mal, wenn ein Gerät (Client) mit einem bestimmten Experten trainiert, meldet es zurück: „Wie gut hat dieser Experte mit meinen spezifischen Daten zurechtgekommen?"
Der Manager berechnet einen „Client-Expert-Fitness-Score". Dies ist wie eine Kompatibilitätsbewertung. Es sagt dem Manager: „Experte A passt hervorragend zu den Daten von Client X, aber Experte B passt besser zu Client Y."

2. Der „Faire Sitzplan"-Algorithmus (Die Optimierung)

Dies ist der magische Teil. In der Vergangenheit verwendeten Systeme einen „gierigen" Ansatz: „Gib jedem Client die Top-5-Experten, die er am meisten mag." Dies führt zum Problem des „Restaurant-Sturms", bei dem die beliebten Experten untergehen.

FLEX-MoE verwendet eine mathematische Optimierung (wie ein ausgeklügelter Sitzplan-Generator), um zwei Probleme gleichzeitig zu lösen:

Personalisierung: Stellen Sie sicher, dass jeder Client die Experten erhält, mit denen er tatsächlich gut arbeiten kann.
Lastenausgleich: Stellen Sie sicher, dass kein einzelner Experte überlastet ist, während andere ignoriert werden.

Der Manager betrachtet das Gesamtbild und sagt: „Client X, Sie lieben normalerweise Experte A, aber Experte A ist bereits überflutet. Lassen Sie uns Ihnen stattdessen Experte B geben, mit dem Sie auch recht gut zurechtkommen, damit Experte A eine Pause machen kann."

3. Das Ergebnis: Ein ausgeglichenes Team

Die Experimente des Artikels zeigen, dass dieser Ansatz besser funktioniert als die alten Methoden:

Bessere Genauigkeit: Da die Experten nicht überfordert sind, lernt das gesamte Modell effektiver.
Perfekter Ausgleich: Die „Last" wird gleichmäßig verteilt. Der Artikel misst dies mit einem „Variationskoeffizienten" (CV), und FLEX-MoE hält diese Zahl unglaublich niedrig (nahe Null), was bedeutet, dass jeder Experte ungefähr die gleiche Arbeitsmenge erhält.
Umgang mit Chaos: Das System glänzt am hellsten, wenn die Daten über die Geräte hinweg sehr unordentlich und unterschiedlich sind (nicht-IID). In diesen chaotischen Szenarien versagen die gierigen Methoden, aber FLEX-MoE hält das Team organisiert und produktiv.

Auf den Punkt gebracht
FLEX-MoE ist wie ein intelligenter Verkehrsleiter für eine Flotte von Lieferwagen (die Geräte) und ein Lagerhaus mit verschiedenen Paketen (die Experten). Anstatt jeden Lieferwagen die beliebtesten Pakete greifen zu lassen (was zu Staus führt), weist der Leiter Pakete basierend darauf zu, wofür jeder Lieferwagen gut ist und stellt sicher, dass das Lagerhaus nicht von zu vielen Lieferwagen überflutet wird, die gleichzeitig auftauchen. Das Ergebnis ist ein schnelleres, reibungsloseres und effizienteres Liefersystem.

Technische Zusammenfassung: FLEX-MoE

Problemstellung

Die Arbeit behandelt die Bereitstellung von Mixture-of-Experts (MoE)-Modellen innerhalb von Federated-Learning (FL)-Rahmenwerken über ressourcenbeschränkte drahtlose und IoT-Edge-Netzwerke hinweg. Während MoE durch bedingte Berechnung Skalierbarkeit bietet und FL Privatsphäre sowie dezentrales Training sicherstellt, stößt ihre Kombination in Edge-Umgebungen auf zwei kritische Engpässe:

Ressourcenbeschränkungen: Edge-Clients (z. B. UAVs, Smartphones, IoT-Knoten) verfügen über begrenzten Speicher und Rechenleistung, was es unmöglich macht, den vollständigen Satz von Experten zu speichern oder zu synchronisieren, der von traditionellen verteilten MoE-Methoden erforderlich ist.
Ungleichgewicht der Expertenauslastung: In FL-Szenarien mit nicht-IID-Daten (nicht unabhängig und identisch verteilt) entwickeln Clients natürlicherweise Präferenzen für bestimmte Experten, die ihren lokalen Datenmustern entsprechen. Bestehende Ansätze, wie die gierige Top- $k$ -Auswahl, priorisieren die lokale Personalisierung, ignorieren jedoch die globale Lastverteilung. Dies führt zu einer starken Verzerrung der Expertennutzung, bei der wenige „beliebte" Experten überbeansprucht werden, während andere unterausgelastet bleiben, was die allgemeine Modellgeneralisierung und Leistung verschlechtert.

Die Kernherausforderung besteht darin, ein Framework zu entwerfen, das die Zuweisung von Experten (Zuordnung von Clients zu geeigneten Experten) und das Lastausgleich (Sicherstellung, dass alle Experten ausreichend trainiert werden) unter strengen Client-Kapazitätsgrenzen gemeinsam optimiert.

Methodik: FLEX-MoE

Die Autoren schlagen FLEX-MoE (Federated MoE mit lastausgeglichener EXpertenzuweisung) vor, ein serverkoordiniertes Framework, das dynamisch Expertensubsets Clients zuweist. Der Arbeitsablauf läuft in vier Phasen pro Kommunikationsrunde ab:

1. Bewertung der Client-Expertentauglichkeit

Um die Eignung eines Experten für die lokalen Daten eines bestimmten Clients zu quantifizieren, führt der Server eine Matrix für den Client-Expertentauglichkeitswert $Q$ . Dieser Wert wird basierend auf Rückmeldungen aus lokalen Trainingsrunden aktualisiert, insbesondere:

Genauigkeitsgetrieben: Unter Verwendung der vom Experten erreichten lokalen Klassifizierungsgenauigkeit.
Verlustgetrieben: Unter Verwendung einer Exponentialfunktion des lokalen Verlusts ( $\exp(-\alpha_L \ell)$ ).
Die Werte werden unter Verwendung eines Exponential Moving Average (EMA) aktualisiert, um Schwankungen im Zeitverlauf zu glätten.

2. Algorithmus zur lastausgeglichenen Expertenzuweisung

Im Gegensatz zu gierigen Methoden, die einfach die Top- $k$ -Experten jedem Client zuweisen, formuliert FLEX-MoE die Zuweisung als eingeschränktes Optimierungsproblem (angepasst vom Generalized Assignment Problem).

Ziel: Maximierung der gesamten akkumulierten Client-Expertentauglichkeitswerte ( $\sum Q(c,e) \cdot X_{c,e}$ ).
Einschränkungen:
- Client-Kapazität: Jeder Client $c$ erhält genau $k_c$ Experten zugewiesen.
- Lastgrenzen: Die gesamte Datenlast, die jedem Experten $e$ zugewiesen wird, muss innerhalb dynamisch berechneter oberer ( $\Gamma$ ) und unterer ( $L$ ) Grenzen liegen.
Dynamische Grenzen: Der Server berechnet eine Zielbelastung $\tau$ basierend auf der gesamten Systemkapazität und passt die Grenzen basierend auf historischen Lastabweichungen an (unter Verwendung exponentieller Glättung), um Ungleichgewichte aus vorherigen Runden zu korrigieren.
Lösung: Der Server löst dieses lineare Programmierungsproblem, um die optimale binäre Zuweisungsmatrix $X_{c,e}$ zu bestimmen.

3. Training und Aggregation

Lokales Training: Clients laden die Parameter ihrer zugewiesenen Experten und einen gemeinsamen Merkmalsextraktor herunter. Sie trainieren lokal unter Verwendung eines personalisierten Gate-Netzwerks, um Eingaben an ihre zugewiesenen Experten weiterzuleiten.
Rückmeldung: Clients laden Parameterupdates und Feedbackmetriken (Nutzungszahlen, Genauigkeit, Verlust) zum Server hoch.
Server-Aggregation: Der gemeinsame Merkmalsextraktor wird über FedAvg aggregiert. Expertenparameter werden durch nutzungsgewichtete Mittelwertbildung aktualisiert, wodurch sichergestellt wird, dass Experten, die mit mehr Daten trainiert wurden, stärker zum globalen Update beitragen.

Hauptbeiträge

Die Arbeit beansprucht explizit folgende Beiträge:

Neuartige Problemformulierung: Es ist die erste Arbeit, die das gemeinsame Problem der Expertenzuweisung und des Lastausgleichs in federierten MoE unter Ressourcenbeschränkungen explizit adressiert.
Mechanismus zur Bewertung der Tauglichkeit: Einführung eines quantitativen Client-Expertentauglichkeitswerts, der Trainingsrückmeldungen integriert, um eine maßgeschneiderte Expertenauswahl zu ermöglichen, was sowohl die Personalisierung als auch die Trainingseffizienz verbessert.
Optimierungsbasierte Zuweisung: Entwicklung eines lastausgeglichenen Zuweisungsalgorithmus, der Spezialisierung und lastausgleich im gesamten System gemeinsam optimiert und damit die bei gierigen Ansätzen beobachtete ungleiche Expertenbildung explizit verhindert.
Empirische Validierung: Nachweis, dass die Durchsetzung eines Lastausgleichs für die Leistung unerlässlich ist, insbesondere unter stark verzerrten Datenverteilungen, wo die Methode bestehende Strategien sowohl in Bezug auf Genauigkeit als auch Lastausgleichsmetriken übertrifft.

Experimentelle Ergebnisse

Das Framework wurde auf drei Datensätzen (CIFAR-10, EMNIST, GTSRB) sowohl unter IID- als auch unter nicht-IID-Verteilungen (Dirichlet und Klassenpartition) evaluiert.

Genauigkeit: FLEX-MoE erzielte konsistent die höchste oder nahezu höchste Testgenauigkeit über die meisten Konfigurationen hinweg. Während gierige Methoden gelegentlich die Genauigkeit in spezifischen Szenarien erreichten (z. B. GTSRB mit verlustgetriebenen Metriken), zeigte FLEX-MoE eine überlegene Robustheit, insbesondere in nicht-IID-Szenarien.
Lastausgleich: FLEX-MoE erzielte einen signifikant niedrigeren Variationskoeffizienten (CV) bei der Expertennutzung im Vergleich zu Baselines. Während gierige Methoden oft CV-Werte von über 0,2 zur Folge hatten (was auf ein schwerwiegendes Ungleichgewicht hinweist), hielt FLEX-MoE CV-Werte nahe 0,003–0,005, was eine nahezu gleichmäßige Expertenbildung anzeigt.
Starke Datenverzerrung: In stark verzerrten Szenarien (z. B. 2-Klassen-Partition oder Dirichlet $\alpha=0,1$ ) litten gierige Methoden aufgrund von Lastungleichgewichten unter signifikanten Genauigkeitsabfällen. FLEX-MoE behielt eine hohe Genauigkeit bei (z. B. 61,00 % gegenüber 51,28 % für Gierig bei 2-Klassen CIFAR-10), indem es die Verhungern von Experten verhinderte.
Overhead: Der Rechenaufwand für die serverseitige Optimierung war moderat und führte zu einer Erhöhung der gesamten Trainingszeit von nur ca. 6 % im Vergleich zu gierigen Baselines, was für das federierte Training als praktikabel erachtet wird.

Bedeutung und Behauptungen

Die Arbeit positioniert FLEX-MoE als notwendige Evolution für KI-nativen drahtlosen Kommunikation und Edge-Computing. Die Autoren argumentieren, dass:

Lastausgleich keine Option ist: In federierten MoE führt das Ignorieren von Lastungleichgewichten zu einer verschlechterten Modellqualität, insbesondere wenn die Datenheterogenität hoch ist.
Globale Optimierung ist lokaler Gierigkeit überlegen: Während lokale Personalisierung wichtig ist, erfordert ein einheitliches MoE-Modell, dass alle Experten ausreichend eingebunden sind, um Generalisierung sicherzustellen.
Skalierbarkeit: Indem Clients nur Subsets von Experten speichern dürfen, ermöglicht FLEX-MoE die Bereitstellung großskaliger MoE-Modelle auf ressourcenbeschränkten Edge-Geräten, eine Voraussetzung für drahtlose Netzwerke der nächsten Generation.

Die Arbeit kommt zu dem Schluss, dass die gemeinsame Optimierung der Expertenzuweisung und des Lastausgleichs für die effektive Bereitstellung von federierten MoE in heterogenen, ressourcenbeschränkten Umgebungen entscheidend ist.