Routing-Free Mixture-of-Experts

Titel: Routing-Free Mixture-of-Experts (RFMoE)

Autoren: Yilun Liu, Jinru Han, Sikuan Yan, Volker Tresp, Yunpu Ma (LMU München, UCLA, MCML)

---

1. Problemstellung

Standard-Mixture-of-Experts (MoE)-Modelle, die in großen Sprachmodellen (LLMs) weit verbreitet sind, leiden unter mehreren strukturellen Einschränkungen, die durch zentrale Routing-Mechanismen verursacht werden:

• Zentralisierte Router: Kleine, externe Router müssen die Aktivierungspräferenzen aller Experten für jeden Eingabetoken vorhersagen. Da die Kapazität des Routers oft um Größenordnungen kleiner ist als die der Experten selbst, führt dies zu einem Informationsengpass und suboptimalen Entscheidungen, die oft durch indirektes „Trial-and-Error" gelernt werden müssen.
• Starre Induktionsverzerrungen (Inductive Biases):
  • Top-K-Auswahl: Erzwingt eine feste Sparsity-Ratio (z. B. immer K von N Experten), unabhängig von der Komplexität des Eingabetokens.
  • Softmax: Erzwungene kompetitive Wahrscheinlichkeitsverteilungen löschen absolute Aktivierungsmagnituden. Ein hochgeeigneter Experte kann unterdrückt werden, wenn ein anderer zufällig einen höheren Score erhält.
• Load-Balancing-Dilemma: Bestehende Strategien (Token-Choice vs. Expert-Choice) sind oft gegenseitig ausschließend. Sie erzwingen starre Aktivierungsmuster, die die Fähigkeit des Modells einschränken, adaptive Ressourcenverteilungen zu finden.

2. Methodik: Routing-Free MoE

Die Autoren schlagen eine Bottom-up-Architektur vor, die jegliche zentrale Routing-Logik eliminiert. Stattdessen wird die Aktivierungsentscheidung vollständig in die einzelnen Experten verlagert.

A. Architektur (Dezentralisierung)

• Interne Experten-Scores: Anstatt eines externen Routers nutzt jeder Experte eine interne, niedrigdimensionale Projektion (basierend auf dem AoE-Ansatz von Lv et al., 2025). Ein Experte $E_i$ berechnet seinen eigenen Aktivierungs-Score basierend auf der Norm seiner internen Repräsentation: $s_i = \|x A_{gate,i}\|^2$.
• Bias und ReLU-Gating: Um negative Werte zu vermeiden und eine selektive Aktivierung zu ermöglichen, wird ein lernbarer Bias $b_i$ pro Experte eingeführt. Die Aktivierungsfunktion lautet:
  $$G_i(x) = \text{ReLU}(\|x A_{gate,i}\|^2 - b_i)$$
  Experten, deren gewichtete Norm unter ihrem Bias-Schwellenwert liegt, werden effektiv deaktiviert (Ausgabe 0).
• Globaler Schwellenwert ($\theta$): Ein konfigurierbarer Hyperparameter $\theta$ steuert die globale Sparsity. Die finale binäre Aktivierungsentscheidung ist:
  $$f_i(x) = \mathbb{1}\{G_i(x) - \theta \ge 0\}$$
  Dies ermöglicht es jedem Experten, seine eigene Aktivierung rein unabhängig und bottom-up zu bestimmen, ohne Top-K oder Softmax.

B. Einheitliches Load-Balancing-Framework

Da keine zentrale Auswahl mehr existiert, wird ein neues, adaptives Framework zur Lastverteilung eingeführt:

• Dualer Ansatz: Das Framework kombiniert zwei Ziele:
  1. Expert-Balancing ($L_{EB}$): Sicherstellt, dass alle Experten gleichmäßig Tokens erhalten.
  2. Token-Balancing ($L_{TB}$): Sicherstellt, dass jeder Token eine gleichmäßige Anzahl an Experten aktiviert.
• Interpolation: Ein kombinierter Verlust $\mathcal{L}_{LB} = \mu L_{EB} + (1-\mu) L_{TB}$ erlaubt eine flexible Gewichtung zwischen beiden Zielen.
• Adaptive Steuerung: Der Koeffizient $\lambda_t$ für den Hilfsverlust wird dynamisch während des Trainings angepasst, um die empirische Aktivierungsdichte $\rho_t$ an ein Ziel $\rho_\infty$ heranzuführen. Dies verhindert manuelles Tuning und sorgt für Stabilität.

3. Wichtige Beiträge

1. Architektur ohne Router: Eine MoE-Architektur, die Router, Softmax, Top-K und hartkodierte Load-Balancing-Mechanismen vollständig eliminiert.
2. Adaptives Load-Balancing: Ein einheitliches Framework, das Token- und Expert-Balancing simultan optimiert und durch Interpolation an spezifische Anforderungen anpassbar ist.
3. Skalierbarkeit und Robustheit: Umfassende Experimente zeigen, dass RFMoE konsistent bessere Ergebnisse als Standard-MoE, AoE und ReMoE liefert, mit verbesserter Trainingsstabilität und Skalierbarkeit.

4. Ergebnisse

Die Methode wurde in drei Größenordnungen (S, M, L bis 0,8B Parameter) auf dem OpenWebText-Datensatz trainiert und auf 9 Benchmarks (z. B. PIQA, HellaSwag, ARC) evaluiert.

• Leistung: RFMoE übertrifft Standard-MoE, AoE und ReMoE konsistent in der Perplexity (PPL) und bei Downstream-Aufgaben.
  • Beispiel (Scale L): PPL von 24,58 (Standard MoE) auf 19,97 (RFMoE) verbessert.
  • Die durchschnittliche Genauigkeit über 9 Benchmarks steigt signifikant.
• Skalierbarkeit: Der Leistungsfortschritt nimmt mit der Modellgröße nicht ab; RFMoE skaliert besser als Baselines.
• Trainingsstabilität: RFMoE ist weniger empfindlich gegenüber der Lernrate ($\alpha$). Während Standard-MoE bei höheren Lernraten kollabiert, bleibt RFMoE stabil.
• Deployment-Effizienz:
  • Bei Expert-Parallelism (Verteilung auf mehrere Geräte) eliminiert RFMoE den synchronisierenden Routing-Overhead (All-to-All Dispatch).
  • In Inferenz-Szenarien (besonders Decode-Phase) zeigt RFMoE eine deutlich höhere Durchsatzrate (bis zu 1,19x schneller im Prefill bei 4 Geräten).
• Robustheit gegenüber Schwellenwerten: Das Modell behält seine Leistung auch bei starken Änderungen des globalen Schwellenwerts $\theta$ bei, was eine flexible Anpassung von Rechenkosten zu Inferenzzeit ohne Nachtraining ermöglicht.

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel in der MoE-Entwicklung dar. Durch die Beseitigung des zentralen „Flaschenhalses" (Router) und die Übertragung der Entscheidungsfähigkeit auf die Experten selbst, wird eine effizientere, stabilere und flexiblere Architektur erreicht.

• Theoretische Einsicht: Die Ergebnisse deuten darauf hin, dass starre Sparsity-Muster (Top-K) unnötig sind und dass Experten in der Lage sind, ihre eigene Spezialisierung und Aktivierung autonom zu lernen, wenn sie direkt durch Gradientenfluss optimiert werden.
• Praktische Relevanz: Die Methode bietet eine direkte Möglichkeit, Rechenkosten zu senken (durch Anpassung von $\theta$) und die Skalierbarkeit von LLMs zu verbessern, ohne die Trainingsdynamik zu destabilisieren.

Die Autoren schließen mit der Empfehlung, dass zukünftige MoE-Designs weniger auf zentrale Steuerung und mehr auf dezentrale, autonome Expertensysteme setzen sollten. Der Code ist öffentlich verfügbar.