Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

Technische Zusammenfassung: Mixture-of-Experts kann dichte LLMs unter strikt gleichen Ressourcen übertreffen

Problemstellung
Während Mixture-of-Experts (MoE)-Sprachmodelle weithin dafür anerkannt sind, die Modellkapazität zu erweitern, ohne die Berechnung pro Token zu erhöhen, bleibt eine kritische Frage unbeantwortet: Können MoE-Architekturen dichte Architekturen übertreffen, wenn sie strikt durch identische Gesamtparameter ($N$), Gesamtberechnungsaufwand beim Training ($C$) und Gesamt-Datenbudget ($D$) eingeschränkt sind? Vergleiche in der Vergangenheit begünstigten MoE oft, indem sie diese Einschränkungen lockerten (z. B. indem sie MoE erlaubten, mehr Daten zu verwenden, oder Modelle mit stark unterschiedlichen Parameterzahlen verglichen). Diese Arbeit schließt die Lücke im Verständnis, ob architektonische Vorteile allein unter strikter Ressourcenparität zu überlegener Leistung führen können.

Methodik
Die Autoren schlagen eine neue Perspektive und eine rigorose dreistufige experimentelle Methodik vor, um einen fairen Vergleich unter festen $N$, $C$ und $D$ sicherzustellen:

1. Optimierte Architektursuche: Bevor Aktivierungsraten verglichen werden, optimieren die Autoren systematisch das MoE-Grundgerüst. Sie untersuchen Layer-Anordnungen (vollständiges MoE, interleaved oder 1-dicht + MoE), Gate-Score-Normalisierung, Parameterzuweisung (Top-$K$-Einstellungen) und strukturelle Hyperparameter (Modell-Aspektverhältnis $\zeta$ und FFN-Erweiterungsverhältnisse). Sie identifizieren eine Konfiguration „1-dicht + Shared Expert" mit spezifischen Strukturverhältnissen ($\zeta \approx 88$, $\mu \approx 22$) als optimales Grundgerüst.
2. Analyse der Aktivierungsrate (AR) unter festem $N$ und $C$: Unter Verwendung des optimierten Grundgerüsts trainieren die Autoren MoE-Modelle mit variierenden Aktivierungsraten ($r_a$, das Verhältnis der aktivierten Parameter zu den Gesamtparametern), während sie den Gesamtberechnungsaufwand beim Training mit einer dichten Basislinie angleichen. Um ein gleiches $C$ zu gewährleisten, werden MoE-Modelle (die einen geringeren Berechnungsaufwand pro Token haben) zunächst proportional auf mehr Token trainiert.
3. Strategie zur Datennutzung: Um das eindeutige Datenbudget ($D$) strikt gleichzusetzen, führen die Autoren eine Strategie zur Datennutzung ein. Sie trainieren Modelle über mehrere Epochen hinweg auf einem kleineren, festen eindeutigen Datensatz $\hat{D}$. Sie vergleichen eine „strikte" Wiederverwendung (exakte Angleichung von $N$, $C$, $D$) und eine „lose" Wiederverwendung (Festlegung der Epochen auf 2) mit dichten Basislinien, die auf eindeutigen Daten trainiert wurden.

Hauptergebnisse
Die Studie umfasste das Training von fast 200 Modellen im 2B-Maßstab und über 50 Modellen im 7B-Maßstab, wobei insgesamt 50 Billionen Token verarbeitet wurden.

• Existenz einer optimalen Aktivierungsrate: Die Experimente zeigen einen stabilen Bereich der „optimalen Aktivierungsrate" ($R^*_a$), in dem MoE-Modelle ihre dichten Gegenstücke konsistent übertreffen. Diese optimale Rate liegt bei ungefähr 20 % ($r_a \approx 0,2$).
• Überlegene Leistung: Unter festem $N$ und $C$ erreichen MoE-Modelle mit $r_a \approx 20\%$ einen niedrigeren Verlust (bessere Leistung) als dichte Modelle. Insbesondere übertrifft ein 2B-MoE-Modell mit optimaler AR ein dichtes Modell, das mit demselben Berechnungsaufwand trainiert wurde, und nähert sich der Leistung eines dichten Modells an, das mit dem doppelten Berechnungsaufwand trainiert wurde.
• Konsistenz über Skalen hinweg: Die optimale Aktivierungsrate von ca. 20 % bleibt über verschiedene Modellgrößen (2B, 3B und 7B) hinweg konsistent, was darauf hindeutet, dass die Erkenntnis innerhalb des getesteten Bereichs unabhängig von der Skalierung ist. Dies steht im Gegensatz zu einigen früheren Arbeiten, die nahelegen, dass die optimale Sparsamkeit mit der Modellgröße skaliert.
• Wirksamkeit der Datennutzung: Die Strategie zur Datennutzung gleicht den zusätzlichen Datenbedarf von MoE-Modellen erfolgreich aus. Obwohl die Wiederverwendung von Daten im Vergleich zum Training auf eindeutigen Daten zu einer leichten Leistungsreduzierung führt, übertreffen MoE-Modelle mit optimaler AR dichte Basislinien auch unter strikten Datenbeschränkungen immer noch.
• Downstream-Generalisierung: Die Überlegenheit von MoE-Modellen mit $r_a \approx 20\%$ generalisiert auf Downstream-Aufgaben (SFT) über Benchmarks für Schlussfolgerungen, Wissen, Mathematik und Code hinweg. Bemerkenswerterweise hat die Datennutzung nur minimale negative Auswirkungen auf Schlussfolgerungsaufgaben, verschlechtert jedoch die Wissensleistung; dennoch übertreffen SFT-bearbeitete MoEs mit wiederverwendeten Daten bei optimaler AR dichte Modelle, die auf eindeutigen Daten trainiert wurden.

Bedeutung und Behauptungen
Die Arbeit behauptet, den ersten definitiven Beweis dafür zu liefern, dass MoE-Architekturen dichte LLMs unter strikt gleichen Ressourcenbeschränkungen ($N, C, D$) übertreffen können, sofern die Architektur optimiert ist und die Aktivierungsrate im identifizierten optimalen Bereich liegt.

• Architektonischer Vorteil: Die Leistungsgewinne werden ausschließlich architektonischen Vorteilen zugeschrieben und nicht Unterschieden in der Parameterzahl oder dem Berechnungsbudget.
• Ressourceneffizienz: Die Ergebnisse stellen die konventionelle Weisheit in Frage, dass dichte Modelle überlegen sind, wenn die Ressourcen festgelegt sind, und ebnen den Weg für ressourceneffizientere Architekturen in NLP-Systemen der nächsten Generation.
• Praktische Strategie: Die Einführung einer Strategie zur Datennutzung zeigt, dass der zusätzliche Datenbedarf von MoE-Modellen gemildert werden kann, wodurch die überlegene Leistung erreichbar wird, ohne dass eindeutige Datenbudgets erforderlich sind, die deutlich größer sind als die von dichten Modellen.

Die Autoren räumen Einschränkungen ein, darunter die Beschränkung, keine Modelle größer als 7B aufgrund von Rechenkosten zu trainieren, sowie den Fokus auf bestimmte MoE-Komponenten bei Fixierung anderer. Sie schlagen vor, dass zukünftige Arbeiten untersuchen könnten, wie optimale Aktivierungsraten die Fähigkeiten in anderen Trainingsparadigmen wie Upcycling und MoEfication verbessern.