💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

Das Papier schlägt $\infty$ -MoE vor, eine neuartige Architektur, die Mixture of Experts auf einen unendlichen Raum generalisiert, indem sie pro Token kontinuierliche Abschnitte großer Feed-Forward-Netzwerkparameter auswählt, wodurch ein effektives Training mit einer massiven Anzahl von Experten ermöglicht wird, während gleichzeitig eine vergleichbare Leistung zu wesentlich größeren dichten Modellen erzielt und ein flexibler Genauigkeits-Geschwindigkeits-Trade-off geboten wird.

Ursprüngliche Autoren: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige, hochtechnologische Bibliothek, in der jedes Buch ein Stück Wissen repräsentiert. In einer traditionellen Bibliothek (einem Standard-KI-Modell) haben Sie ein paar sehr große, vielseitige Bibliothekare. Wenn Sie eine Frage stellen, versuchen alle Bibliothekare, sie zu beantworten, und ihre Antworten werden miteinander vermischt. Das ist genau, aber langsam und teuer, weil Sie alle bezahlen, damit sie an jeder einzelnen Frage arbeiten.

Um dies zu beheben, erfanden Forscher die Mixture of Experts (MoE). Anstatt dass alle arbeiten, haben Sie einen „Oberbibliothekar“ (einen Router), der sich Ihre Frage ansieht und genau zwei spezifische Bibliothekare auswählt, die die Antwort geben sollen. Das ist viel schneller und kostengünstiger. Es gibt jedoch einen Haken: In diesem traditionellen Setup müssen Sie genau festlegen, wie viele Bibliothekare Sie einstellen (sagen wir 16 oder 100). Wenn Sie zu viele einstellen, wird der Oberbibliothekar verwirrt darüber, wen er auswählen soll, und das Training des gesamten Systems wird zum Albtraum. Es ist, als würde man versuchen, ein Team von 1.000 Menschen zu managen, wenn man aber immer nur mit zwei gleichzeitig sprechen kann; es ist schwer, alle in Einklang zu halten.

Die neue Idee: ∞-MoE (Infinite Mixture of Experts)

Die Autoren dieser Arbeit, von der Universität Tokio, stellten eine kühne Frage: Was wäre, wenn wir gar keine feste Anzahl an Bibliothekaren hätten? Was wäre, wenn wir eine unendliche Anzahl von ihnen hätten?

Sie nennen ihr neues System ∞-MoE. So funktioniert es, unter Verwendung einer einfachen Analogie:

1. Der kontinuierliche „Experten-Raum“

Anstatt dass Bibliothekar #1, Bibliothekar #2 und Bibliotheksar #3 in einer Reihe sitzen, stellen Sie sich vor, die Bibliothekare sind über eine unendliche, kontinuierliche Landkarte verteilt.

Im alten System mussten Sie spezifische Punkte auf einer Karte festlegen (wie „Bibliothekar an Koordinate 5“).
Im neuen System zeichnet der Oberbibliothekar für jede Frage, die Sie stellen, eine Wolke auf die Landkarte. Diese Wolke repräsentiert eine Spanne von Experten, die möglicherweise hilfreich sein könnten.

2. Sampling statt Auswahl

Wenn Sie eine Frage stellen, wählt der Oberbibliothekar nicht einfach zwei spezifische Personen aus. Stattdessen macht er eine „Momentaufnahme“ (ein Sample) aus dieser Wolke.

Er wählt vielleicht einen Punkt an der Koordinate 5,2.
Er wählt vielleicht einen Punkt an der Koordinate 5,3.
Da die Landkarte kontinuierlich ist, erhalten Sie bei jeder einzelnen Momentaufnahme einen einzigartigen Experten, der zuvor noch nie existiert hat.

3. Die „Maske“ (Schalten von Neuronen an und aus)

Wie bekommt man unendliche Experten, ohne unendliche Computer zu bauen? Das Geheimnis liegt in der Maske.
Stellen Sie sich das Gehirn der KI wie ein riesiges Gitter aus Glühbirnen (Neuronen) vor.

In einer Standard-KI sind alle Glühbirnen an.
In der alten MoE schaltet der Router einen spezifischen Block von Glühbirnen für Experte #1 an und einen anderen Block für Experte #2.
In ∞-MoE fungiert das „Sample“ (die Koordinate auf der Landkarte) wie eine Schablone. Das System nimmt das riesige Gitter aus Glühbirnen und nutzt die Schablone, um nur die obersten 25 % der hellsten Birnen für diese spezifische Frage einzuschalten.
Da die Schablone auf einer kontinuierlichen Zahl basiert, erhält jede Frage ein leicht anderes Muster an eingeschalteten Glühbirnen. Es ist, als hätte man für jeden Satz, den Sie tippen, ein einzigartiges, maßgeschneidertes Werkzeug, aber man baut das Werkzeug nur aus Teilen, die man bereits besitzt.

Warum ist das eine große Sache?

Die Autoren testeten dies an zwei Modellen (GPT-2 Small und Medium) und fanden einige beeindruckende Ergebnisse:

Bessere Leistung mit weniger „aktivem“ Gehirn:
Das ∞-MoE-Modell mit 129 Millionen aktiven Parametern (den Teilen, die tatsächlich arbeiten) schnitt genauso gut ab wie ein Standard-Dense-Modell mit 350 Millionen Parametern. Es ist, als bekäme man die Intelligenz eines riesigen Gehirns, während man nur die Energie eines kleinen Gehirns verbraucht.
Flexibilität:
Im alten MoE mussten Sie das gesamte Modell neu trainieren, wenn Sie schneller werden wollten. In ∞-MoE können Sie einfach die Anzahl der „Samples“ (Momentaufnahmen) ändern, die Sie in dem Moment nehmen, in dem Sie eine Frage stellen.
- Brauchen Sie Geschwindigkeit? Nehmen Sie weniger Samples (weniger Experten).
- Brauchen Sie maximale Genauigkeit? Nehmen Sie mehr Samples.
- Die Arbeit zeigt, dass Sie eine Genauigkeitssteigerung von 2,5 % gegenüber dem Standard-MoE erreichen können, indem Sie einfach diesen Wert anpassen, ohne das Modell selbst zu verändern.
Stabilität:
Eines der größten Probleme beim Hinzufügen von mehr Experten zu alten Systemen ist, dass sie instabil werden und schwer zu trainieren sind. Da ∞-MoE Experten als einen glatten, kontinuierlichen Raum und nicht als eine sprunghafte Liste separater Personen behandelt, bleibt das Training stabil, selbst wenn die „Anzahl“ der Experten gegen Unendlich wächst.

Der Haken (Einschränkungen)

Die Autoren sind ehrlich in Bezug auf das, was sie noch nicht gelöst haben:

Skalierung: Sie haben dies an mittelgroßen Modellen getestet. Sie sind sich nicht sicher, wie es sich bei den massiven Modellen verhalten wird, die heute von Unternehmen verwendet werden (wie im GPT-4 Maßstab), obwohl sie erwarten, dass es funktionieren wird.
Hardware-Geschwindigkeit: Obwohl die Mathematik sagt, dass es schnell sein sollte, ist der eigentliche Computercode knifflig. Da sich die „Glühbirnen“, die eingeschaltet werden, für jedes einzelne Wort ändern, ist es schwierig für Standard-Chips, sie alle gleichzeitig effizient zu verarbeiten. Sie mussten speziellen Code schreiben, um es schnell laufen zu lassen, und es gibt noch Raum für Verbesserungen.

Zusammenfassung

∞-MoE ist wie ein Upgrade von einem festen Team von Spezialisten zu einem gestaltwandelnden, unendlichen Team. Anstatt 100 spezifische Leute einzustellen, haben Sie eine magische Maschine, die augenblicklich einen einzigartigen, perfekten Spezialisten für jede einzelne Frage erstellt, die Sie stellen – und das unter Verwendung nur eines Bruchteils der Computerleistung. Es ermöglicht KI, intelligenter und flexibler zu werden, ohne durch die Kosten eines massiven, statischen Gehirns ausgebremst zu werden.

Technisches Resümee: ∞-MoE: Verallgemeinerung von Mixture of Experts auf unendliche Experten

1. Problemstellung

Große Sprachmodelle (LLMs) haben signifikante Leistungssteigerungen durch die Skalierung von Parametern, Daten und Rechenleistung erzielt. Eine bloße Erhöhung der Modellgröße führt jedoch zu erheblichen Rechen- und Speicheraufwand. Mixture-of-Experts-Architekturen (MoE) adressieren dies, indem sie jedes Token an eine spärliche Teilmenge spezialisierter Experten routen, wodurch die Parameterkapazität erweitert wird, ohne dass die Rechenkosten pro Token linear ansteigen.

Trotz dieser Vorteile steht das konventionelle MoE vor Einschränkungen bei der Skalierung der Anzahl der Experten:

Diskrete Beschränkungen: Experten werden als völlig unabhängige Entitäten in einem diskreten Raum behandelt.
Instabilität beim Training: Mit zunehmender Anzahl an Experten wird es schwierig, jeden Experten effektiv zu trainieren.
Router-Overhead: Eine aggressive Erhöhung des Expertenpools (z. B. auf Millionen) kann zu einem Wachstum des Router-Overheads oder zu überkomprimierten Experten führen, welche die Genauigkeit verschlechtern.

Die zentrale Frage lautet, ob die Leistung durch den Übergang von einer endlichen Menge an Experten zu einer effektiv unendlichen Anzahl von Experten weiter verbessert werden kann, während die Recheneffizienz gewahrt bleibt.

2. Methodik: ∞-MoE

Die Autoren schlagen ∞-MoE vor, ein Framework, das MoE von einer diskreten Menge von Experten auf einen kontinuierlichen, potenziell unzählig unendlichen Expertenraum verallgemeinert.

2.1 Kontinuierlicher Expertenraum

Im Gegensatz zu Standard-MoE, bei dem ein Router einen diskreten Index $i$ aus einer Menge $Z = \{1, \dots, n\}$ auswählt, definiert ∞-MoE den Expertenraum als einen kontinuierlichen Bereich $Z \subseteq \mathbb{R}^{d_z}$ .

Router: Der Router gibt eine Wahrscheinlichkeitsdichte $p(z|x)$ über den kontinuierlichen Raum aus, die als Gauß-Verteilung $\mathcal{N}(z | \mu(x), \Sigma(x))$ modelliert wird.
Sampling: Während des Trainings und der Inferenz sampelt das Modell $K$ kontinuierliche Expertenindizes $z^{(k)} \sim p(z|x)$ .
Integration: Die Ausgabe wird mittels Monte-Carlo-Sampling approximiert: $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ .

2.2 Expertendesign via Dynamischer Maskierung

Um eine unendliche Anzahl von Experten innerhalb eines festen Parameterbudgets zu realisieren, modulieren die Autoren ein einzelnes Feed-Forward-Netzwerk (FFN) unter Verwendung des gesampelten kontinuierlichen Index $z$ .

Mechanismus: Das gesampelte $z$ wird verwendet, um eine Maske zu generieren, die dynamisch eine Teilmenge von Neuronen in der Zwischenschicht des FFN auswählt.
Implementierung:
1. Berechne Zwischenwerte $\hat{m} = W_z z$ .
2. Wende einen Top- $N\%$ -Operator an, um nur die größten $N\%$ der Knoten zu behalten und den Rest auf Null zu setzen.
3. Die endgültige Expertenausgabe ist $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ .
Effekt: Jeder distinkte gesampelte $z$ aktiviert eine einzigartige Teilmenge der Parameter des FFN, wodurch effektiv ein distinkter "Experte" aus einem kontinuierlichen Kontinuum erzeugt wird, während die Sparsamkeit (Sparsity) eines traditionellen MoE beibehalten wird.

3. Kernbeiträge

Theoretische Verallgemeinerung: Die Arbeit führt eine Formulierung ein, die MoE von einem diskreten Expertenpool auf einen kontinuierlichen Bereich erweitert, was theoretisch eine unbegrenzte Anzahl von Experten ermöglicht.
Effiziente Implementierung: Durch die Kombination von kontinuierlichem Sampling mit dynamischer Neuronenmaskierung erreicht die Methode die Kapazität unendlicher Experten bei gleichzeitiger Wahrung der Recheneffizienz des spärlichen Routings (nur ein kleiner Bruchteil der Parameter ist pro Token aktiv).
Flexible Inferenz: Der Ansatz ermöglicht einen flexiblen Trade-off zwischen Genauigkeit und Geschwindigkeit während der Inferenz durch Anpassung der Anzahl der Samples $K$ .
Custom Kernel Optimierung: Die Autoren entwickelten einen fusionierten CUDA-Kernel, um die Maskierungs- und Reduktionsoperationen effizient zu handhaben, wodurch eine 1,25-fache Beschleunigung gegenüber Standard-PyTorch-Implementierungen erreicht wurde.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ∞-MoE auf GPT-2 Small und GPT-2 Medium Architekturen über verschiedene Zero-Shot-NLP-Benchmarks (BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE) hinweg.

Performance vs. Dense Modelle: Ein auf GPT-2 Small basierendes ∞-MoE (129M aktiv, 186M Gesamtparameter) erreichte einen Durchschnittswert von 39,8 und übertraf damit das dichte GPT-2 Medium (350M Parameter), welches 39,8 erreichte (im Durchschnitt gleichauf, aber ∞-MoE nutzte weniger aktive Parameter). Speziell übertraf ∞-MoE das dichte GPT-2 Small (38,5) und Standard-MoE-Varianten.
Performance vs. Standard MoE: ∞-MoE übertraf konsistent den Switch Transformer (Top-1) und Standard-MoE (Top-2) über alle Benchmarks hinweg. Für GPT-2 Small verbesserte es den Durchschnittswert von 38,8 (MoE) auf 39,8.
Skalierung mit $K$ : Eine Erhöhung der Anzahl der Samples $K$ während der Inferenz führte zu zusätzlichen Genauigkeitsgewinnen. Selbst mit minimalem Sampling ( $K=1$ ) behielt das Modell eine Genauigkeitsverbesserung von 2,5 % gegenüber dem Standard-MoE bei.
Stabilität: Messungen der Routing-Entropie zeigten, dass sich das Modell während des Trainings schnell stabilisierte, mit einer hohen normalisierten Routing-Entropie ( $\approx 0,9$ ), was auf eine gleichmäßige Ausnutzung des Expertenraums hindeutet.
Ablationsstudien:
- Datensatzgröße: Die Leistung auf HellaSwag skalierte positiv mit der Größe der Trainingsdaten bis zu 100 Milliarden Tokens.
- Index-Dimension: Die Erhöhung der Dimension des kontinuierlichen Index $z$ verbesserte die Leistung bis zu $d_z=128$ , wobei bei höheren Dimensionen keine weiteren Gewinne beobachtet wurden.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ∞-MoE erfolgreich die Lücke zwischen der hohen Kapazität dichter Modelle und der Effizienz von sparem MoE schließt. Durch die Behandlung von Experten als kontinuierlichen Raum ermöglicht die Methode eine "unendliche" Spezialisierung ohne die beim Training auftretende Instabilität massiver diskreter Expertenpools.

Die Autoren betonen, dass das Framework einen flexiblen Speed-Accuracy-Trade-off bietet: Nutzer können die Anzahl der gesampelten Experten ( $K$ ) bei der Inferenz anpassen, um spezifische Latenz- oder Hardwarebeschränkungen zu erfüllen, ohne das Modell neu trainieren zu müssen.

6. Limitationen und zukünftige Arbeit

Die Autoren weisen explizit auf mehrere Limitationen und offene Herausforderungen hin:

Skalierung auf größere Modelle: Das Verhalten von ∞-MoE bei Modellen, die größer als GPT-2 Medium sind (z. B. GPT-3 Skala), ist noch nicht vollständig verstanden, insbesondere hinsichtlich der Abwägung zwischen Gesamtparametern und aktiven Parametern.
Router-Verteilungen: Die aktuelle Implementierung verwendet einen unimodalen Gaußschen Router. Komplexere Verteilungen (z. B. Mischungen aus Gauß-Verteilungen) könnten eine bessere Abdeckung bieten, führen aber zu höherer Trainingsvarianz und komplexerem Sampling.
Domänen-Generalisierung: Die Anwendbarkeit auf Nicht-NLP-Domänen (z. B. Vision Transformer oder multimodale Modelle) ist noch ungeklärt.
Hardware-Effizienz: Während die theoretischen FLOPs niedrig sind, kann der praktische Durchsatz durch die dynamische Natur der aktiven Neuronenmengen behindert werden, was das Batching und die Verwendung von Fixed-Shape-GEMMs erschwert. Die Autoren merken an, dass ihre aktuelle Implementierung den Durchsatz durch maskierte dichte Matrixmultiplikationen priorisiert, aber die Schließung der Lücke zwischen theoretischer Rechenersparnis und praktischer Geschwindigkeit erfordert weitere systemseitige Optimierungen.