🤖 machine learning

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

Dieses Paper schlägt eine trainingsfreie Methode vor, um die Rechenkosten von feingranularen Mixture-of-Experts-Modellen bei der Inferenz zu halbieren, indem es die Expertenauswahl von der Wahrscheinlichkeitsrenormierung entkoppelt und dadurch die Leistung bewahrt, indem es gegenüber einem größeren Referenzsatz an Experten statt gegenüber dem reduzierten aktiven Satz normalisiert.

Ursprüngliche Autoren: Xing Chen, Hengshuai Yao

Veröffentlicht 2026-09-07✓ Author reviewed ⓘ

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xing Chen, Hengshuai Yao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Moderne Systeme der künstlichen Intelligenz, die Texte generieren, verlassen sich oft auf ein Design, das die Gesamtmenge des Wissens, das sie besitzen, von der Menge des Denkens trennt, das sie für jedes Wort aufwenden. Stellen Sie sich eine riesige Bibliothek mit tausenden spezialisierten Büchern vor, aber für jeden geschriebenen Satz öffnet das System nur eine Handvoll davon, um die richtigen Informationen zu finden. Dieser Ansatz, bekannt als Mixture-of-Experts-Modell, ermöglicht es Computern, enorme Mengen an Daten zu speichern, ohne jedes Mal langsamer zu werden, wenn sie sprechen. Das System nutzt einen kleinen internen Wegweiser, um zu entscheiden, welche spezifischen Bücher für jedes Wort geöffnet werden sollen, wodurch sichergestellt wird, dass nur ein winziger Bruchteil der gesamten Bibliothek in jedem Moment konsultiert wird. Dies schafft eine einzigartige Situation: Der Computer muss alle Bücher in seinen Regalen aufbewahren, um für jedes Thema bereit zu sein, aber er liest immer nur wenige Seiten zur Zeit.

Da der Computer all diese spezialisierten Abschnitte in seinem Speicher behalten muss, suchen Forscher schon lange nach Wegen, das System schneller zu machen, indem sie es dazu zwingen, noch weniger Seiten zu lesen. Die Standardmethode hierfür ist simpel: Sagen Sie dem System, es solle pro Satz weniger Bücher öffnen. Dieser direkte Ansatz hat jedoch historisch gesehen dazu geführt, dass das System verwirrt wurde und mehr Fehler machte. Die Verwirrung entsteht nicht deshalb, weil dem System die richtigen Bücher fehlen, sondern weil sich die Art und Weise, wie es die Informationen aus diesen Büchern gewichtet, unerwartet ändert, wenn die Anzahl der Bücher reduziert wird. Eine neue Studie von Xing Chen und Hengshuai Yao zeigt, dass diese Verwirrung durch eine versteckte mathematische Anpassung verursacht wird, die das System automatisch vornimmt, und sie fanden einen Weg, diese Anpassung auszuschalten, ohne das System neu trainieren oder neue Komponenten hinzufügen zu müssen.

Die Forscher konzentrierten sich auf zwei sehr große Sprachmodelle, eines mit 35 Milliarden Parametern und ein anderes mit fast 400 Milliarden. Diese Modelle sind mit Hunderten von winzigen spezialisierten Abschnitten, oder Experten, für jede Verarbeitungsschicht ausgestattet. In ihrem Standardbetrieb wählt das System acht dieser Experten für jedes verarbeitete Wort aus. Als die Forscher versuchten, das System zu beschleunigen, indem sie diese Anzahl halbierten und es zwangen, nur vier Experten zu verwenden, sank die Leistung erheblich. Bei einem Standardtest des Allgemeinwissens fiel die Genauigkeit um fast fünf Punkte. Dieser Verlust war so schwerwiegend, dass viele angenommen hatten, die Reduzierung der aktiven Experten sei schlichtweg zu kostspielig, um nützlich zu sein. Die Forscher vermuteten, dass das Problem nicht der Verlust der Experten selbst war, sondern vielmehr die Art und Weise, wie das System die Bedeutung der verbleibenden Experten neu kalibrierte.

Im Standardsetup passt das System den Einfluss der ausgewählten Experten so an, dass ihre kombinierte Bedeutung immer eine feste Gesamtsumme ergibt. Dies ist ein Sicherheitsmechanismus, um das System stabil zu halten. In diesen feingliedrigen Modellen halten die obersten acht Experten jedoch meist nur einen kleinen Bruchteil der möglichen Gesamtbedeutung. Wenn das System gezwungen wird, nur vier Experten zu wählen, multipliziert die Standardanpassung deren Einfluss mit einem großen Faktor, um die Differenz auszugleichen. Dieser plötzliche Schub drängt das System in einen Zustand, für den es nie trainiert wurde, was dazu führt, dass es überreagiert und Fehler macht. Die Forscher erkannten, dass das System nicht wirklich an Informationen mangelte; es wurde lediglich angewiesen, lauter zu schreien, als es eigentlich sollte.

Um dies zu beheben, führte das Team eine einfache Änderung ein, die kein Training und keine zusätzliche Rechenleistung erfordert. Sie trennten die Entscheidung, welche Experten verwendet werden sollen, von der Entscheidung, wie sie gewichtet werden sollen. Sie erlaubten dem System, nur vier Experten für die Arbeit auszuwählen, sagten ihm aber, die Gewichtung der Bedeutung basierend auf den obersten sechzehn Experten zu berechnen anstatt nur auf den obersten vier. Durch dies bewirkte das System, dass es das gleiche Volumen an Informationen behielt, das es gewohnt war zu hören, obwohl es nur die Hälfte der aktiven Abschnitte nutzte. Diese kleine Anpassung, die die Änderung eines einzigen Ganzzahl-Wertes beinhaltet, veränderte das Ergebnis komplett. Beim 35-Milliarden-Parameter-Modell verursachte die Reduzierung der aktiven Experten von acht auf vier mit dieser neuen Einstellung einen Rückgang der Genauigkeit von nur 0,3,,5 Punkten – ein Unterschied, der so gering war, dass er statistisch nicht von dem ursprünglichen, langsameren System zu unterscheiden war.

Die Studie testete diese Methode auch am viel größeren 400-Milliarden-Parameter-Modell, wobei die Ergebnisse ähnlich dramatisch ausfielen. Das Halbieren der aktiven Experten mit der Standardmethode verursachte einen signifikanten Leistungsverlust, aber die Verwendung der neuen Gewichtungsmethode reduzierte den Verlust auf nur 0,55 Punkte. Die Forscher fanden heraus, dass die beste Einstellung für diese neue Gewichtung von der spezifischen Aufgabe abhing. Beispielsweise führte eine Einstellung, die das System beim Lesen von Texten am besten klingen ließ, nicht immer dazu, dass es bei Logikrätseln oder Wissenstests am besten abschnitt. Diese Erkenntnis deutet darauf darauf hin, dass es nicht ausreicht, lediglich die Fähigkeit eines komprimierten Modells beim Lesen von Texten zu messen, um zu garantieren, dass es auch bei anderen Aufgaben gut funktionieren wird. Die Forscher kamen zu dem Schluss, dass man, um die Rechenleistung dieser Modelle sicher zu reduzieren, diese Gewichtungseinstellung sorgfältig anhand tatsächlicher Leistungstests abstimmen muss, anstatt sich allein auf die Textflüssigkeit zu verlassen.

Das Paper untersuchte auch, warum es schwierig ist, die zusätzlichen Experten einfach dauerhaft zu entfernen, anstatt sie nur vorübergehend seltener zu nutzen. Sie fanden heraus, dass diese Modelle hochspezialisiert sind, wobei verschiedene Experten unterschiedliche Arten von Inhalten wie Code oder allgemeine Texte behandeln. Da die Experten so spezialisiert und das System so gut ausbalanciert ist, gibt es kaum Spielraum, sie dauerhaft zu löschen, ohne die Fähigkeit zu verlieren, vielfältige Themen zu bearbeiten. Der effektivste Weg nach vorn besteht daher nicht darin, Teile des Modells wegzuwerfen, sondern es schlichtweg anzuweisen, zu einer Zeit weniger Teile zu verwenden, während das Gesamtvolumen der verarbeiteten Informationen konsistent bleibt. Dieser Ansatz bietet einen Weg, diese leistungsstarken Systeme schneller und effizienter zu machen, ohne ihre Intelligenz zu opfern, indem man lediglich einen versteckten Kalibrierungsfehler korrigiert, der auftritt, wenn sich die Regeln des Engagements ändern.

Technisches Resümee: Trainingsfreies Halbieren aktivierter Experten in feinkörnigen Mixture-of-Experts-Modellen

Problemstellung

Moderne feinkörnige Mixture-of-Experts-Modelle (MoE), wie die Qwen3-Serie, nutzen hunderte kleiner Experten-Subnetzwerke pro Schicht und leiten jeden Token an eine kleine Teilmenge ( $k$ ) dieser Experten weiter. Während diese Architektur die Parameteranzahl von der pro-Token-Rechenlast entkoppelt, erzeugt sie eine Speicher-Rechen-Asymmetrie: Alle Experten müssen im Speicher residieren, aber nur ein Bruchteil ist aktiv.

Ein gängiger Ansatz zur Reduzierung der Inferenz-Rechenlast besteht darin, die Anzahl der aktivierten Experten ( $k$ ) zur Laufzeit zu senen. Standardimplementierungen renormieren jedoch implizit die Router-Wahrscheinlichkeiten der ausgewählten Experten so, dass diese in der Summe eins ergeben. In feinkörnigen Routern ergibt die Summe der Top- $k$ -Wahrscheinlichkeiten oft nur einen kleinen Bruchteil der Gesamtwahrscheinlichkeit (z. B. 0,182 für Top-8 von 256). Infolgedessen wendet die Renormierung einen signifikanten Gewinn (Verstärkungsfaktor) auf die Ausgaben der ausgewählten Experten an.

Das Paper identifiziert, dass die Reduzierung von $k$ während der Inferenz ohne Anpassung dieses Renormierungsprozesses zwei Effekte vermischt:

Kapazitätsverlust: Das Entfernen von Experten.
Gain-Fehlkalibrierung: Die verbleibenden Experten werden durch einen Faktor verstärkt, der größer ist als der, für den das Modell trainiert wurde, was den Beitrag des Experten-Zweigs zum Residualstrom über dessen kalibriertes Regime hinaus treibt.

Diese Fehlkalibrierung führt zu einem schweren Leistungsabfall (z. B. ein Rückgang der MMLU-Genauigkeit um 4,65 Punkte beim Halbieren der Experten von 8 auf 4 bei einem 35B-Modell), was eine einfache $k$ -Reduktion kostspielig erscheinen lässt.

Methodik

Die Autoren schlagen eine trainingsfreie Methode vor, um die Selektion der Experten von der Normierung (Gain-Kalibrierung) ihrer Ausgaben zu entkoppeln.

Die entkoppelte Renormierung

Anstatt durch die Masse der top- $k_1$ ausgewählten Experten zu normieren, normiert die Methode durch die Masse eines separaten Referenzsatzes der top- $k_2$ Experten:

$w_i = \frac{p_i}{\sum_{j \in T_{k_2}} p_j}, \quad i \in T_{k_1}$

Wobei:

$k_1$ : Die Anzahl der tatsächlich aktivierten Experten (steuert die Rechenlast).
$k_2$ : Die Größe des Referenzsatzes für den Nenner (steuert den Gain).
$T_{k_1}$ : Die Menge der Indizes der Top- $k_1$ -Experten.
$T_{k_2}$ : Die Menge der Ind indices der Top- $k_2$ -Experten.

Haupteigenschaften

Null Training/Parameter: Dies erfordert lediglich die Änderung eines Integers ( $k_2$ ) während der Inferenz. Es werden keine Gewichte modifiziert und kein Fine-Tuning durchgeführt.
Vernachlässigbarer Overhead: Der Router berechnet bereits die Wahrscheinlichkeiten für alle $E$ Experten. Die Auswahl eines größeren $k_2$ für den Nenner beinhaltet lediglich eine etwas breitere Top- $k$ -Auswahl auf bereits berechneten Logits, was im Vergleich zu den Kosten der Evaluierung der Experten-FFNs vernachlässigbar ist.
Adaptive Skalierung: Wenn $k_2 > k_1$ , summieren sich die Gewichte zu weniger als 1, was zu einer input-adaptiven Herunterskalierung des Experten-Zweigs führt, wodurch der Gain effektiv am Trainings-Verteilung verankert wird.

Zentrale Beiträge und Erkenntnisse

1. Der Referenzsatz ist eine freie Variable

Das Paper zeigt, dass der Renormierungsnenner nicht mit der Aktivierungsanzahl übereinstimmen muss. Indem man $k_2$ auf die trainierte Anzahl der Experten $k$ (oder einen Wert in $[k, 2k]$ ) setzt, während man $k_1$ reduziert, bleibt der Gain erhalten.

Ergebnis: Bei Qwen3.6-35B-A3B sinkt durch die Reduzierung der aktivierten Experten von 8 auf 4 ( $k_1=4$ ) mit Standard-Renormierung ( $k_2=4$ ) die MMLU um 4,65 Punkte. Mit der vorgeschlagenen Methode ( $k_2=16$ ) beträgt der Abfall nur 0,35 Punkte, was statistisch nicht von der Baseline unterscheidbar ist.
Ergebnis: Beim 11-mal größeren Qwen3.5-397B-A17B führt die Reduzierung von 10 auf 5 Experten ( $k_1=5$ ) mit $k_2=10$ zu einem Verlust von nur 0,55 Punkten, verglichen mit einem Verlust von 2,10 Punkten bei Standard-Renormierung.

2. Expertenidentität vs. Gewichtung

Die Studie analysiert, ob das Modell sensibler darauf reagiert, welche Experten gewählt werden oder wie stark sie gewichtet werden.

Ergebnis: Die Expertenidentität ist wesentlich wichtiger als die Gewichtung. Das Ersetzen der Router-Gewichte durch uniforme Gewichte (bei Beibehaltung derselben Top-8-Selektion) erhöht die Perplexität um 49,7 %. Die zufällige Auswahl von Experten erhöht sie um 1667 %.
Implikation: Dies validiert die vorgeschlagene Methode: Solange die korrekten Experten ausgewählt werden ( $k_1$ ), kann das Modell erhebliche Verzerrungen in der Magnitude ihrer Gewichte (durch die $k_2$ -Korrektur) tolerieren.

3. Perplexität vs. Downstream-Genauigkeit

Das Paper warnt davor, die Perplexität allein zur Auswahl von Kompressions-Hyperparametern zu verwenden.

Ergebnis: Beim 35B-Modell wird die Perplexität bei $k_2=8$ (das trainierte $k$ ) minimiert, aber die MMLU-Genauigkeit wird bei $k_2=16$ maximiert. Die perplexitätsoptimale Einstellung führt zu einem statistisch signifikanten Rückgang der MMLU um 1,10 Punkte im Vergleich zur genauigkeitsoptimalen Einstellung.
Implikation: Die Auswahl von $k_2$ basierend auf ungelabelten Texten (Perplexität) kann zu suboptimalen Konfigurationen für Downstream-Aufgaben führen. Die Validierung sollte mittels gepaarter Signifikanztests auf Downstream-Aufgaben erfolgen.

4. Grenzen des Experten-Pruning

Die Autoren analysieren die Machbarkeit des vollständigen Entfernens von Experten (Pruning) im Gegensatz zur bloßen Reduzierung der Aktivierung.

Ergebnis: Der Router ist gut ausbalanciert und weist fast keine "toten" Experten auf. Zudem ist die Experten-Spezialisierung hochgradig domänenspezifisch (z. B. haben WikiText vs. Code eine geringe Experten-Überlappung).
Implikation: Das Pruning von Experten für ein allgemeines Modell bietet wenig Spielraum, da die Vereinigung domänenspezifischer Top-Experten fast den gesamten Satz abdeckt. Der Rechenseitige Hebel (Reduzierung von $k_1$ mit korrigiertem $k_2$ ) ist effektiver als strukturelles Pruning für diese feinkörnigen Modelle.

Bedeutung und Behauptungen

Das Paper behauptet, dass der wahrgenommene Trade-off zwischen Rechenreduktion und Genauigkeit in feinkörnigen MoE-Modellen weitgehend ein Artefakt einer impliziten Gain-Fehlkalibrierung ist, die durch die Standard-Renormierung verursacht wird.

Trainingsfreie Effizienz: Die Methode ermöglicht es, die Rechenlast der aktivierten Experten mit vernachlässigbarem Verlust an Downstream-Genauigkeit zu halbieren, ohne dass Training, Distillation oder Modifikation von Parametern erforderlich sind.
Neubewertung bisheriger Arbeiten: Die Autoren legen nahe, dass frühere Berichte über einen "steil abfallenden" Leistungsabfall bei der Reduzierung von $k$ in feinkörnigen Modellen übermäßig pessimistisch sein könnten, da sie den Referenzsatz nicht entkoppelt haben.
Methodischer Wandel: Das Paper plädiert dafür, $k_2 \in \{k_1, k, 2k\}$ zu scannen und mittels gepaarter Tests auf Downstream-Aufgaben zu validieren, anstatt sich auf die Perplexität oder Standard-Renormierungseinstellungen zu verlassen.

Die Arbeit ist auf spezifische Qwen-Serien-Modelle und Englisch/Python-Domänen beschränkt, und die Autoren merken an, dass der Effekt mit der Flachheit des Routers skaliert, was darauf hindeutet, dass grobkörnige MoEs (z. B. 8 Experten, Top-2) weniger davon profitieren könnten.