💬 NLP

Post-Trained MoE Can Skip Half Experts via Self-Distillation

Dieser Artikel stellt Zero-Expert Self-Distillation Adaptation (ZEDA) vor, ein kostengünstiges Framework, das nachtrainierte statische Mixture-of-Experts-Modelle durch das Einfügen parametrischer Nullausgabe-Experten und die Anwendung einer zweistufigen Selbst-Distillation in effiziente dynamische Modelle umwandelt, wodurch die FLOPs der Experten um über 50 % bei marginalen Genauigkeitsverlusten reduziert und erhebliche Beschleunigungen der Inferenz erzielt werden.

Ursprüngliche Autoren: Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die überarbeitete Küche

Stellen Sie sich ein gehobenes Restaurant (ein Large Language Model) vor, das über eine riesige Küche mit 128 Expertenköchen verfügt (diese sind die „Experten" in der MoE-Architektur).

In einem Standard-Setup wird die Bestellung unabhängig davon, ob es sich um eine einfache „Hallo"-Nachricht oder eine komplexe Anfrage zum Schreiben einer Symphonie handelt, immer an dieselben 8 Köche weitergeleitet. Dies stellt zwar sicher, dass das Essen immer perfekt ist, aber es ist unglaublich teuer und langsam, da man 8 Köche dafür bezahlt, eine einzige Karotte zu schneiden, wenn einer genügt hätte.

Das Ziel dieses Papiers ist es, die Küche intelligenter zu machen: Lassen Sie die Bestellung entscheiden, wie viele Köche benötigt werden. Bei einer einfachen Bestellung werden weniger Köche eingesetzt; bei einer schwierigen mehr. Dies wird als „dynamische" Küche bezeichnet.

Die Herausforderung: Entlassen Sie noch niemanden!

Normalerweise muss man, um eine intelligente, dynamische Küche zu bauen, ein ganz neues Team einstellen und von Grund auf neu ausbilden. Das dauert Jahre und kostet ein Vermögen.

Aber dieses Papier fragt: Können wir eine bestehende, vollständig ausgebildete Küche (die bereits weiß, wie man perfekt kocht) in eine dynamische verwandeln, ohne jemanden zu entlassen oder sie von Null neu zu trainieren?

Die Antwort lautet ZEDA (Zero-Expert Self-Distillation Adaptation).

Die ZEDA-Lösung: Die „Geisterköche"

ZEDA nutzt einen cleveren Trick mit Geisterköchen (Zero Experts).

Einschleusen von Geistern: Die Forscher nehmen die bestehende Küche und fügen heimlich eine Reihe neuer „Köche" hinzu, die keine Hände haben und keine Messer tragen. Sie sind Zero Experts. Sie tun absolut nichts. Ihre Ausgabe ist immer Null.
Die neue Regel: Der Küchenmanager (der Router) erhält nun den Auftrag: „Sie müssen für jede Bestellung immer noch 8 Personen auswählen, aber jetzt können Sie aus den 128 echten Köchen plus diesen neuen Geisterköchen wählen."
Die Magie: Wenn die Bestellung einfach ist (wie „Wie ist das Wetter?"), lernt der Manager, 4 echte Köche und 4 Geisterköche auszuwählen. Da die Geister keine Arbeit verrichten, leistet die Küche nur die Arbeit von 4 Köchen. Wenn die Bestellung schwierig ist (wie „Lösen Sie dieses Matheproblem"), wählt der Manager 8 echte Köche und 0 Geister aus.

Wie bringen wir dem Manager bei? (Selbstdistillation)

Das Problem ist, dass der Manager noch nicht weiß, wann er einen Geisterkoch auswählen soll. Wenn er für ein schwieriges Matheproblem einen Geisterkoch auswählt, wird das Essen verbrennen.

Um dies zu beheben, verwendet ZEDA Selbstdistillation, was wie ein „Schatten-Trainingsprogramm" funktioniert:

Der Lehrer: Die ursprüngliche, vollständig ausgebildete Küche (mit 128 echten Köchen) fungiert als strenger Lehrer. Sie weiß genau, wie die perfekte Antwort aussieht.
Der Schüler: Die neue Küche (mit Geistern) versucht, den Lehrer zu kopieren.
Der Prozess:
1. Stufe 1 (SFT): Der Schüler beobachtet, wie der Lehrer kocht. Der Lehrer sagt: „Für diese einfache Bestellung hätte ich 8 Köche verwendet, aber Sie können es mit 4 echten Köchen und 4 Geistern versuchen. Stellen Sie nur sicher, dass der Geschmack gleich bleibt."
2. Stufe 2 (OPD): Der Schüler beginnt, selbst zu kochen. Wenn er einen Fehler macht, greift der Lehrer ein und sagt: „Sie haben für ein schwieriges Matheproblem einen Geisterkoch ausgewählt! Deshalb ist die Antwort falsch. Wählen Sie beim nächsten Mal für diese Art von Frage mehr echte Köche."

Das Geheimnis: Die „Gruppenbalance"

Es bestand die Gefahr, dass der Manager faul wird und nur Geister auswählt, um Energie zu sparen, oder keine Geister auswählt und Energie verschwendet.

Um dies zu verhindern, fügten die Forscher eine Gruppenbalance-Regel hinzu. Sie sagten dem Manager: „Sie müssen ein gesundes Verhältnis wahren. Für jeden 2 echten Köche, die Sie einsetzen, sollten Sie versuchen, 1 Geisterkoch zu verwenden, aber niemals das Gleichgewicht zwischen den echten Köchen selbst stören."

Dies stellt sicher, dass die Küche effizient bleibt (wo immer möglich Geister eingesetzt werden), aber die Qualität des Essens nicht beeinträchtigt wird.

Die Ergebnisse: Schneller, günstiger, gleicher Geschmack

Nach diesem Training (das auf leistungsstarken Computern weniger als 2 Tage dauerte, im Vergleich zu Jahren für das ursprüngliche Training):

Geschwindigkeit: Die Küche wurde 20 % schneller, da sie auf unnötige Arbeit verzichtete.
Effizienz: Sie übersprang 50 % der Expertenarbeit (bei etwa der Hälfte der Tokens wurden Geister verwendet).
Qualität: Der Geschmack war fast genau derselbe wie zuvor. Bei einigen Tests wurde er sogar leicht besser, da der Manager lernte, seine Energie besser zu fokussieren.

Zusammenfassung

ZEDA ist eine Methode, um ein „statisches" KI-Modell (das immer die gleiche Arbeitsmenge verrichtet) in ein „dynamisches" zu verwandeln (das bei einfachen Aufgaben weniger Arbeit leistet), indem:

Unsichtbare „Geister"-Experten hinzugefügt werden, die nichts tun.
Dem Modell beigebracht wird, diese Geister für einfache Aufgaben zu nutzen, indem es eine „Lehrer"-Version seiner selbst kopiert.
Eine spezielle Regel verwendet wird, um sicherzustellen, dass die Geister genau genug eingesetzt werden, um Geld zu sparen, aber nicht so sehr, dass die Antworten schlecht werden.

Es ist wie der Umbau eines Busses, der immer 50 Fahrgäste befördert (auch wenn nur 5 erscheinen), in einen Bus, der sich automatisch zu einem Van verkleinert, wenn nur 5 Personen an Bord sind, und so Kraftstoff spart, ohne jemanden zurückzulassen.

Technische Zusammenfassung: Zero-Expert Self-Distillation Adaptation (ZEDA)

1. Problemstellung

Mixture-of-Experts (MoE)-Architekturen haben sich zum Standard für das Skalieren von Large Language Models (LLMs) entwickelt, indem sie die Kapazität erhöhen, gleichzeitig die Berechnung pro Token begrenzen. Während dynamische MoE-Varianten durch Anpassung der Anzahl aktivierter Experten basierend auf der Eingabeschwierigkeit weitere Effizienzgewinne bieten, erfordern bestehende Methoden typischerweise ein Neuvorabtraining oder eine aufgaben spezifische Anpassung. Folglich bleibt die praktische Umwandlung von vollständig nachtrainierten statischen MoE-Modellen (die ein umfangreiches Vorabtraining, Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) durchlaufen haben) in effiziente dynamische Gegenstücke weitgehend unerforscht. Die direkte Anwendung bestehender dynamischer Routing-Methoden auf diese ausgereiften Modelle birgt das Risiko, die sorgfältig kalibrierten Routing-Verteilungen und Fähigkeiten zu stören, die während ihrer vollständigen Trainingspipelines etabliert wurden. Die Kernherausforderung besteht darin, ein nachtrainiertes statisches MoE in ein dynamisches zu migrieren, das für „einfache" Token unnötige Experten überspringt, ohne etablierte Leistungen zu beeinträchtigen oder prohibitiv hohe Anpassungskosten zu verursachen.

2. Methodik: ZEDA

Die Arbeit stellt Zero-Expert Self-Distillation Adaptation (ZEDA) vor, ein kostengünstiges Framework, das nachtrainierte statische MoE-Modelle in dynamische umwandelt. Die Methode besteht aus drei Hauptkomponenten:

2.1 Zero-Expert Injection

ZEDA wandelt ein statisches MoE architektonisch in ein dynamisches um, indem es parameterfreie Zero-Experten ( $Z = \{Z_1, ..., Z_{N_Z}\}$ ) in den bestehenden Expertenpool injiziert.

Mechanismus: Diese Zero-Experten geben für jeden Eingabe-Versteckzustand $h$ identisch Null aus ( $Z_j(h) = 0$ ).
Routing: Der Router wählt eine Top- $K$ -Teilmenge aus dem erweiterten Pool von $N + N_Z$ Experten aus. Wird ein Zero-Experte ausgewählt, trägt er keine Berechnung bei und reduziert effektiv die Anzahl der aktiven normalen Experten für diesen Token.
Initialisierung: Die ursprünglichen Router-Parameter für normale Experten bleiben erhalten. Neue Router-Parameter für Zero-Experten werden aus einer Gauß-Verteilung initialisiert, die Mittelwert und Varianz der ursprünglichen Parameter entspricht, um die Skala der Router-Logits beizubehalten.

2.2 Zwei-Stufen-Selbstdistillation

Um das augmentierte Modell ohne Neuvorabtraining anzupassen, setzt ZEDA einen Zwei-Stufen-Selbstdistillationsprozess ein, der das ursprüngliche nachtrainierte MoE als eingefrorenen Lehrer verwendet:

Supervised Fine-Tuning (SFT): Das Schülermodell wird auf Antworten trainiert, die vom Lehrer gesampelt wurden. Die Verlustfunktion kombiniert eine Standard-Cross-Entropy mit dem Group Auxiliary Loss.
On-Policy Distillation (OPD): Das Schülermodell generiert eigene Trajektorien, und der Lehrer bewertet diese, um Token-Level-Ziele bereitzustellen. Das Ziel minimiert die reverse KL-Divergenz zwischen der On-Policy-Verteilung des Schülers und der Verteilung des Lehrers.

2.3 Group Auxiliary Loss ( $L_{GA}$ )

Standard-Lastausgleichsverluste (die Uniformität über alle Experten hinweg erzwingen) sind für nachtrainierte MoEs ungeeignet, da sie gelernte, nicht-uniforme Routing-Muster unter normalen Experten stören würden. ZEDA führt einen Group Auxiliary Loss ein, der die Aktivierung auf Gruppenebene statt auf Ebene einzelner Experten ausgleicht:

Gruppen: Normale Experten bilden Gruppe $\mathcal{E}$ ; Zero-Experten bilden Gruppe $\mathcal{Z}$ .
Ziel: Der Verlust reguliert die relative Aktivierungsfrequenz zwischen den beiden Gruppen, gesteuert durch einen Gewichtsparameter $w$ . Er fördert, dass das Verhältnis aktivierter normaler Experten zu Zero-Experten gegen ein Zielverhältnis ( $N : N_Z \cdot w$ ) konvergiert, ohne die Routing-Verteilung innerhalb der Gruppe der normalen Experten zu flachen.
Ergebnis: Dies ermöglicht dem Modell zu lernen, wann Berechnungen übersprungen werden sollen (Auswahl von Zero-Experten), während die interne Routing-Logik des ursprünglichen Modells erhalten bleibt.

3. Hauptbeiträge

Nachtrainierungs-Anpassungsframework: ZEDA ist die erste Methode, die vollständig nachtrainierte statische MoE-Modelle effektiv durch Zero-Expert Injection und Selbstdistillation in dynamische umwandelt und damit die Notwendigkeit eines teuren Neuvorabtrainings umgeht.
Stabile architektonische Konvertierung: Die Einführung des Group Auxiliary Loss stabilisiert die Konvertierung, indem er die Nutzung von Zero-Experten reguliert, ohne die gelernten Routing-Strukturen normaler Experten zu stören.
Effizienz-Leistungs-Abwägung: Die Methode erzielt eine signifikante Reduktion der Berechnung (Überspringen von >50 % der Experten) bei nur marginalen Genauigkeitsverlusten und übertrifft bestehende dynamische MoE-Baselines und Varianten (z. B. Naive Expert Truncation).
Einblick in Aktivierungsdynamiken: Die Arbeit liefert Analysen, die zeigen, dass die Aktivierung von Zero-Experten mit Verteilungslücken zwischen Lehrer und Schüler (Logp-Diff) und Modellunsicherheit korreliert, nicht mit der allgemeinen Aufgabenschwierigkeit. Strukturierte Segmente (wie Code oder mathematische Ausdrücke) weisen tendenziell höhere Raten an Zero-Expert-Aktivierung (weniger Berechnung) auf im Vergleich zu natürlichem Text.

4. Experimentelle Ergebnisse

Experimente wurden an Qwen3-30B-A3B und GLM-4.7-Flash über 11 Benchmarks durchgeführt, die Mathematik, Code und Instruktionsbefolgung abdecken.

Leistung: ZEDA eliminiert über 50 % der Expert-FLOPs (Erreichen von $r_{ZE} \approx 51,2\%$ $r_{Z E} \approx 51, 2%$ bei Qwen und $53,0\%$ $53, 0%$ bei GLM) und behält gleichzeitig eine Leistung bei, die mit dem ursprünglichen statischen Modell vergleichbar ist.
- Bei Qwen3-30B-A3B übertrifft ZEDA die stärkste dynamische Baseline (AdaMoE) im Durchschnitt um 6,1 Punkte.
- Bei GLM-4.7-Flash übertrifft sie die Baseline um 4,0 Punkte.
- Im Gegensatz zu Baselines, die bei schwierigen Reasoning- oder Code-Aufgaben kollabieren, behält ZEDA auf allen Domänen einheitlich eine wettbewerbsfähige Leistung bei.
Effizienz: Die Anpassung ergibt eine End-to-End-Inferenzbeschleunigung von etwa 1,20× (rund 20 % Beschleunigung sowohl in der Prefill- als auch in der Decode-Phase) auf 8 NVIDIA H200 GPUs.
Anpassungskosten: Der gesamte Anpassungsprozess dauert weniger als 31 Stunden für Qwen und 62 Stunden für GLM, was im Vergleich zu den Kosten für Vorabtraining oder vollständiges Nachtraining vernachlässigbar ist.
Generalisierung: ZEDA zeigt eine starke Out-of-Distribution (OOD)-Generalisierung auf MMLU-Redux und GPQA-Diamond und bewahrt die Genauigkeit bei gleichzeitig hoher Nutzung von Zero-Experten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ZEDA eine praktische, kosteneffektive Lösung zur Verbesserung der Bereitstellungseffizienz von großskaligen MoE-Systemen bietet. Durch die Nutzung der bestehenden Fähigkeiten nachtrainierter Modelle und den Einsatz von Selbstdistillation zum Erlernen dynamischen Routings ermöglicht ZEDA, dass „einfache" Token unnötige Expertenberechnungen umgehen, ohne das etablierte Wissen oder die Reasoning-Fähigkeiten des Modells zu beeinträchtigen.

Die Autoren betonen, dass dieser Ansatz die erheblichen architektonischen Modifikationen und Neustrainingskosten vermeidet, die mit früheren dynamischen MoE-Methoden verbunden sind. Die Ergebnisse deuten darauf hin, dass nachtrainierte MoE-Modelle erfolgreich in effiziente dynamische Architekturen migriert werden können, was hochkapazitive Modelle für den realen Einsatz praktikabler macht, wo Inferenzkosten eine primäre Einschränkung darstellen. Die Arbeit hebt hervor, dass die dynamische Berechnungszuweisung intrinsisch mit der internen Unsicherheit des Modells und der Ausrichtung zwischen Schüler- und Lehrer-Verteilungen verknüpft ist, nicht nur mit der externen Aufgabenschwierigkeit.