💬 NLP

Pruning and Distilling Mixture-of-Experts into Dense Language Models

Dieser Beitrag stellt ein neuartiges Framework vor, das trainierte Mixture-of-Experts (MoE)-Modelle durch Scoring, Selektion und Gruppierung von Experten gefolgt von Wissensdistillation in Standard-Dense-Architekturen umwandelt und zeigt, dass dieser Ansatz traditionelles Dense-zu-Dense-Pruning in Bezug auf Genauigkeit und Trainingseffizienz deutlich übertrifft.

Ursprüngliche Autoren: Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Engpass „Alle Hände an Deck"

Stellen Sie sich eine riesige, hochmoderne Restaurantküche (das MoE-Modell) vor, die darauf ausgelegt ist, unglaublich komplexe Gerichte zuzubereiten. Diese Küche verfügt über 128 verschiedene Spezialkoch-Experten im Personal. Für jede einzelne Bestellung ruft der Küchenchef (der Router) jedoch nur 8 von ihnen zur Arbeit. Die anderen 120 Köche stehen untätig da und warten auf ihren Einsatz.

Diese Einrichtung ist großartig für Kochgeschwindigkeit und Vielfalt, hat aber ein riesiges Problem: Um die Küche zu eröffnen, müssen Sie alle 128 Köche einstellen und bezahlen. Auch wenn Sie nur gleichzeitig 8 einsetzen, benötigen Sie genügend Platz (Speicher) und Geld (Rechenleistung), um alle 128 auf der Gehaltsliste zu halten. Dies macht es unmöglich, eine kleine Filiale dieses Restaurants in einem winzigen Laden (wie einem Telefon oder einem einzelnen Computer) zu eröffnen, da dort nicht genug Platz für das gesamte Personal ist.

Aktuelle Lösungen versuchen, einige Köche zu entlassen, um die Küche kleiner zu machen, aber Sie müssen die verbleibenden Köche dennoch auf separaten, spezialisierten Stationen behalten. Sie müssen immer noch alle ins Gebäude laden.

Die Lösung: Die „Meisterkoch"-Transformation

Die Autoren dieses Papiers schlagen ein radikales neues Rezept vor. Anstatt nur Köche zu feuern, wollen sie die besten 8 Köche zu einem Super-Koch zusammenführen, der alles kann, was das Team getan hat, aber ohne den zusätzlichen Platzbedarf.

Sie nehmen das trainierte Team aus 128 Spezialisten und verwandeln es in eine standardmäßige, dichte Küche (ein Dichtes Modell), die in einen kleinen Laden passt, aber dennoch wie ein Meister kocht.

Wie sie es taten: Der dreistufige Prozess

Das Papier beschreibt einen dreistufigen Prozess, um die „MoE-Küche" in eine „Dichte Küche" zu verwandeln.

1. Bewertung: Die „Sterne"-Köche finden

Zuerst müssen sie entscheiden, welche Köche sie behalten. Sie können nicht einfach die auswählen, die am häufigsten aufgerufen werden (Häufigkeit), denn diese könnten die „Allrounder" sein, die alles einigermaßen, aber nichts Großartiges machen.

Der alte Weg: Wählen Sie die Köche aus, die am häufigsten gerufen werden. (Wie die beliebtesten Mitarbeiter auswählen).
Der neue Weg (Vielfaltsbewusste Bewertung): Die Autoren entwickelten eine neue Metrik namens DO-ACP. Stellen Sie sich vor, Sie wählen eine Sportmannschaft aus. Sie wählen nicht einfach die 8 Spieler aus, die die meisten Spiele spielen; Sie wählen die 8 Spieler aus, die die vielfältigsten Fähigkeiten haben und in diesen spezifischen Fähigkeiten die Besten sind.
- Wenn Koch A großartig im Backen ist und Koch B großartig im Grillen, wollen Sie beide.
- Wenn Koch C und Koch D beide großartig im Grillen sind, brauchen Sie nur einen von ihnen.
- Die neue Methode stellt mathematisch sicher, dass die ausgewählten Köche das breiteste Spektrum an „Geschmacksrichtungen" (Wissen) ohne Redundanz abdecken.

2. Gruppierung & Zusammenführung: Den Super-Koch bauen

Sobald sie die Top-8-Köche ausgewählt haben (oder ein paar mehr, auf Nummer sicher zu gehen), müssen sie sie kombinieren.

Reines Beschneiden (Der Gewinner): In den meisten Fällen führte das beste Ergebnis dazu, die Top-8-Köche einfach direkt in die neue Küche zu kopieren, ohne ihre Rezepte zu mischen. Es stellt sich heraus, dass 8 verschiedene, hochwertige Spezialisten, die nebeneinander arbeiten, besser sind als der Versuch, ihre Rezepte zu einem durchschnittlichen Rezept zu vermischen.
Zusammenführung: Wenn sie mehr als 8 auswählen müssten, würden sie die Rezepte ähnlicher Köche gewichtet nach ihrer Leistung miteinander vermischen.

3. Wissensdistillation: Das „Geschmackstest"-Training

Jetzt haben sie eine neue Küche mit 8 Köchen (der Schüler), aber sie ist noch nicht perfekt. Es ist wie ein neues Restaurant mit dem richtigen Personal, das aber noch nicht die geheimen Familienrezepte gelernt hat.

Sie setzen die neue Küche neben die ursprüngliche 128-Köche-Küche (der Lehrer).

Der Lehrer kocht ein Gericht.
Der Schüler versucht, genau dasselbe Gericht zu kochen.
Der Lehrer korrigiert den Schüler: „Nein, Sie haben zu viel Salz hinzugefügt" oder „Sie haben das subtile Gewürz verpasst."
Der Schüler lernt aus diesen Korrekturen. Dieser Prozess wird Wissensdistillation genannt.

Die Ergebnisse: Warum dies wichtig ist

Die Autoren testeten dies an mehreren massiven KI-Modellen (wie Qwen3, DeepSeek und GPT-OSS). Hier ist, was sie herausfanden:

Die richtigen Köche auszuwählen ist alles: Die Methode zur Bewertung der Köche war wichtiger als die Art und Weise, wie sie gruppiert wurden. Ihre neue „vielfaltsbewusste" Bewertung war der klare Gewinner und schlug alle bisherigen Methoden mit einem signifikanten Vorsprung.
Nicht mischen, einfach auswählen: Überraschenderweise war die beste Strategie, genau 8 Köche auszuwählen und sie überhaupt nicht zu mischen. Einfach nur die 8 besten, vielfältigsten Experten zusammenarbeiten zu lassen, war besser, als sie zu mitteln.
Die Konkurrenz schlagen: Sie verglichen ihre „MoE-zu-Dicht"-Methode mit dem alten Weg, kleine Modelle herzustellen (ein großes dichtes Modell zu nehmen und es zu verkleinern).
- Das Ergebnis: Ihre neue Methode produzierte ein Schülermodell, das bei durchschnittlichen Aufgaben 6,3 % genauer war.
- Geschwindigkeit: Es war auch 1,6-mal schneller zu trainieren, da die ursprüngliche „Lehrer"-Küche während des Trainingsprozesses effizienter zu betreiben war.

Das Fazit

Betrachten Sie dieses Papier als Bauplan für die Verkleinerung eines riesigen Unternehmenshauptsitzes zu einem kleinen, effizienten Startup-Büro, ohne die Intelligenz des Unternehmens zu verlieren.

Anstatt nur Leute zu feuern, um die Miete zu sparen, wählten sie sorgfältig die 8 vielseitigsten und talentiertesten Mitarbeiter aus, gaben ihnen ein neues, kompaktes Büro und ließen sie die Geheimnisse des Unternehmens vom ursprünglichen großen Team lernen. Das Ergebnis? Ein kleines Büro, das genauso gut funktioniert wie das große, aber in viel weniger Platz passt.

Wichtigste Erkenntnis: Sie müssen nicht das gesamte massive Team behalten, um die Ergebnisse zu erzielen; Sie müssen nur die richtigen 8 auswählen, sie getrennt halten und sie gut unterrichten.

Technische Zusammenfassung: Beschneiden und Destillieren von Mixture-of-Experts zu dichten Sprachmodellen

Problemstellung

Mixture-of-Experts (MoE)-Architekturen haben sich aufgrund ihrer Fähigkeit, die Gesamtzahl der Parameter zu skalieren und gleichzeitig die Effizienz beim Training und beim Serving aufrechtzuerhalten, zum vorherrschenden Paradigma für fortschrittliche Large Language Models (LLMs) entwickelt. Eine grundlegende Einschränkung besteht jedoch weiterhin: Obwohl nur ein Bruchteil der Parameter pro Token aktiviert wird, müssen bei MoE-Modellen alle Expertenparameter in den Speicher geladen werden. Dieser Speicherbedarf macht sie für deploymentszenarien mit Speicherbeschränkungen ungeeignet, wie z. B. die Inferenz auf Endgeräten oder das Serving auf einer einzelnen GPU.

Aktuelle Lösungen beinhalten die Veröffentlichung separater kleiner dichter Modelle, die von Grund auf neu trainiert oder durch kaskadiertes Beschneiden großer dichter Lehrermodelle entstehen. Diese Ansätze sind rechenintensiv und nutzen die bereits im trainierten MoE-Modell vorhandenen reichhaltigen Fähigkeiten nicht aus. Bestehende MoE-Komprimierungsmethoden (z. B. MC-SMoE, HC-SMoE) reduzieren zwar die Anzahl der Experten, behalten jedoch die sparse MoE-Struktur bei und bewahren damit die Speicherineffizienz. Es fehlt an systematischen Rahmenwerken, um ein trainiertes MoE-Modell in eine standardmäßige, vollständig dichte Architektur umzuwandeln.

Methodik

Die Autoren stellen das erste systematische Rahmenwerk vor, das ein trainiertes MoE-Sprachmodell durch eine dreistufige Pipeline in eine vollständig dichte Architektur umwandelt: Experten-Bewertung und -Auswahl, Gruppierung und Konkatenation sowie Wissensdistillation.

1. Experten-Bewertung und -Auswahl

Der Kern der Methode besteht darin, alle $E$ Experten in einer Schicht zu bewerten, um eine Teilmenge der Größe $K$ auszuwählen ( $K \ge k$ , wobei $k$ die Anzahl der aktiven Experten pro Token ist). Der Artikel bewertet sieben Bewertungsmethoden:

Frequenzbasiert: Auswahlfrequenz (SF), Vor-Auswahl-Wahrscheinlichkeit (PP), Nach-Auswahl-Wahrscheinlichkeit (PS). Diese bevorzugen generalistische Experten.
Bedingte Wahrscheinlichkeit (CP): Konzentriert sich auf die Routing-Konfidenz und bevorzugt spezialisierte Experten.
Aktivierungsgewichtete CP (ACP): Kombiniert Routing-Konfidenz mit der Ausgabemagnitude.
D-Optimale Auswahl (DO): Ein neuartiges Kriterium, das die Bedeutung der Experten und ihre gegenseitige Diversität gemeinsam maximiert. Es wählt eine Teilmenge $S$ aus, um den Logarithmus der Determinante einer mit Wichtigkeit gewichteten Gram-Matrix zu maximieren:
$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$
wobei $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$ . Dies wird gierig gelöst. Die Autoren schlagen DO-ACP (D-optimale Auswahl basierend auf ACP-Werten) als optimale Strategie vor.

2. Gruppierung und Konkatenation

Die ausgewählten Experten werden $k$ Gruppen zugeordnet.

Reines Beschneiden ( $K=k$ ): Jede Gruppe enthält genau einen Experten; es findet keine Mittelung der Gewichte statt.
Verschmelzung ( $K>k$ ): Experten in einer Gruppe werden durch gewichtete Mittelung ihrer Parameter basierend auf den Werten verschmolzen.
Die resultierenden $k$ Gruppen werden zu einem einzigen dichten Feed-Forward-Netzwerk (FFN) mit der Zwischen-Dimension $d_{dense} = k \times d_{expert}$ konkateniert. Die Down-Projection-Matrizen werden mit Faktoren $\alpha_g$ (einheitlich oder proportional) skaliert, um das durchschnittliche Routing-Verhalten des ursprünglichen MoE zu approximieren.

3. Wissensdistillation

Das initialisierte dichte Modell wird durch Wissensdistillation vom MoE-Lehrer verfeinert. Das Ziel minimiert die forward-KL-Divergenz zwischen den Ausgabe-Verteilungen des Lehrers und des Schülers. Die Autoren untersuchen zudem die Erweiterung des Routings des Lehrers während der Distillation (Aktivierung von $k' > k$ Experten), um den Schüler Wissen von nicht ausgewählten Experten zugänglich zu machen.

Hauptbeiträge

Erstes MoE-zu-Dense-Rahmenwerk: Der Artikel stellt das erste End-to-End-System vor, das ein trainiertes MoE in eine vollständig dichte Architektur umwandelt und damit über die Einschränkung hinausgeht, kleinere sparse MoE-Modelle zu produzieren.
Diversitätsbewusste Experten-Auswahl: Die Autoren führen ein D-optimales Auswahlkriterium (DO-ACP) ein, das den Logarithmus der Determinante einer mit Wichtigkeit gewichteten Gram-Matrix maximiert. Diese Methode bestraft Redundanz explizit und wählt Experten aus, die sowohl wichtig als auch divers sind.
Umfassende Evaluierung: Die Studie evaluiert 350 Konfigurationen (7 Bewertungen $\times$ 5 Gruppierungen $\times$ 2 Skalierungen $\times$ 5 Werte für $K$ ) an Qwen3-30B-A3B und validiert die Ergebnisse an DeepSeek-V2-Lite und GPT-OSS-20B.

Ergebnisse

Leistung an Qwen3-30B-A3B

Dominanz der Bewertung: Die Wahl der Bewertungsmethode ist der einflussreichste Faktor und erzeugt eine Lücke von 5,7 Prozentpunkten (pp) in der durchschnittlichen Downstream-Genauigkeit zwischen der besten und der schlechtesten Methode. Gruppierungsstrategien tragen nur $\sim$ 1 pp bei.
Überlegenheit von DO-ACP: Die DO-ACP-Methode übertrifft konsistent alle anderen Konfigurationen. Bei $K=8$ (reines Beschneiden) erreicht sie eine durchschnittliche Genauigkeit von 43,41 % auf Downstream-Benchmarks (Winogrande, HellaSwag, ARC-E/C, MMLU).
Reines Beschneiden vs. Verschmelzung: Für diversitätsbewusste Bewertung (DO-ACP, ACP) schneidet reines Beschneiden ( $K=k$ ) besser ab als Verschmelzung ( $K>k$ ). Frequenzbasierte Methoden (SF) profitieren von der Verschmelzung, aber DO-ACP-Experten sind individuell stark genug, um allein zu bestehen.
Vergleich mit Baselines:
- vs. MoE-Komprimierung: Übertrifft umgedeutete MoE-Komprimierungsmetriken (z. B. MC-SMoE, HC-SMoE) um 5,9–7,1 pp.
- vs. Dense-to-Dense (D2D) Beschneiden: In einem kontrollierten Vergleich mit einem parametergleichen dichten Lehrer (Qwen3-32B $\to$ 3,4B-Schüler) schneidet MoE-zu-dense (DO-ACP) nach $\sim$ 4B-Token-Distillation um +6,3 pp besser ab als D2D-Beschneiden (58,10 % vs. 51,84 %).
- vs. Zufällige Initialisierung: Übertrifft die zufällige FFN-Initialisierung um +12,7 pp, was zeigt, dass die Expertenstruktur eine leistungsstarke Initialisierung bietet.

Erweitertes Training und modellübergreifende Validierung

Skalierung: Der Leistungs-vorteil von DO-ACP bleibt bestehen und vergrößert sich mit erweitertem Training ( $\sim$ 4B Token).
Generalisierung: Die Ergebnisse lassen sich auf DeepSeek-V2-Lite (64 Experten) und GPT-OSS-20B (32 Experten) übertragen. Während sich die absolute Lücke zwischen den Bewertungsmethoden verkleinert, sobald die Größe des Expertenpools abnimmt, bleibt DO-ACP die beste Methode.
Effizienz: Die MoE-zu-dense-Distillation ist in der Wandzeit 1,6 $\times$ schneller als D2D-Beschneiden, da der MoE-Lehrer während der Distillationsphase weniger Parameter pro Token aktiviert.

Qualitative Analyse

Eine Fehleranalyse an MMLU-Aufgaben mit Chain-of-Thought zeigt, dass DO-ACP-Modelle im Vergleich zu D2D- und frequenzbasierten Methoden die niedrigsten Raten katastrophaler Ausfälle (Inkohärenz, repetitive Schleifen) und Wissensfehler aufweisen. Die diversitätsbewusste Auswahl scheint faktisches und kulturelles Wissen effektiver zu bewahren, insbesondere in den Geistes- und Sozialwissenschaften.

Bedeutung und Behauptungen

Der Artikel behauptet, ein einfaches, effektives Rezept für den Einsatz von MoE-Fähigkeiten in speicherbeschränkten Umgebungen bereitzustellen: Bewerten mit DO-ACP, genau die Top- $k$ -Experten pro Schicht beibehalten (reines Beschneiden) und mit forward-KL distillieren.

Die Autoren betonen, dass dieser Ansatz die „Speicherineffizienz" von MoE in eine „dichte Effizienz" umwandelt, ohne die Leistungsgewinne zu opfern, die sich aus der spezialisierten Expertenstruktur von MoE ergeben. Sie behaupten, dass MoE-Modelle einen stärkeren Ausgangspunkt für die Distillation bieten als dichte Lehrer mit gleicher Parameteranzahl, was die Notwendigkeit infrage stellt, dichte Modelle von Grund auf neu zu trainieren oder dichte Lehrer zu beschneiden. Die Arbeit stellt fest, dass die Experten-Diversität und nicht nur Frequenz oder Magnitude der kritische Faktor bei der Komprimierung von MoE-Modellen in dichte Architekturen ist.