REAP the Experts: Why Pruning Prevails for One-Shot MoE compression

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, du hast einen riesigen, hochspezialisierten Kochteam in einer Küche. Dieses Team ist ein sogenanntes „Mixture-of-Experts" (MoE) Modell. Es besteht aus hunderten von einzelnen Köchen (den „Experten"), von denen jeder ein absoluter Spezialist ist: Einer macht nur perfekte Pasta, einer nur die besten Steaks, einer nur Desserts und wieder einer nur vegetarische Gerichte.

Wenn ein Gast (die Eingabe) bestellt, schaut ein Kellner (der „Router") genau hin und entscheidet: „Heute brauchen wir den Pasta-Koch und den Steak-Koch." Nur diese beiden arbeiten, die anderen 98 Köche bleiben in der Küche und verbrauchen keine Energie. Das ist super effizient!

Aber hier liegt das Problem: Um dieses Team zu unterhalten, brauchst du riesige Küchen, viele Kühlschränke und unglaublich viel Personal. Das ist teuer und schwer zu transportieren. Viele wollen dieses Team verkleinern, damit es in eine kleine Wohnung (z. B. auf dein Laptop oder Handy) passt.

Bisher gab es zwei Ideen, wie man das Team verkleinern kann:

1. Die alte Idee: „Zusammenfassen" (Merging)

Man dachte: „Wir nehmen zwei Köche, sagen wir den Pasta-Koch und den Nudel-Spezialisten, und zwingen sie, sich zu einem einzigen Super-Koch zu verschmelzen."

Das Problem: Stell dir vor, der Pasta-Koch ist sehr kreativ und passt sein Gericht genau an den Hunger des Gastes an. Der Nudel-Spezialist ist sehr streng. Wenn du sie zu einem einzigen Koch verschmelzt, entsteht ein neuer, durchschnittlicher Koch. Er kann weder die kreative Anpassung noch die strenge Präzision perfekt hinbekommen. Er ist ein „Durchschnittskoch".
Die Folge: Bei einfachen Fragen („Ist das Gericht gut?") funktioniert das noch okay. Aber wenn der Gast ein komplexes, kreatives Gericht bestellt (wie Code schreiben oder einen Roman verfassen), scheitert der Durchschnittskoch. Er verliert die Fähigkeit, fein auf die Situation zu reagieren. Das Team wird „trüb" und verliert seine Schärfe.

2. Die neue Idee des Papers: „Aussortieren" (Pruning) mit REAP

Die Autoren des Papers sagen: „Nein, wir sollten die Köche nicht verschmelzen! Wir sollten stattdessen die Köche, die wirklich selten gebraucht werden, einfach gehen lassen."

Aber wie weiß man, welcher Koch wichtig ist?

Die naive Methode: „Wir zählen, wie oft jeder Koch angerufen wurde." Das ist gefährlich! Vielleicht ist ein Koch nur selten dran, aber wenn er dran ist, ist er unersetzlich (wie ein Spezialist für eine sehr seltene Allergie). Wenn man ihn rauswirft, ist das katastrophal.
Die REAP-Methode (Router-weighted Expert Activation Pruning): Das ist der Clou des Papers. REAP schaut sich zwei Dinge an:
1. Wie oft wurde der Koch angerufen? (Der Kellner hat ihn gewählt).
2. Wie gut hat er gearbeitet, als er dran war? (Hat er ein Meisterwerk geliefert?).

REAP sagt: „Wir behalten die Köche, die nicht nur oft angerufen werden, sondern die auch dann, wenn sie angerufen werden, wirklich große Leistungen erbringen. Wir entfernen nur die, die auch bei ihrer Arbeit schwächeln."

Warum ist das besser?

Stell dir vor, du hast eine Band.

Verschmelzen (Merging): Du nimmst den Gitarristen und den Bassisten und lässt sie gleichzeitig spielen, aber sie müssen denselben Song spielen. Das Ergebnis ist ein matschiges Geräusch. Die Feinheiten gehen verloren.
Aussortieren (Pruning mit REAP): Du entlässt den Schlagzeuger, der immer nur falsch spielt, wenn er doch mal dran ist. Der Rest der Band (Gitarrist, Bassist, Sänger) spielt weiter. Jeder kann noch genau so spielen, wie er es kann. Die Dynamik bleibt erhalten.

Das Ergebnis

Das Paper zeigt, dass diese neue Methode (REAP) besonders gut funktioniert, wenn man das Team um 50 % verkleinert:

Bei einfachen Multiple-Choice-Tests (wie „Ist das eine Katze?") waren beide Methoden okay.
Aber bei kreativen Aufgaben (Code schreiben, Mathe lösen, Geschichten erfinden) war das verschmolzene Team oft am Boden zerstört. Es produzierte langweilige, repetitive oder falsche Ergebnisse.
Das Team, das mit REAP verkleinert wurde, war fast so gut wie das Original! Es konnte komplexe Aufgaben lösen, ohne dass die Qualität stark nachließ.

Zusammenfassung in einem Satz

Statt zwei Experten zu einem mittelmäßigen Durchschnittsexperten zu verschmelzen (was die Feinheit zerstört), entfernt man mit REAP gezielt die schwächsten Experten und behält die starken, spezialisierten Köche, die auch bei komplexen Aufgaben brillieren. So bekommt man ein kleines, aber extrem leistungsfähiges Team, das auf jedem Gerät läuft.

Each language version is independently generated for its own context, not a direct translation.

Hier ist eine detaillierte technische Zusammenfassung des Konferenzpapiers „REAP THE EXPERTS: WHY PRUNING PREVAILS FOR ONE-SHOT MOE COMPRESSION" (veröffentlicht bei ICLR 2026) auf Deutsch.

1. Problemstellung

Sparsely-activated Mixture-of-Experts (SMoE) Modelle haben sich als effiziente Architektur für Large Language Models (LLMs) etabliert, da sie eine hohe Parameterzahl bei geringer Inferenzkosten ermöglichen. Allerdings führt die große Anzahl an Parametern zu erheblichem Speicherbedarf, was den Einsatz in ressourcenbeschränkten Umgebungen erschwert. Zudem führt ein Ungleichgewicht in der Expertennutzung während der Inferenz zu ineffizienter Hardwareauslastung.

Zur Kompression von SMoE-Modellen wurden zwei Hauptansätze verfolgt:

Expert-Pruning (Beschneiden): Das vollständige Entfernen ganzer Experten.
Expert-Merging (Verschmelzung): Das Zusammenfassen mehrerer Experten zu einem neuen, gewichteten Experten.

Bisherige Studien zeigten, dass Merging-Techniken auf diskriminativen Benchmarks (z. B. Multiple-Choice-Fragen) oft besser abschneiden als Pruning. Das Papier stellt jedoch die Hypothese auf, dass diese Ergebnisse auf generative Aufgaben (wie Code-Generierung oder kreatives Schreiben) nicht übertragbar sind und dass Merging fundamentale Fehler einführt, die bei Pruning vermieden werden.

2. Methodik und Theoretische Analyse

Theoretische Motivation: Der Fehler des Mergings

Die Autoren leiten eine theoretische Analyse her, die den fundamentalen Unterschied zwischen Pruning und Merging aufzeigt:

Merging induziert einen irreduziblen Fehler: Beim Merging werden die Gate-Werte (Router-Ausgaben) zweier Experten $g_i(x)$ und $g_j(x)$ addiert und auf einen neuen, statischen Experten $\tilde{f}$ angewendet. Der Router verliert dabei die Fähigkeit, die ursprünglichen Experten unabhängig und eingabeabhängig zu modulieren.
Funktionaler Subraum-Kollaps: In hochgranularen SMoE-Architekturen (viele Experten pro Schicht) variiert das Routing-Policy stark ( $Var[r(x)] > 0$ ). Das Merging zwingt das Modell, eine dynamische, eingabeabhängige Mischung $r(x)f_i(x) + (1-r(x))f_j(x)$ durch einen statischen Durchschnitt zu approximieren. Dies führt zu einem „Funktionalen Subraum-Kollaps", bei dem die geometrische Struktur des gelernten Expert-Manifolds verloren geht.
Pruning bewahrt die Topologie: Beim Pruning wird ein Experte entfernt, aber die verbleibenden Experten behalten ihre unabhängige Kontrolle durch den Router. Dies entspricht einer Operation im Koordinaten-Unterraum, die die Topologie des ursprünglichen Funktionsraums bewahrt.

Die neue Methode: REAP (Router-weighted Expert Activation Pruning)

Um Pruning zu optimieren, schlagen die Autoren REAP vor. Im Gegensatz zu naiven Methoden, die nur die Nutzungshäufigkeit (Frequency) oder die Aktivierungsnorm (EAN) betrachten, kombiniert REAP beide Faktoren, um die obere Schranke des Rekonstruktionsfehlers zu minimieren.

Die Saliency-Score $S_j$ für einen Experten $j$ wird definiert als der Durchschnitt der gewichteten Magnitude über alle Tokens, bei denen dieser Experte aktiv ist:
$S_j = \frac{1}{|X_j|} \sum_{x \in X_j} g_j(x) \cdot \|f_j(x)\|_2$
Dabei ist:

$g_j(x)$ : Der Router-Gate-Wert (wie stark der Experte für das Token $x$ gewählt wurde).
$\|f_j(x)\|_2$ : Die Norm der Ausgabe des Experten (funktionale Stärke).
$X_j$ : Die Menge der Tokens, bei denen Experte $j$ aktiv ist.

Vorteil von REAP: Durch die bedingte Berechnung nur über die aktiven Tokens ( $X_j$ ) werden Experten identifiziert, die selbst bei Aktivierung einen geringen Beitrag zum Layer-Ausgang leisten. Dies minimiert den „Substitutionsfehler", der entsteht, wenn ein entfernter Experte durch einen anderen ersetzt wird.

3. Experimentelles Setup

Modelle: Evaluation auf einer Vielzahl von SMoE-Architekturen von 20 Mrd. bis 1 Billion Parametern (inkl. Qwen3-30B, GLM-4.5-Air, Qwen3-Coder-480B, Kimi-K2, Mixtral, Llama-4-Scout).
Kompressionsraten: 25% und 50% Reduktion der Experten pro Schicht.
Benchmarks:
- Generativ: Code-Generierung (EvalPlus, LiveCodeBench, SWE-Bench), Mathematisches Reasoning (GSM8K, MATH), Kreatives Schreiben (WildBench).
- Diskriminativ: Multiple-Choice-Fragen (MMLU, ARC, etc.).
Baselines: Frequency-based Pruning, EAN-Pruning, M-SMoE (Merging), HC-SMoE (Merging).
Setting: One-Shot Kompression ohne nachfolgendes Fine-Tuning (Zero-Shot).

4. Wichtige Ergebnisse

Generative Aufgaben vs. Diskriminative Aufgaben

Generative Tasks: Hier übertrifft REAP (und Pruning im Allgemeinen) Merging-Methoden signifikant.
- Bei 50% Kompression auf Code-Generierung (Qwen3-30B) zeigt REAP eine mittlere Genauigkeitsabnahme von nur 6,9%, während Merging-Methoden (HC-SMoE, M-SMoE) Einbußen von über 20% aufweisen.
- Auf Qwen3-Coder-480B und Kimi-K2 (1T Parameter) erreicht REAP bei 50% Kompression eine nahezu verlustfreie Kompression (Abweichung $\le 2\%$ ) in Code-Aufgaben.
- Merging-Modelle zeigen eine geringere N-Gram-Vielfalt und eine schnellere Divergenz der Logits vom Basismodell während der Generierung.
Diskriminative Tasks (MC): Merging-Methoden performen hier oft besser oder ähnlich gut wie Pruning, was die bisherigen Literaturergebnisse bestätigt. Dies liegt daran, dass MC-Aufgaben oft nur eine diskriminative Funktion benötigen, die durch einen Durchschnittsexperten approximiert werden kann.

Skalierbarkeit und Effizienz

REAP skaliert hervorragend auf sehr große Modelle (bis 1T Parameter).
Die Kalibrierung für Pruning ist effizienter als für Merging, da keine Aktivierungen aller Experten für jedes Token aufgezeichnet werden müssen.
Pruning lässt sich nahtlos mit Quantisierung kombinieren (z. B. 4-Bit Gewichte + 50% Pruning), was zu einer Gesamtreduktion des Modells von 87,5% führt, ohne die Genauigkeit drastisch zu beeinträchtigen.

Visualisierung der Manifold-Geometrie

PCA-Analysen zeigen, dass Merging in späten Schichten zu einer massiven Kontraktion des Funktionsraums führt (Subraum-Kollaps).
Pruning erhält die geometrische Struktur und die Ausreißer des ursprünglichen Manifolds, was die Funktionalität des Modells erhält.

5. Bedeutung und Fazit

Das Papier widerlegt die Annahme, dass Expert-Merging die überlegene Strategie für die Kompression von SMoE-Modellen sei. Es zeigt auf, dass Merging aufgrund des Verlusts der feinkörnigen, eingabeabhängigen Router-Kontrolle zu einem irreduziblen Fehler führt, der sich besonders in generativen Aufgaben katastrophal auswirkt.

Kernbeiträge:

Theoretische Einsicht: Nachweis, dass Merging einen irreduziblen Fehler durch den Verlust der Router-Unabhängigkeit einführt, während Pruning die Topologie des Funktionsraums bewahrt.
Neue Methode (REAP): Einführung eines Saliency-Kriteriums, das Router-Gates und Aktivierungsnormen kombiniert, um den Rekonstruktionsfehler zu minimieren.
Empirischer Beweis: Umfassende Evaluation zeigt, dass REAP auf einer breiten Palette von Modellen und generativen Benchmarks (insbesondere Code und Mathematik) Merging-Methoden deutlich übertrifft.
Praktische Relevanz: REAP ermöglicht die effiziente Kompression von State-of-the-Art-Modellen (bis 1T Parameter) für den Einsatz in ressourcenbeschränkten Umgebungen, ohne die Qualität bei komplexen generativen Aufgaben zu opfern.

Die Arbeit unterstreicht die Notwendigkeit, generative Benchmarks zur Evaluierung von Kompressionstechniken heranzuziehen, da diskriminative Metriken (wie Perplexity oder MC-Accuracy) die Qualität von generativen Modellen nach Kompression oft falsch einschätzen.