EvoESAP: Non-Uniform Expert Pruning for Sparse MoE

Die Arbeit stellt EvoESAP vor, einen evolutionären Suchrahmen, der durch die Optimierung einer nicht-uniformen Schicht-für-Schicht-Sparsität unter Verwendung der ESAP-Metrik die Leistung von Sparse-Mixture-of-Experts-Modellen bei gleichzeitiger Reduzierung des Speicherverbrauchs signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen, genialen Koch namens MoE (Mixture of Experts). Dieser Koch ist nicht eine einzelne Person, sondern ein Team aus 8 verschiedenen Spezialisten (den "Experten").

Wenn Sie dem Koch eine Frage stellen (z. B. "Wie backe ich einen Kuchen?"), schaut sich der Kellner (der Router) die Frage an und entscheidet: "Für diese Frage brauchen wir nur den Kuchen-Experten und den Zucker-Experten." Die anderen 6 Experten (z. B. der Auto-Experte oder der Medizin-Experte) müssen nicht arbeiten. Das ist super effizient, weil der Koch nur für die zwei aktiven Experten bezahlen muss, obwohl das gesamte Team im Hintergrund steht.

Das Problem:
Obwohl der Koch beim Kochen nur zwei Leute braucht, müssen Sie das gesamte Team von 8 Leuten in Ihrer Küche (dem Speicher Ihres Computers) unterbringen. Das kostet viel Platz und Energie. Wenn Sie den Koch auf ein kleines Handy oder einen billigen Server stellen wollen, passt das ganze Team einfach nicht mehr hinein.

Die alte Lösung (Das "Einheits-Prinzip"):
Bisher haben Forscher versucht, den Koch zu verkleinern, indem sie in jedem Raum (jeder Schicht des Gehirns) einfach die gleichen 2 Experten rausgeworfen haben.

• Beispiel: In Raum 1 feuern wir 2, in Raum 2 feuern wir 2, in Raum 3 feuern wir 2.
• Das Problem: Das ist wie ein starres Regelwerk. Vielleicht braucht Raum 1 die Experten dringend, aber Raum 15 ist eigentlich ziemlich egal. Wenn man dort trotzdem die gleichen Leute feuert, wird der Koch in Raum 15 vielleicht dumm, aber in Raum 15 war er eh nicht so wichtig. Man verpasst also die Chance, den Koch an den richtigen Stellen schlauer zu machen.

Die neue Lösung: EvoESAP (Der evolutionäre Sucher)
Die Autoren dieses Papiers haben eine clevere Methode entwickelt, um herauszufinden, wo man genau welche Experten feuern sollte, damit der Koch am Ende immer noch genial schmeckt, aber viel kleiner ist.

Hier ist die Erklärung in drei einfachen Schritten:

1. Der "Spürhund" (ESAP)

Stellen Sie sich vor, Sie wollen testen, ob ein verkleinerter Koch noch gut kocht. Der normale Weg wäre, ihn 1.000 Gerichte kochen zu lassen und dann zu schmecken. Das dauert ewig und ist teuer.

Die Autoren haben einen Spürhund namens ESAP erfunden.

• Wie er funktioniert: Der Spürhund schaut nicht auf das fertige Gericht. Er schaut sich an, wie der verkleinerte Koch überlegt, bevor er kocht.
• Die Analogie: Stellen Sie sich vor, der große Koch (das Original) und der kleine Koch (der verkleinerte) stehen nebeneinander. Der große Koch sagt: "Ich würde jetzt Salz nehmen." Der kleine Koch sagt: "Ich würde auch Salz nehmen."
• Der Spürhund misst: "Wie oft sagen beide das Gleiche?" Je mehr sie übereinstimmen, desto besser ist der kleine Koch.
• Der Clou: Dieser Spürhund ist extrem schnell. Er muss nicht warten, bis das Essen fertig ist. Er kann hunderte von kleinen Koch-Teams in Sekunden testen.

2. Die "Evolution" (EvoESAP)

Jetzt haben wir den Spürhund. Wie finden wir den besten Koch?
Stellen Sie sich vor, Sie haben eine Gruppe von 32 verschiedenen Koch-Teams. Jedes Team hat eine andere Strategie, wer rausgeworfen wird (z. B. Team A feuert im Raum 1 viel, Team B im Raum 15).

• Der Test: Der Spürhund prüft alle 32 Teams.
• Die Auswahl: Die 4 besten Teams werden ausgewählt (die "Überlebenden").
• Die Mutation (Der Tausch): Die anderen Teams werden nicht einfach gelöscht. Stattdessen nehmen wir die besten Teams und tauschen etwas aus.
  • Beispiel: Team A feuerte im Raum 1 zu viele Leute. Wir nehmen also 2 Experten aus Raum 1 und geben sie in Raum 15 zurück (wo sie vielleicht gebraucht werden). Das ist wie ein Tauschhandel.
• Wiederholung: Wir machen das 50 Mal hintereinander. Jedes Mal wird das Team ein bisschen besser, weil wir die "falschen" Entlassungen korrigieren.

3. Das Ergebnis: Nicht überall gleich, sondern genau richtig

Am Ende haben wir nicht mehr ein Team, das überall gleich viele Leute entlassen hat. Wir haben ein Team, das sagt:

• "Im ersten Raum behalten wir fast alle Experten, das ist wichtig!"
• "Im letzten Raum können wir 50% der Experten rauswerfen, das macht nichts."

Warum ist das so toll?
Die Studie zeigt, dass diese "unregelmäßige" Verteilung (manchmal viel, manchmal wenig) den Koch viel besser macht als die starre "immer gleich viel"-Methode.

• Besonders bei kreativen Aufgaben (wie das Schreiben von Geschichten oder das Lösen von Matheaufgaben) ist der Unterschied riesig. Der verkleinerte Koch kann plötzlich fast so gut kochen wie der große Original-Koch, obwohl er nur halb so viele Leute im Team hat.
• Bei einfachen Multiple-Choice-Fragen (wie "Ist die Sonne heiß?") war der Unterschied kleiner, aber bei komplexen Dingen war der Gewinn enorm.

Zusammenfassung in einem Satz

Statt einfach überall gleich viele Experten zu feuern (wie einen Stempel), hat EvoESAP einen intelligenten Sucher gebaut, der genau dort feuert, wo es am wenigsten wehtut, und dort behält, wo es am wichtigsten ist – und das alles, ohne den Koch neu ausbilden zu müssen.

Der große Gewinn: Wir können jetzt riesige, super-intelligente KI-Modelle auf viel kleineren Geräten laufen lassen, ohne dass sie dumm werden. Das spart Geld, Energie und macht KI für alle zugänglicher.

Technische Zusammenfassung

1. Problemstellung

Sparse Mixture-of-Experts (SMoE) Modelle haben sich als leistungsstarke Architekturen etabliert, die eine hohe Gesamtkapazität bei geringem Rechenaufwand pro Token bieten. Trotz dieser Effizienz bleibt das Deployment oft durch den hohen Speicherbedarf und den Durchsatz limitiert, da der gesamte Pool an Experten (Experts) gespeichert und bereitgestellt werden muss, auch wenn pro Token nur eine Teilmenge aktiviert wird.

Zur Lösung dieses Problems wird häufig das Expert-Pruning (das Entfernen von Experten) nach dem Training eingesetzt. Bisherige Ansätze konzentrierten sich jedoch primär auf zwei Aspekte:

1. Auswahl innerhalb einer Schicht: Welche Experten in einer bestimmten Schicht sollen entfernt werden? (Basierend auf Metriken wie Aktivierungshäufigkeit oder -norm).
2. Uniforme Verteilung: Die meisten Methoden gehen davon aus, dass das Pruning-Budget (die Anzahl der zu entfernenden Experten) uniform über alle Schichten verteilt werden sollte.

Das Paper identifiziert eine kritische Lücke: Die nicht-uniforme Verteilung des Pruning-Budgets über die Schichten hinweg (Layer-wise Budget Allocation) wird oft ignoriert. Die Autoren argumentieren, dass eine naive, gleichmäßige Verteilung die Leistung, insbesondere bei offenen Textgenerierungsaufgaben (Open-Ended Generation), erheblich beeinträchtigen kann, während eine optimierte, ungleichmäßige Verteilung die Leistung erhalten oder sogar steigern könnte.

2. Methodik: EvoESAP

Die Autoren schlagen EvoESAP vor, einen evolutionären Suchrahmen, der das Pruning in zwei entkoppelte Schritte zerlegt:

1. Fixierung der Reihenfolge innerhalb der Schicht: Zuerst wird eine Prioritätsreihenfolge der Experten pro Schicht basierend auf einer beliebigen Heuristik (z. B. Frequency, REAP, EAN, SEER) bestimmt.
2. Optimierung der Verteilung über die Schichten: Anschließend wird ein evolutionärer Algorithmus verwendet, um zu finden, wie das globale Pruning-Budget optimal über die verschiedenen Schichten verteilt werden soll, um die Leistung zu maximieren.

Schlüsselkomponenten:

• Expected Speculative Acceptance Proxy (ESAP):
  Um die Suche nach der besten Verteilung effizient zu gestalten, benötigen die Autoren eine Fitness-Funktion, die bewertet, wie gut ein gekapertes Modell das Verhalten des Originalmodells nachahmt.

  • Herausforderung: Die direkte Messung der Akzeptanzrate mittels Speculative Decoding (wo ein kleines Modell Vorschläge macht und ein großes Modell diese validiert) ist rechenintensiv und für die Suche nach Tausenden von Kandidaten zu teuer.
  • Lösung: ESAP ist eine lehrer-forcierte (teacher-forced) Metrik, die auf dem Prinzip des Speculative Decoding basiert, aber ohne autoregressive Generierung auskommt. Sie berechnet den erwarteten Überlapp zwischen der Token-Verteilung des Baseline-Modells ($p$) und des Kandidaten-Modells ($q$) für gegebene Kontexte.
  • Formel: ESAP entspricht dem Erwartungswert der Akzeptanzwahrscheinlichkeit und lässt sich als $1 - TV(p, q)$ausdrücken, wobei$TV$ der Total-Variation-Abstand ist. Dies ist eine berechenbare, stabile und kostengünstige Metrik, die keine vollständige Inferenz erfordert.

• Evolutionärer Suchalgorithmus:

  • Suchraum: Ganzzahlige Vektoren, die angeben, wie viele Experten pro Schicht entfernt werden, unter Einhaltung eines globalen Budgets.
  • Mutation: Ein „Level-Switch"-Operator tauscht das Pruning-Budget zwischen zwei Schichten aus (eine Schicht bekommt mehr Experten entfernt, eine andere weniger), wobei die Gesamtsumme konstant bleibt.
  • Selektion: Die Population wird basierend auf dem ESAP-Score evaluiert. Die besten Kandidaten überleben und produzieren Nachkommen durch Mutation.

3. Wichtige Beiträge

1. Entkopplung von Auswahl und Verteilung: Das Paper zeigt, dass die Entscheidung, welche Experten entfernt werden (innerhalb der Schicht), und wie viele pro Schicht entfernt werden (über die Schichten hinweg), getrennt optimiert werden sollten.
2. Einführung von ESAP: Eine neue, effiziente Fitness-Funktion, die die Kompatibilität zwischen einem pruned Modell und dem Originalmodell misst, ohne die hohen Kosten von Speculative Decoding zu verursachen.
3. Nachweis der Nicht-Uniformität: Die Autoren demonstrieren, dass es keine universelle „beste" Verteilung gibt. Die optimale Verteilung hängt vom Modell, dem Pruning-Kriterium und der Sparsity-Intensität ab.
4. Plug-and-Play-Framework: EvoESAP kann auf jede existierende Heuristik zur Expertenbewertung angewendet werden, um deren Leistung durch optimierte Budgetverteilung zu verbessern.

4. Ergebnisse

Die Methode wurde an drei großen SMoE-Modellen (OLMoE, ERNIE-4.5, Qwen3) mit Größen von 7B bis 30B Parametern und bei globalen Sparsity-Levels von 25% und 50% evaluiert.

• Leistungssteigerung bei Generierung: EvoESAP findet konsistent nicht-uniforme Verteilungen, die die Leistung bei offenen Generierungsaufgaben (Code, Mathematik, kreatives Schreiben) im Vergleich zur uniformen Pruning-Strategie signifikant verbessern.
  • Beispiel: Bei ERNIE-4.5 (21B) mit 50% Sparsity und dem REAP-Kriterium konnte die Leistung auf dem MATH-500-Benchmark um +19,6% gesteigert werden.
  • Bei OLMoE (25% Sparsity) wurden Verbesserungen von bis zu +2,9% im Code-Bereich und +2,8% im Math-Bereich erzielt.
• Erhaltung der Multiple-Choice-Leistung: Die Verbesserungen in der Generierung gehen oft mit nur minimalen oder sogar leichten Verbesserungen bei Multiple-Choice-Benchmarks (wie MMLU) einher, was zeigt, dass die generativen Fähigkeiten besser erhalten bleiben.
• Effizienz: Die Suche mit ESAP ist um den Faktor ~18 schneller als eine Suche mit direktem Speculative Decoding und benötigt weniger GPU-Speicher.
• Robustheit: Die Ergebnisse zeigen, dass die Suche robust gegenüber der Größe des Kalibrierungsdatensatzes ist (32–64 Samples reichen aus) und dass die Methode auch bei sehr hohen Sparsity-Levels (50%) effektiv ist.

5. Bedeutung und Fazit

Das Paper adressiert ein fundamentales Problem beim Deployment von SMoE-Modellen: Die Annahme, dass Pruning-Budgets gleichmäßig verteilt werden müssen, ist suboptimal.

• Praktische Relevanz: EvoESAP ermöglicht es, Modelle mit deutlich geringerem Speicherbedarf (durch Pruning) bereitzustellen, ohne dabei die Qualität der Textgenerierung zu opfern – ein entscheidender Faktor für den Einsatz in ressourcenbeschränkten Umgebungen.
• Wissenschaftlicher Beitrag: Es liefert den Beweis, dass die Schicht-für-Schicht-Verteilung von Kapazität in MoE-Modellen ein kritischer, aber bisher vernachlässigter Hebel zur Leistungssteigerung ist.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für weitergehende Forschung, bei der nicht nur die Verteilung, sondern auch die Auswahl der Experten innerhalb der Schichten gemeinsam optimiert werden könnte.

Zusammenfassend bietet EvoESAP einen effizienten, datengetriebenen Ansatz, um die Lücke zwischen theoretischer Sparsity und praktischer Leistungsfähigkeit bei Sparse Mixture-of-Experts Modellen zu schließen.