💻 computer science

Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression

Dieses Paper schlägt ein strukturelles Pruning-Framework für Mixture-of-Experts (MoE)-Modelle vor, das die Channel-Score-Abdeckung durch eine auf Attribuierung basierende Approximation maximiert, um eine feingranulare Redundanzentfernung zu erreichen, wodurch der Speicherbedarf signifikant reduziert wird, während die Genauigkeit unter hohen Kompressionsraten erhalten bleibt.

Ursprüngliche Autoren: Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Zu viele Köche“-Problem

Stellen Sie sich ein riesiges, gehobenes Restaurant vor (ein Mixture-of-Experts oder MoE KI-Modell). Anstatt dass ein einziger riesiger Chefkoch jedes Gericht kocht, hat diese Küche hunderte spezialisierte Köche (genannt Experten). Für jede Bestellung (ein Token Text) wählt der Oberkellner (der Router) nur wenige Köche aus, die an diesem speziellen Gericht arbeiten sollen.

Dieses System ist brillant, weil es effizient ist: Sie bezahlen nur für die Köche, die Sie tatsächlich benutzen. Dennoch ist das Restaurant immer noch riesig, teuer im Betrieb und nimmt viel Platz (Speicher) ein, da es hunderte von Köchen beschäftigt, auch wenn immer nur wenige gleichzeitig aktiv sind.

Das Ziel dieser Arbeit ist es, die Küche zu verkleinern, ohne das Essen zu ruinieren. Sie wollen einige Köche entlassen oder deren Arbeitsstationen verkleinern, um Platz und Geld zu sparen, aber sie müssen sicherstellen, dass das Restaurant weiterhin 5-Sterne-Menüs serviert.

Das Problem alter Methoden: „Das grobe Messer“

Frühere Versuche, diese Modelle zu verkleinern, waren wie der Einsatz einer groben Machete anstelle eines Skalpells.

Der alte Weg: Man betrachtete einen ganzen Koch und entschied: „Dieser Koch ist wichtig, behalte ihn“ oder „Dieser Koch wird selten gerufen, entlass ihn.“
Der Fehler: Das ist zu stumpf. Selbst ein „wichtiger“ Koch könnte eine Menge verschwendeten Platz in seiner Küche haben. Vielleicht hat er 100 Schneidebretter, aber er benutzt immer nur die obersten 20. Die anderen 80 sammeln nur Staub.
Das Ergebnis: Alte Methoden behielten entweder den ganzen Koch (wodurch Platz für die 80 ungenutzten Bretter verschwendet wurde) oder entließen den ganzen Koch (wodurch die 20 nützlichen Bretter verloren gingen). Sie konnten die interne Redundanz innerhalb des Arbeitsplatzes des Kochs nicht erkennen.

Die neue Lösung: Eine dreistufige „Intelligente Renovierung“

Die Autoren schlagen ein neues Framework vor, das wie ein präziser Architekt agiert. Sie schauen nicht nur darauf, wer wichtig ist; sie schauen darauf, wo der Wert innerhalb jedes Experten liegt.

Schritt 1: Der „Attribution“-Detektiv (Den echten Wert finden)

Zuer Sie müssen wissen, welche Teile des Modells tatsächlich wichtig sind.

Die Metapher: Stellen Sie sich vor, Sie versuchen herauszufinden, welche Zutaten in einer komplexen Sauce tatsächlich für den guten Geschmack verantwortlich sind. Sie können nicht einfach raten, basierend darauf, wer die Zutaten gekauft hat (Router-Statistiken) oder wie viel sie wiegen (Rohdaten).
Die Innovation: Sie verwenden einen cleveren mathematischen Trick namens Attribution-Guided Loss Approximation. Anstatt jede einzelne Zutat zu testen, indem man sie eine nach der anderen entfernt (was ewig dauert), nutzen sie eine „Schnellschätzung“, um sofort zu berechnen, wie sehr jeder Teil zum endgültigen Geschmack beiträgt.
Der Vorteil: Dies ist 20 Mal schneller als bisherige Methoden. Es ist wie ein superschneller Geschmackstester, der die Auswirkung einer Zutat errät, ohne das ganze Gericht tatsächlich kochen zu müssen.

Schritt 2: Die „Coverage“-Karte (Das Beste maximieren)

Sobald sie wissen, welche Teile wertvoll sind, müssen sie entscheiden, wie viel Platz sie behalten.

Die Metapher: Stellen Sie sich vor, Sie haben einen Eimer Sand. Einige Körner sind Gold, andere sind Dreck. Sie wollen das Gold behalten, aber den Dreck wegwerfen.
Der alte Weg: „Behalte 50 % des Sandes.“ Das könnte versehentlich viel Dreck behalten und etwas Gold wegwerfen.
Der neue Weg (Coverage-Maximized): „Behalte genug Sand, um 90 % des Goldes abzudecken.“
Wie es funktioniert: Sie haben erkannt, dass in diesen Modellen das „Gold“ (die wichtigen Informationen) hochkonzentriert in nur wenigen Kanälen (wie den obersten 20 Schneidebrettern) vorkommt. Also berechnen sie genau, wie viele Kanäle sie behalten müssen, um fast den gesamten Wert zu erfassen. Sie hören auf zu schneiden, sobald sie die wichtigen Informationen „abgedeckt“ haben, selbst wenn das bedeutet, dass sie für einige Experten sehr wenige Kanäle und für andere mehr Kanäle behalten.

Schritt 3: Der „Alignment“-Fliesenleger (Die Puzzleteile passend machen)

Schließlich haben sie eine Liste darüber, wie viele Kanäle zu behalten sind, aber es gibt einen Haken. Computerchips (Hardware) sind wählerisch. Sie mögen Zahlen, die Vielfache von 64 oder 128 sind (wie Fliesen, die perfekt in ein Raster passen). Wenn Sie 125 Kanäle haben, verschwendet der Computer Platz, indem er sie auf 128 auffüllt, oder es läuft langsam.

Die Metapher: Sie haben einen Stapel Ziegelsteine verschiedener Größen. Sie müssen eine Wand bauen, in der jeder Abschnitt exakt 128 Ziegel breit ist.
Die Innovation: Sie verwenden eine faire Umverteilungsmethode (genannt Hamilton's Largest Remainder), um den überschüssigen „Restplatz“ neu zu verteilen. Wenn ein Experte 3 Ziegel zu wenig hat und ein anderer 60, geben sie den überschüssigen Platz demjenigen, der ihn am dringendsten braucht, um der perfekten Größe von 128 Blöcken am nächsten zu kommen.
Der Vorteil: Dies stellt sicher, dass das geschrumpfte Modell perfekt in den Speicher des Computers passt, sodass es schnell laufen kann und mit komprimiertem Speicher (Low-Bit) arbeiten kann, ohne langsamer zu werden.

Die Ergebnisse: Kleiner, schneller, genauso schlau

Sie haben diese Methoden an berühmten Modellen wie Qwen und DeepSeek getestet.

Das Ergebnis: Sie konnten die Modelle um das 5-fache verkleinern (5x Kompression), während die Genauigkeit fast identisch blieb.
Der Beweis: Bei einem Modell namens Qwen3-30B reduzierten sie den Speicherbedarf um das 5,27-fache. Selbst bei aggressivem Beschneiden (50 % Pruning) erzielte das Modell immer noch extrem hohe Werte in Mathematik- und Logiktests (wie eine 94,5 beim MATH500-Benchmark).

Zusammenfassung

Betrachten Sie diese Arbeit als den ultimativen Entrümpelungs-Leitfaden für KI.

Hören Sie auf zu raten, welche ganzen Experten man entlassen sollte.
Fangen Sie an, hineinzuschauen, um die spezifischen „goldenen Kanäle“ zu finden, die den Wert halten.
Behalten Sie gerade genug, um das Gold abzudecken, und schneiden Sie den Rest weg.
Organisieren Sie die verbleibenden Teile neu, damit sie perfekt in die Hardware des Computers passen.

Das Ergebnis ist eine winzige, effiziente KI, die in Ihre Tasche passt, aber wie ein Riese denkt.

Technisches Resümee: Attributionsgestützte und Coverage-maximierte Pruning-Verfahren für die strukturelle MoE-Kompression

1. Problemstellung

Mixture-of-Experts (MoE)-Modelle bieten eine hohe Parameterkapazität bei überschaubarem Rechenaufwand, da pro Token nur eine Teilmenge an Experten aktiviert wird. Die Bereitstellung dieser Modelle bleibt jedoch aufgrund des erheblichen Speicherbedarfs und des Inferenz-Overheads kostspielig. Während strukturelles Pruning eine vielversprechende Lösung darstellt, stehen bestehende Methoden vor signifikanten Einschränkungen:

Grobe Granularität: Vorangegangene Ansätze operieren auf Expertenebene, indem sie entweder ganze Experten entfernen oder diese nach ihrer Wichtigkeit ranken. Dies versäumt es, die interne Redundanz innerhalb von „hochwichtigen“ Experten zu erfassen, in denen Informationen oft nur in wenigen Kanälen konzentriert sind.
Ungenaue Schätzung der Wichtigkeit: Bestehende Metriken für die Expertenwichtigkeit (z. B. Router-Gewichte, Token-Nutzung, rohe Aktivierungs-/Gradientenstatistiken) sind oft nicht mit dem tatsächlichen Beitrag eines Experten zum finalen Verlust (Loss) abgestimmt. Router-Statistiken spiegeln die Auswahlhäufigkeit wider, nicht den Nutzen, und rohe Statistiken weisen layerspezifische Biase auf, die einen zuverlässigen Vergleich über Layer hinweg unzuverlässig machen.
Ineffiziente Budgetallokation: Die Allokation von Pruning-Budgets basierend auf groben Experten-Rankings führt zu einer Verschwendung von Kapazität auf Strukturen mit geringem Beitrag und versäumt es, den Kompromiss zwischen Kompression und Genauigkeit in großskaligen MoEs mit Hunderten von Experten zu optimieren.

2. Methodik

Die Autoren schlagen ein strukturelles Pruning-Framework vor, das speziell für MoEs entwickelt wurde und aus drei Kernkomponenten besteht: Attribution-Guided Loss Approximation (ALA), Coverage-Maximized Budget Allocation (CBA) und Alignment-Aware Redistribution (AAR).

2.1 Attribution-Guided Loss Approximation (ALA)

Um die hohen Kosten der Experten-weisen Ablation (die linear mit der Anzahl der Experten skaliert) zu adressen, leiten die Autoren eine effiziente Proxy für die Expertenwichtigkeit mittels einer Taylor-Approximation erster Ordnung ab.

Ableitung: Die durch das Entfernen eines Experten $e$ induzierte Verluständerung wird approximiert als $\Delta L^{(e)} \approx -(\frac{\partial L}{\partial z_{\ell,e}})^\top z_{\ell,e}$ , wobei $z_{\ell,e}$ der Output des Experten und $\frac{\partial L}{\partial z_{\ell,e}}$ der Gradient bezüglich dieses Outputs ist.
Effizienz: Dies ermöglicht die Schätzung der Wichtigkeit für alle Experten in einem Layer über einen einzigen Backward-Pass, was die Kalibrierungszeit im Vergleich zur erschöpfenden Ablation um das 14- bis 26-fache reduziert.

2.2 Coverage-Maximized Budget Allocation (CBA)

Motiviert durch die Beobachtung, dass Informationen in MoE-Experten hochgradig in einem kleinen Bruchteil der Kanäle konzentriert sind, formulieren die Autoren das Pruning-Ziel neu. Anstatt ein festes Pruning-Verhältnis pro Experte zuzuweisen, besteht das Ziel darin, die kumulative Channel-Score-Abdeckung (Coverage) unter einem globalen Budget zu maximieren.

Mechanismus: Kanäle innerhalb jedes Experten werden nach ihren Scores (abgeleitet aus ALA) sortiert. Der Algorithmus sucht nach einem Ziel-Coverage-Verhältnis $\rho$ für jeden Experten, sodass die Gesamtzahl der beibehaltenen Kanäle das globale Pruning-Budget erfüllt, während die Summe der beibehaltenen Channel-Scores maximiert wird.
Vorteil: Dieser Ansatz priorisiert den Erhalt von Kanälen mit hohem Beitrag und schneidet die Low-Score-Ausläufer aggressiv ab, wodurch die Verschwendung von Kapazität auf redundante Strukturen vermieden wird, die bei uniformen oder verhältnisbasierten Methoden auftritt.

2.3 Alignment-Aware Redistribution (AAR)

Um die Kompatibilität mit Low-Bit-Quantisierung und hardwareeffizienten Kernels (z. B. GEMM) zu gewährleisten, müssen die Kanaldimensionen Vielfache einer Blockgröße $a$ (z. B. 64 oder 128) sein.

Prozess: Nachdem CBA die optimale Kanalanzahl bestimmt hat, führt AAR eine Abwärts-Ausrichtung auf das nächste Vielfache von $a$ durch. Die durch dieses Rundungsverfahren freigesetzten „Rest“-Kanäle werden an Experten mit den größten Bruchteil-Resten (unter Verwendung von Hamiltons größtem-Rest-Regel) umverteilt.
Ziel: Dies stellt sicher, dass das geprunte Modell die Kernel-Constraints erfüllt, ohne signifikant von der optimalen Coverage-basierten Allokation abzuweichen, was eine Leistungsdegradation durch Padding oder ineffizienten Speicherzugriff verhindert.

3. Zentrale Beiträge

Beobachtung interner Redundanz: Die Arbeit zeigt, dass die Information in MoE-Experten hochgradig in einem kleinen Bruchteil der Kanäle konzentriert ist, was Experten-weise Wichtigkeitsmetriken für eine effektive strukturelle Kompression zu grob macht.
Neuartiges Pruning-Ziel: Die Autoren führen die Channel-Score-Abdeckung als Pruning-Ziel ein und formulieren die Kapazitätsallokation so um, dass die Coverage unter einem globalen Budget maximiert wird. Dies ist die erste Arbeit, die explizit die Optimierung der Score-Abdeckung anstelle einfacher Pruning-Verhältnisse anstrebt.
Effizientes Framework: Sie schlagen ein skalierbares Framework vor, das Folgendes kombiniert:
- ALA: Eine attributionsbasierte Approximation zur Schätzung der Expertenwichtigkeit, die die GPU-Stunden im Vergleich zu Ablation um das 20-fache reduziert.
- CBA: Ein auf binärer Suche basierender Algorithmus zur Allokation von Budgets, die die Score-Abdeckung maximieren.
- AAR: Eine Umverteilungsstrategie zur Erfüllung von Low-Bit-Kernel-Constraints.
Empirische Validierung: Umfangreiche Experimente an DeepSeek- und Qwen-MoE-Architekturen zeigen, dass die Methode eine über 5-fache Kompression bei vernachlässigbarem Genauigkeitsverlust bei allgemeinen Wissensaufgaben erreicht und eine starke Performance bei Reasoning-Benchmarks beibehält.

4. Experimentelle Ergebnisse

Das Framework wurde auf DeepSeek-MoE-16B, DeepSeek-V2-Lite, Qwen1.5-MoE-A2.7B und Qwen3-30B-A3B evaluiert.

Allgemeines Wissen: Unter einem 25%-Pruning-Verhältnis in Kombination mit 4-Bit-Quantisierung ( $P25\% Q4b$ ) erreichte die Methode eine über 5-fache Speicherreduktion. Bei Qwen3-30B-A3B wurde der Speicherbedarf um das 5,27-fache reduziert (von 61,06 GB auf 11,64 GB) bei einem durchschnittlichen Genauigkeitsverlust von maximal 1 % bei allgemeinen Benchmarks (z. B. MMLU, ARC).
Reasoning-Aufgaben: Bei Reasoning-Benchmarks (GSM8K, MATH500) erreichten die komprimierten Modelle konsistent Werte, die den Originalen nahe kamen oder diese sogar übertrafen. Beispielsweise erreichte Qwen3-30B-A3B unter 50 % Pruning einen Wert von 94,5 auf MATH500 (im Vergleich zu 92,8 beim Baseline-Modell).
Effizienz: Die Methode übertraf State-of-the-Art-Baselines (einschließlich Wanda, MoNE, EAC-MoE und PuzzleMoE) über diverse Benchmarks hinweg. Sie zeigte zudem eine robuste Performance unter verschiedenen Routing-Strategien (Top-1 bis Top-6) und Kalibrierungs-Korpora.
Durchsatz: Die Alignment-bewusste Umverteilung verbesserte den Inferenz-Durchsatz signifikant. Für Qwen3-30B-A3B lieferten die ausgerichteten Dimensionen (128) 14,21 Tokens/s im Vergleich zu 10,23 Tokens/s bei nicht-ausgerichteten Dimensionen unter 50 % Sparsity.

5. Bedeutung und Ansprüche

Die Arbeit beansprucht, einen praktischen Weg zur effizienten MoE-Bereitstellung aufzuzeigen, indem sie die Diskrepanz zwischen Experten-weiser Wichtigkeit und interner Kanal-Redundanz adressiert.

Skalierbarkeit: Durch den Ersatz der erschöpfenden Ablation durch eine attributionsbasierte Approximation skaliert die Methode auf MoEs mit Hunderten von Experten – ein Bereich, in dem frühere verlustbasierte Methoden rechnerisch prohibitiv waren.
Feingranulare Optimierung: Der Wechsel vom Experten-weisen Pruning zur kanal-weisen Maximierung der Score-Abdeckung ermöglicht eine präzisere Kapazitätsallokation, die kritische Informationen bewahrt und Rauschen entfernt.
Hardware-Kompatibilität: Die Integration der Alignment-bewussten Umverteilung stellt sicher, dass die komprimierten Modelle nicht nur kleiner, sondern auch kompatibel mit Low-Bit-Quantisierung und High-Throughput-Inferenz-Kernels sind, was einen kritischen Engpass in der realen Bereitstellung adressiert.

Die Autoren positionieren diese Arbeit als einen grundlegenden Schritt, um die MoE-Kompression von groben Entscheidungen auf Expertenebene hin zu einer feingranularen Optimierung auf Kanalebene zu bewegen, was den Einsatz großskaliger MoE-Modelle mit signifikant reduzierten Speicher- und Rechenanforderungen ermöglicht.