🤖 machine learning

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

Dieser Artikel zeigt, dass existierende vortrainierte Mixture-of-Experts (MoE)-Modelle inhärent eine erhebliche intra-Expert-Aktivierungssparheit aufweisen, die durch eine Modifikation der vLLM-Ausführungspipeline genutzt werden kann, um inaktive Neuronenberechnungen zu überspringen, wodurch eine bis zu 2,5-fache Beschleunigung bei der MoE-Schichtausführung und eine 1,2-fache End-to-End-Beschleunigung ohne jegliches Nachtrainieren des Modells oder Ändern der Parameter erreicht werden.

Ursprüngliche Autoren: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „schlafenden Riesen" in der KI finden

Stellen Sie sich eine riesige, hochmoderne Restaurantküche (das KI-Modell) vor, die Hunderte von spezialisierten Köchen (sogenannte Experten) beherbergt. In einem herkömmlichen „Mixture of Experts" (MoE)-Setup wählt der Küchenchef (der Router) bei einer Bestellung nur wenige spezifische Experten aus, die an dieser Bestellung arbeiten. Wenn die Bestellung beispielsweise „scharfes Curry" lautet, weckt der Router den „Gewürz-Experten" und den „Curry-Experten", während der „Dessert-Experte" und der „Brot-Experte" schlafen bleiben.

Das ist bereits effizient, da die Küche nicht alle 100 Köche für jede einzelne Bestellung einsetzen muss. Doch die Forscher dieses Papers stellten eine neue Frage: „Selbst wenn ein Koch wach ist und arbeitet, nutzt er dann wirklich seine gesamte Energie?"

Sie entdeckten, dass selbst die „wachen" Köche größtenteils nur herumstehen und nichts tun. Sie fanden heraus, dass innerhalb eines einzelnen Experten bis zu 90 % der Neuronen (die einzelnen Gehirnzellen der KI) effektiv „schlafen" oder für einen gegebenen Input keine Ausgabe produzieren.

Das Problem: Warum wir nicht einfach mehr Köche hinzufügen können

Früher versuchten Forscher, die KI schneller zu machen, indem sie die Küche effizienter machten, indem sie mehr Köche hinzufügten und weniger von ihnen weckten (Erhöhung der „Inter-Expert-Sparsity"). Doch dies wird sehr schwierig.

Der Trainingskampf: Wenn Sie zu viele Köche haben und nur wenige wecken, gerät die Küche ins Chaos. Einige Köche bekommen die ganze Arbeit (Lastenungleichgewicht), während andere nie trainiert werden und nutzlos werden (Expert-Kollaps).
Die Grenze: Wir stoßen an eine Wand, wo wir die Auswahl „wer arbeiten darf" nicht ohne Zerstörung des Modells effizienter gestalten können.

Die Lösung: Die Strategie des „faulen Kochs"

Anstatt zu versuchen, weniger Köche auszuwählen, beschlossen die Autoren, die einzelnen Köche effizienter zu machen. Sie erkannten, dass ein Koch selbst bei der Arbeit nicht jedes einzelne Werkzeug in seiner Werkzeugkiste nutzen muss.

Die Analogie:
Stellen Sie sich einen Meisterzimmermann (einen Experten) vor, der einen Stuhl baut.

Alter Weg: Der Zimmermann greift sich jeden einzelnen Hammer, jede Säge und jeden Schraubenzieher in der Scheune, selbst wenn er nur einen Hammer und einen Schraubenzieher benötigt. Er trägt die ganze Scheune zur Baustelle.
Neuer Weg (dieses Paper): Der Zimmermann betrachtet den Auftrag, erkennt, dass er nur den Hammer und den Schraubenzieher braucht, und lässt die Säge und die anderen 90 % der Werkzeuge in der Scheune. Er trägt nur, was er braucht.

Die Forscher stellten fest, dass dieses „faule" Verhalten in bestehenden, vortrainierten KI-Modellen (wie Qwen, Llama und DeepSeek) bereits natürlich stattfindet. Die Mathematik innerhalb des Modells setzt den Großteil der Arbeit automatisch auf Null. Sie mussten dem Computer lediglich beibringen, diese verschwendete Arbeit zu überspringen.

Wie sie es taten: Das „Skip-List"-System

Das Team nahm eine beliebte, hochgeschwindigkeitsfähige KI-Engine namens vLLM (denken Sie daran als den Lieferdienst, der das Essen von der Küche zum Kunden bringt) und rüstete sie auf.

Die Prüfung: Bevor der „Koch" mit dem Kochen beginnt, prüft das System schnell, welche Werkzeuge (Neuronen) tatsächlich benötigt werden.
Das Überspringen: Wenn ein Werkzeug nicht benötigt wird (sein Wert ist zu niedrig), lädt das System es nicht einmal in den Speicher oder versucht, es zu verwenden. Es überspringt die Berechnung buchstäblich.
Das Ergebnis: Sie bauten eine spezielle „Schnellspur" in der Software. Wenn der Auftragsstapel klein ist (wie eine ruhige Mittagspause), nutzt das System diese Schnellspur und überspringt die schwere Arbeit. Wenn die Küche extrem beschäftigt ist (ein riesiger Abendansturm), schaltet sie zurück in den Standard-Modus für schwere Lasten, um die Stabilität zu gewährleisten.

Was sie fanden (Die Ergebnisse)

Sie testeten dies an acht verschiedenen riesigen KI-Modellen, von kleinen (1 Milliarde Parameter) bis zu massiven (400 Milliarden Parameter).

Genauigkeit: Sie konnten bis zu 90 % der Arbeit innerhalb eines Experten überspringen, und die KI erhielt immer noch in 95 % der Fälle die richtigen Antworten. Es war, als würde man 90 % der Zutaten in einem Rezept überspringen und das Gericht schmeckt immer noch zu 95 % so gut.
Geschwindigkeit:
- Für den spezifischen „Koch"-Teil der KI (die MoE-Schicht) sahen sie Beschleunigungen von bis zu 2,5-fach.
- Für das gesamte System (End-to-End) sahen sie eine 1,2-fache Beschleunigung.
Hardware: Die Beschleunigung war auf kleineren, weniger leistungsstarken Grafikkarten (wie einer Consumer-Gaming-Karte) am dramatischsten, was beweist, dass dies ein hervorragender Weg ist, große KI-Modelle auf günstigerer Hardware zu betreiben.

Der Haken (Einschränkungen)

Das Paper ist ehrlich bezüglich der Grenzen:

Der Türsteher: Das System muss immer noch prüfen, welche Werkzeuge benötigt werden, bevor es sie überspringen kann. Diese „Prüfung" kostet Zeit und kann noch nicht übersprungen werden. Es ist, als müsste ein Manager immer noch durch die Küche laufen, um den Köchen zu sagen, welche Werkzeuge sie greifen sollen, selbst wenn die Köche nicht alle davon verwenden.
Batch-Größe: Die Beschleunigung funktioniert am besten, wenn die KI nur wenige Anfragen gleichzeitig verarbeitet. Wenn Sie Tausende von Anfragen gleichzeitig verarbeiten, wird der „Prüfungs"-Aufwand zum Flaschenhals, und die Beschleunigung sinkt.

Zusammenfassung

Dieses Paper hat keinen neuen KI-Typ erfunden oder ein neues Modell von Grund auf trainiert. Stattdessen betrachteten sie bestehende, leistungsfähige KI-Modelle und stellten fest: „Hey, diese Modelle leisten bereits viel unnötige Arbeit, selbst wenn sie 'aktiv' sind."

Indem sie ein System entwickelten, das diese verschwendete Arbeit erkennt und einfach überspringt, ließen sie diese massiven KI-Modelle erheblich schneller und effizienter laufen, insbesondere auf Hardware, die nicht super teuer ist. Es ist eine Technik des „intelligenten Überspringens", die die aktuelle Generation von KI-Modellen praktikabler macht.

Technischer Zusammenfassung: Aufdeckung der Intra-Expert-Aktivierungs-Sparsität für eine effiziente Ausführung von Mixture-of-Expert-Modellen

Problemstellung
Mixture-of-Experts (MoE)-Architekturen haben sich aufgrund ihrer rechnerischen Effizienz, die sich aus der sparsamen Aktivierung von Experten ableitet, zum Standard für state-of-the-art Large Language Models (LLMs) entwickelt. Eine weitere Erhöhung der Sparsität durch feinere Expert-Granularität (Inter-Expert-Sparsität) stößt jedoch auf fundamentale Trainingsherausforderungen, darunter Expert-Kollaps, Lastungleichgewicht und Repräsentationskollaps. Diese Probleme erschweren es zunehmend, den Anteil aktiver Experten zu reduzieren, ohne die Modellqualität oder Trainingsstabilität zu beeinträchtigen. Folglich besteht ein Bedarf, komplementäre Dimensionen der Sparsität zu erforschen, die nicht auf Architekturänderungen oder Nachtrainieren angewiesen sind.

Methodik
Die Autoren untersuchen die Intra-Expert-Aktivierungs-Sparsität, eine Dimension der Sparsität, die innerhalb der Aktivierungen einzelner Experten in vortrainierten MoE-Modellen existiert. Die Methodik umfasst drei Hauptkomponenten:

Empirische Analyse: Die Studie analysiert acht verfügbare MoE-Modelle mit Parametern von 1B bis 400B (einschließlich Granite, OLMoE, DeepSeek-V2, GPT-OSS, Qwen3.5 und Llama-4-Varianten). Die Autoren messen die Benchmark-Genauigkeit (ARC-Challenge, ARC-Easy, HellaSwag, Winogrande, TruthfulQA), während sie schrittweise die am niedrigsten bewerteten Neuronen-Aktivierungen innerhalb aktiver Experten auf Null setzen. Sie unterscheiden zwischen „gerouteten Experten" (vom Router ausgewählt) und „geteilten Experten" (immer aktiv).
Beobachtung von Sparsitätsmerkmalen: Die Analyse zeigt, dass Aktivierungsausgaben in MoE-FFN-Schichten einer langschwänzigen Verteilung folgen. Ein signifikanter Anteil der Neuronen erzeugt nahezu Null-Aktivierungen, was eine erhebliche Sparsität (bis zu 90 %) mit minimalem Genauigkeitsverlust ermöglicht. Die Studie findet heraus, dass Neuronen geteilter Experten einen höheren Einfluss pro Neuron auf die Genauigkeit haben als Neuronen gerouteter Experten; in großen Modellen wie Qwen3.5-122B-A10B reicht es aus, alle Neuronen geteilter Experten aktiv zu halten und nur etwa 2 % der Neuronen gerouteter Experten zu aktivieren, um die Modellkapazität aufrechtzuerhalten.
Systemimplementierung in vLLM: Die Autoren integrieren diese Sparsität in das produktionsreife Inferenzsystem vLLM. Die Implementierung modifiziert die Ausführungs-Pipeline für geroutete Experten, während die Ausführung geteilter Experten und die Router-Logik erhalten bleiben, um die Kompatibilität mit Expert-Parallelismus und bestehenden Optimierungen (HIP Graph, CUDA Graph, Kernel-Fusion) zu gewährleisten.
- Gate-Projektion: Wird dicht mittels eines Batched-Matrix-Multiplication (BMM)-Kernels ausgeführt, um Aktivierungsscores zu bestimmen.
- Aktivierungs-Maskierung: Ein benutzerdefinierter Triton-Kernel führt eine schwellenwertbasierte Maskierung in einem einzigen Durchgang ( $O(n)$ ) durch und vermeidet so die rechnerischen Kosten des Top-k-Sortierens ( $O(n \log n)$ ).
- Fusionierte Up-Down-Projektion: Ein benutzerdefinierter sparsamer Kernel sammelt Gewichte nur für die aktiven Neuronen, packt sie in einen gemeinsamen Speicher zu einer dichten Matrix und führt eine dichte Matrix-Vektor-Multiplikation durch. Dieser Ansatz balanciert die Unregelmäßigkeit des sparsamen Zugriffs mit dem Durchsatz dichter Hardware-Beschleuniger aus.
- Dynamisches Umschalten: Um den Kompromiss zwischen einer sparsamen Ausführung mit geringer Latenz und einer dichten Ausführung mit hohem Durchsatz zu handhaben, wechselt das System dynamisch zwischen den sparsamen und dichten Codepfaden basierend auf der Batch-Größe.

Hauptbeiträge

Entdeckung der Intra-Expert-Sparsität: Die Arbeit zeigt, dass erhebliche Intra-Expert-Aktivierungs-Sparsität in bestehenden vortrainierten MoE-Modellen ohne jegliche Änderung der Modellparameter oder Aktivierungsfunktionen readily verfügbar ist.
Systemintegration: Die Autoren redesignen die vLLM MoE-Ausführungspipeline, um sowohl Inter-Expert- als auch Intra-Expert-Sparsität auf GPUs effizient auszunutzen, wobei die volle Unterstützung für produktionsreife Funktionen wie Expert-Parallelismus und Graph-Erfassung erhalten bleibt.
Leistungsbewertung: Die Arbeit bietet eine umfassende Evaluierung über verschiedene Modellskalen und Hardware hinweg (AMD MI355X, NVIDIA H200, RTX4090) und etabliert die praktische Machbarkeit dieser Optimierung.

Ergebnisse

Sparsitätsniveaus: Die Studie identifiziert Sparsitäts-Grenzwerte, bei denen Modelle 95 % ihrer Baseline-Genauigkeit beibehalten. Beispielsweise behält das größte getestete Modell (Llama-4-Maverick) die Genauigkeit bei bis zu 90,8 % Intra-Expert-Sparsität, während kleinere Modelle wie Granite-1B-A400M dies bei 26,5 % tun.
Schicht-Beschleunigung: Die sparsame Ausführung auf Intra-Expert-Ebene erzielt eine Beschleunigung der MoE-Schichtausführung von bis zu 2,5× im Vergleich zur dichten vLLM-Baseline. Die Beschleunigung ist auf hardwareseitig ressourcenbeschränkten Systemen (z. B. RTX4090) und für größere Modelle (Qwen3.5-122B-A10B) am ausgeprägtesten, wo Speicher- und Rechenengpässe schwerwiegender sind.
End-to-End-Beschleunigung: Aufgrund des Gesetzes von Amdahl (da die MoE-Schicht etwa 45 % der gesamten Ausführungszeit ausmacht) ist die End-to-End-Inferenz-Beschleunigung bescheidener und erreicht bis zu 1,2× auf H200 und 1,1× auf MI355X. Die Vorteile sind am bedeutendsten für latenzgebundene Workloads (z. B. decode-lastige Szenarien mit kleinen Batch-Größen).
Genauigkeitserhaltung: Der schwellenwertbasierte Ansatz bewahrt bis zu den identifizierten Sparsitäts-Grenzwerten 95 % des durchschnittlichen Benchmark-Scores der Baseline (z. B. 85 % Ziel-Sparsität für Qwen3.5-35B-A3B).

Bedeutung
Die Arbeit positioniert die Intra-Expert-Aktivierungs-Sparsität als eine praktische und komplementäre Optimierungstechnik zur Inter-Expert-Sparsität. Sie adressiert die Grenzen einer weiteren Steigerung der Inter-Expert-Sparsität, indem sie die inhärente Redundanz innerhalb des dichten FFN jedes ausgewählten Experten nutzt. Die Autoren behaupten, dass diese Arbeit den Grundstein für zukünftige effiziente LLM-Forschung legt und eine Methode bietet, um die Servicing-Kosten für große MoE-Modelle zu senken, ohne Nachtrainieren oder Architekturänderungen zu erfordern. Die Integration in vLLM zeigt, dass eine solche Sparsität in hochleistungsfähigen Produktionssystemen effektiv genutzt werden kann, wodurch die Lücke zwischen theoretischer Sparsität und realisiertem Durchsatz geschlossen wird.