🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

Dieser Beitrag stellt DECO vor, eine sparse Mixture-of-Experts-Architektur, die mit nur 20 % Aktivierung von Experten und einer 3,00-fachen Beschleunigung der Inferenz auf Endgeräten eine mit dichten Modellen vergleichbare Leistung erzielt, indem sie auf ReLU-basiertes Routing, lernbare expertenspezifische Skalierung und eine neuartige NormSiLU-Aktivierungsfunktion zurückgreift.

Ursprüngliche Autoren: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben ein massives, hochkarätiges Restaurant. Sie möchten so vielen Kunden wie möglich das bestmögliche Essen (hohe Leistung) servieren, haben aber zwei strikte Regeln:

Niedrige Kosten: Sie können es sich nicht leisten, dass jeder Koch jedes einzelne Gericht für jeden Kunden zubereitet (geringe Rechenleistung).
Kleine Küche: Sie haben nicht genügend Platz, um für jeden Koch jedes einzelne Rezeptbuch und jede Zutat zu lagern (geringer Speicherbedarf).

Lange Zeit war der Industriestandard, ein riesiges Team von Köchen (ein „dichtes" Modell) einzustellen, bei dem jeder versucht, alles zu kochen. Das schmeckt großartig, ist aber unglaublich teuer und erfordert eine riesige Küche.

Dann versuchten die Leute einen „Mixture of Experts" (MoE)-Ansatz. Das ist wie ein riesiges Team von 100 spezialisierten Köchen, aber für jede Bestellung wecken Sie nur 20 von ihnen auf, um zu kochen. Das spart Zeit beim Kochen. Allerdings müssen Sie immer noch die Rezepte und Zutaten für alle 100 Köche in Ihrer Küche aufbewahren. Wenn Ihre Küche klein ist (wie ein Telefon oder ein Laptop), wird der Platz knapp, und die Zeit, die für das Hin- und Herlaufen zum Holen der richtigen Zutaten des jeweiligen Kochs vergeht, verlangsamt alles.

Hier kommt DECO ins Spiel.

Die Autoren dieses Papiers entwickelten ein neues Restaurantdesign namens DECO. Ihr Ziel war es, eine „sparse" (spärlich besetzte) Küche zu bauen (in der nur wenige Köche gleichzeitig arbeiten), die genauso gut schmeckt wie die riesige „dichte" Küche, aber in einen winzigen Raum passt und schnell läuft.

So haben sie es getan, unter Verwendung einfacher Analogien:

1. Der clevere Kellner (Der Router)

In einem normalen MoE-Restaurant ist der Kellner (der Router) etwas starr. Er könnte sagen: „Für jeden Tisch müssen genau 2 Köche kochen."

DECOs Innovation: Sie gaben dem Kellner ein flexibles, differenzierbares Werkzeug (genannt ReLU-basiertes Routing). Jetzt kann der Kellner den spezifischen Auftrag betrachten und entscheiden: „Dieses Gericht benötigt 3 Köche" oder „Das hier braucht nur 1." Es ist eine fließende Entscheidung basierend auf dem Essen, nicht eine starre Regel.
Der Skalierungsfaktor: Manchmal ist ein Koch von Natur aus lauter oder stärker als ein anderer. DECO gibt dem Kellner eine Reihe von einstellbaren Lautstärkeregler (lernbare Skalierung) für jeden Koch. Wenn Koch A von Natur aus leiser ist, dreht der Kellner seine Lautstärke hoch, damit sein Beitrag mit den lauteren Köchen ausgeglichen ist.

2. Die spezialisierten Köche (Die Experten)

Die Köche in DECO sind anders konstruiert, um stabiler zu sein.

Die „NormSiLU"-Schürze: Die Autoren stellten fest, dass Köche, wenn sie eine Standard-Schürze (Aktivierungsfunktion) tragen, manchmal verwirrt werden oder ganz aufhören zu arbeiten (verschwindende Signale). Sie erfanden eine neue Schürze namens NormSiLU. Stellen Sie sich dies als eine spezielle Uniform vor, die die Energie des Kochs bevor er mit dem Kochen beginnt kalibriert. Sie hält ihre Ausgabe stabil und verhindert, dass sie ausbrennen oder zu leise werden.
Keine Türsteher: Die meisten Restaurants verwenden einen „Türsteher"-Koch, der entscheidet, ob der Hauptkoch überhaupt mit dem Kochen beginnen soll. DECO fand heraus, dass es für ihren flexiblen Kellner tatsächlich besser ist, den Türsteher zu entfernen. Die Köche arbeiten besser, wenn sie einfach basierend auf dem Signal des Kellners mit dem Kochen beginnen können, ohne eine zusätzliche Schicht der „Erlaubnis".

3. Das Ergebnis: Das „ideale Dreieck"

Das Papier behauptet, DECO erreiche gleichzeitig einen „heiligen Gral" aus drei Dingen:

Hohe Leistung: Es schmeckt genauso gut wie das riesige, teure Restaurant (dichte Modelle).
Niedrige Kosten: Es verwendet zu jedem Zeitpunkt nur 20 % der Köche und spart enorme Mengen an Energie.
Kleiner Speicher: Da das Design so effizient ist, ist der gesamte „Küchenfußabdruck" (Gesamtzahl der Parameter) klein genug, um auf Endgeräten wie Telefonen Platz zu finden, ohne ständig Zutaten ein- und auszutauschen.

4. Der Beweis

Geschmackstests: Als sie DECO gegen andere Modelle testeten, entsprach es der Leistung der riesigen „dichten" Modelle und schlug andere „sparse" Modelle, während es gleichzeitig die gleiche Menge an Trainingsdaten und Gesamtzutaten verwendete.
Geschwindigkeit: Sie bauten eine eigene Engine (Beschleunigungskernel), um dieses Restaurant zu betreiben. Auf echter Hardware (wie einer High-End-Grafikkarte und einem Jetson-Gerät) war DECO dreimal schneller als die Standardmethode zum Ausführen dieser Modelle.

Der Haken (Einschränkungen)

Die Autoren sind ehrlich darüber, was sie noch nicht getestet haben. Sie haben dieses Restaurantdesign nicht für „Fine-Tuning" (das Unterrichten der Köche in spezifischen neuen Fähigkeiten nach dem Haupttraining) oder „Reinforcement Learning" (das Unterrichten durch Versuch und Irrtum) ausprobiert. Sie vermuten, dass es dort möglicherweise einige Instabilitäten gibt, daher bauen sie derzeit eine größere Version, um diese spezifischen Szenarien zu testen.

Zusammenfassend: DECO ist eine clevere Neuinterpretation der Funktionsweise von KI-Modellen. Es beweist, dass Sie keine riesige, aufgeblähte Küche benötigen, um großartiges Essen zu erhalten. Mit dem richtigen Kellner, den richtigen Uniformen und einem flexiblen Ansatz können Sie mit einer winzigen, schnellen und effizienten Küche die gleichen hochwertigen Ergebnisse erzielen.

Technisches Fazit: DECO – Sparse Mixture-of-Experts mit dichte-vergleichbarer Leistung auf Endgeräten

Problemstellung
Während Mixture-of-Experts (MoE)-Architekturen die Modellkapazität skalieren, ohne die Rechenleistung proportional zu erhöhen, leiden sie traditionell unter massiven Gesamt-Parameter-Footprints. Dies erzeugt erhebliche Engpässe bei Speicher und Speicherzugriff, die eine effiziente Bereitstellung auf Endgeräten behindern, welche hohe Leistung, niedrige Rechenkosten und minimalen Speicher-Overhead erfordern. Die bestehende MoE-Forschung priorisiert oft Leistung und niedrige Rechenkosten, vernachlässigt jedoch das Ziel des „Speicher-Overhead". Darüber hinaus erzielen viele MoE-Modelle ihre Ergebnisse, indem sie unter demselben Rechenbudget deutlich mehr Tokens trainieren als dichte Baseline-Modelle, anstatt die exakte Token-Anzahl zu matchen. Die Arbeit stellt die Frage: Kann ein spärliches MoE-Modell bei gleichem Gesamt-Parameterbudget und gleicher Anzahl an Trainings-Tokens eine Leistung erzielen, die mit einem dichten Modell vergleichbar ist?

Methodik
Die Autoren schlagen DECO (DEnse-COmparable) vor, eine spärliche MoE-Architektur, die entwickelt wurde, um die Leistung von dichten Transformern unter identischen Constraints zu erreichen. Die Architektur basiert auf drei zentralen Designpfeilern:

Router-Design:
- ReLU-basiertes Routing: Im Gegensatz zum herkömmlichen, nicht differenzierbaren TopK-Routing setzt DECO auf ReLU-basiertes Routing. Dies ermöglicht flexible, tokenabhängige Aktivierungsquoten und eine glatte Lernbarkeit.
- Lernbare expertenspezifische Router-Skalierung: Um Skalierungsungleichgewichte bei den Ausgaben zwischen geteilten und gerouteten Experten zu adressieren und Experten-Heterogenität zu berücksichtigen, ersetzt DECO feste skalare Skalierungsfaktoren durch lernbare vektorielle Skalierungsfaktoren ( $\alpha$ ). Dies kalibriert den Beitrag einzelner gerouteter Experten.
Experten-Design:
- NormSiLU-Aktivierung: Die Autoren identifizieren, dass die Kopplung von ReLU-basiertem Routing mit herkömmlichen, SiLU-aktivierten Experten zu stark ansteigenden Aktivierungsquoten und verschwindenden Ausgabemagnituden führt. Um dies zu lösen, führen sie NormSiLU ein, das eine zweistufige Normalisierung vor dem SiLU-Operator anwendet:
  - Inter-expertene Mittelwert-Normalisierung: Zentriert die Gewichte der Experten-Up-Projektion um Null.
  - Intra-expertene RMS-Normalisierung: Hält konsistente Aktivierungsmagnituden aufrecht.
    Dies stabilisiert Aktivierungstrends, reduziert die Notwendigkeit aggressiver Sparsity-Regularisierung und gewährleistet eine robuste Parameterauslastung.
- Nicht-gated MLP-Experten: Im Gegensatz zur Standardpräferenz für gated MLPs (SwiGLU) nutzt DECO nicht-gated MLP-Experten. Empirische Ergebnisse zeigen, dass nicht-gated Experten in Kombination mit ReLU-basiertem Routing stabilere Aktivierungsquotentrends aufweisen, während gated Varianten unter instabilen, stark ansteigenden Aktivierungsdynamiken leiden, die eine starke Regularisierung erfordern.
Adaptive Sparsity-Regularisierung:
- DECO setzt eine adaptive Sparsity-Regularisierung basierend auf der Router-Entropie ein. Im Gegensatz zu statischen Koeffizienten wird die Regularisierungsstärke ( $\lambda$ ) dynamisch basierend auf dem aktuellen Sparsity-Level relativ zum Zielwert skaliert, wodurch eine stabile Aktivierungsquote sichergestellt wird, die präzise auf dem gewünschten Niveau zentriert ist.

Hauptergebnisse
Experimente wurden über vier Parameter-Skalen (0,11B bis 1,18B) durchgeführt, mit einer festen Anzahl an Trainings-Tokens (ca. 40-fache Parameteranzahl) und einem Aktivierungsverhältnis von 20 % für geroutete Experten.

Dichte-Vergleichbarkeit: DECO erreicht eine mit dichten Transformer-Baselines (unter Verwendung von SwiGLU FFNs) vergleichbare Leistung in Bezug auf Perplexity (PPL) auf dem C4-Validierungsset und die durchschnittliche Genauigkeit auf Benchmarks für gesunden Menschenverstand (commonsense reasoning), obwohl nur 20 % der Experten aktiviert werden.
Überlegenheit gegenüber MoE-Baselines: DECO schlägt etablierte MoE-Baselines (TopP, DeepSeek-V3, ReMoE, BlockFFN) gleicher Skala und gleichen Aktivierungsverhältnisses.
Ablations-Erkenntnisse:
- Lernbare expertenspezifische Skalierung verbessert die Leistung signifikant gegenüber festen oder skalaren Skalierungen und adressiert die beobachtete Heterogenität in den Experten-Ausgabennormen.
- NormSiLU ist kritisch; das Entfernen seiner Normalisierungsschritte führt zu stark ansteigenden Aktivierungsquoten und verschwindenden SiLU-Ausgaben, was die Leistung verschlechtert.
- Nicht-gated Experten sind im Kontext von ReLU-basiertem Routing überlegen gegenüber gated Experten.
Hardware-Beschleunigung: Ein spezialisierter Beschleunigungskernel unter Ausnutzung von CUTLASS und Tensor-Kernen wurde implementiert. Auf echter Hardware (NVIDIA RTX 4090 und Jetson AGX) erreichte DECO eine 3,00-fache Beschleunigung gegenüber der herkömmlichen dichten Inferenz, indem es spärliche Aktivierung nutzte, um Speicherzugriffs-Overhead zu reduzieren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass DECO das „ideale Dreieck" der MoE-Bereitstellung auf Endgeräten erfolgreich realisiert: hohe Leistung, niedrige Rechenkosten und geringer Speicher-Overhead. Ihre Bedeutung liegt darin zu demonstrieren, dass spärliche MoE-Modelle eine mit dichten Modellen vergleichbare Leistung erreichen können, ohne überschüssige Trainings-Tokens oder massive Parameter-Footprints zu benötigen.

Die Autoren führen diesen Erfolg auf eine grundlegende Revision des MoE-Designs zurück, die den Routing-Mechanismus (ReLU-basiert), die Experten-Aktivierung (NormSiLU) und die Experten-Struktur (nicht-gated) ausrichtet, um eine stabile Trainingsdynamik zu schaffen. Sie stellen fest, dass die dichte-Vergleichbarkeit konditional ist und von Faktoren wie Aktivierungsverhältnis, Experten-Granularität und Daten-Heterogenität abhängt. Die Arbeit legt nahe, dass hoch-entropische, Multi-Domain-Datensätze für diese spärliche Architektur besonders gut geeignet sind, da das Modell effektiv spezialisierte Parameter-Teilmenge für verschiedene Aufgaben aktivieren kann.

Limitationen
Die Autoren räumen ein, dass sie DECO noch nicht in Stufen des überwachten Fine-Tunings (SFT) oder des Reinforcement Learning (RL) evaluiert haben, wo MoE-Architekturen auf einzigartige Herausforderungen wie Router-Instabilität stoßen könnten. Darüber hinaus erfordern die Skalierungsgesetze für den Aktivierungsverhältnis-Schwellenwert, der für die dichte-Vergleichbarkeit über größere Modellgrößen und diverse Datenverteilungen hinweg erforderlich ist, weitere Untersuchungen.