🤖 machine learning

Sticky Routing: Training MoE Models for Memory-Efficient Inference

Das Papier schlägt StickyMoE vor, einen differenzierbaren Routing-Konsistenzverlust, der Mixture-of-Experts-Modelle darauf trainiert, Expertenzuweisungen über semantisch kohärente Token-Spannen hinweg aufrechterhalten, wodurch das speicherintensive Austauschen von Gewichten auf Edge-Geräten bei minimalem Perplexity-Verlust signifikant reduziert wird.

Ursprüngliche Autoren: Ali Kayyam

Veröffentlicht 2026-07-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Kayyam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek mit 64 verschiedenen Experten-Bibliotheken, aber Ihr winziges Edge-Gerät (wie ein Telefon oder ein Smart Speaker) hat nur genug Platz auf dem Schreibtisch, um zu jedem Zeitpunkt 2 von ihnen bereitzuhalten. Der Rest wird in einem langsamen, staubigen Keller aufbewahrt.

In einem Standard-"Mixture-of-Experts" (MoE)-Modell wirft das Modell bei jedem neuen Wort, das es liest, eine Münze, um zu entscheiden, welchen Bibliothekar es fragen soll. Das Problem? Es wirft für jedes einzelne Wort eine Münze. Es fragt also Bibliothekar A für "Apfel", dann Bibliotheker B für "Kuchen", dann Bibliothekar C für "Teigkruste". Jedes Mal, wenn es wechselt, muss es in den Keller laufen, Bibliothekar B rauswerfen und Bibliothekar C hochschleppen. Dieses "Hin- und Herrennen" ist so langsam, dass die KI mehr Zeit damit verbringt, die Bibliothekare zu holen, als die Geschichte zu lesen.

Das Paper stellt StickyMoE vor, eine neue Art, diese Modelle zu trainieren, damit sie aufhören, die Münze so wild zu werfen. Das Modell lernt, "sticky" (anhänglich/beständig) zu sein. Wenn es Bibliothekar A für "Apfel" fragt, wird es dazu ermutigt, auch für "Kuchen" und "Teigkruste" weiterhin Bibliothekar A zu fragen, solange das Thema Sinn ergibt.

Die große Entdeckung: Richtig trainieren, nicht später reparieren

Die Autoren versuchten verschiedene Wege, um das "Hin- und Herrennen"-Problem zu lösen, und fanden dabei Folgendes heraus:

Der "Post-Hoc"-Fix scheiterte: Sie versuchten, ein bereits trainiertes Modell zu nehmen und den Münzwurf-Mechanismus (den Router) nachzufinetunen, damit er weniger zufällig agiert. Sie nannten dies ReMoE. Das Ergebnis? Es funktionierte nicht. Die Wechselrate änderte sich kaum (weniger als 0,5 % absolute Änderung). Die Autoren argumentieren, dass dies daran liegt, dass die Bibliothekare (die Experten) bereits darauf trainiert wurden, Spezialisten für spezifische, isolierte Wörter zu sein. Man kann dem Münzwürfer nicht einfach sagen, er solle "beständiger" sein, wenn die Bibliothekare selbst noch nicht bereit sind, lange, kontinuierliche Themen zu bearbeiten. Es ist, als würde man versuchen, einem Sprinter beizubringen, ein Marathonläufer zu sein, indem man nur seine Startposition ändert; die Muskeln (die Expertengewichte) sind für kurze Sprints gebaut, nicht für lange Läufe.
Der "harte" Fix war zu starr: Sie probierten auch eine Methode aus, die das Modell dazu zwang, für eine festgelegte Anzahl von Wörtern strikt bei einem Bibliothekar zu bleiben, indem eine feste Regel ("Hard-Window") genutzt wurde. Dies reduzierte zwar die Wechsel, verschlechterte aber die Antworten der KI erheblich (eine Steigerung der "Perplexity" um bis zu 6,8 % beim mittleren Modell). Es war, als würde man einen Bibliothekar zwingen, einen ganzen Roman zu lesen, selbst wenn sich das Thema zu einem völlig anderen Genre ändert; die Qualität der Geschichte litt darunter.
Die "Sticky"-Lösung funktionierte: Die Gewinner-Methode, StickyMoE, fügt während des ersten Schritts des Trainings eine sanfte "Konsistenzstrafe" hinzu. Sie sagt dem Modell: "Hey, wenn du zwischen zwei aufeinanderfolgenden Wörtern den Experten wechselst, ist das ein wenig bestrafend." Dies ermutigt das Modell, während es die Sprache lernt, auch beständig zu werden.

Die Ergebnisse: Sticky ist besser

Als sie dies an kleinen und mittleren Modellen mit dem WikiText-2-Datensatz (einer Sammlung von Wikipedia-Artikeln) testeten, waren die Ergebnisse eindeutig:

Weniger Wechsel: Durch die Abstimmung eines einzigen Reglers (einer Zahl namens λ) konnten sie die Anzahl der Wechsel der Experten um bis zu 5any % reduzieren. Beispielsweise sank die Wechselrate beim mittleren Modell von 0,71 (Wechsel fast bei jedem Wort) auf 0,29.
Bessere Geschwindigkeit (simuliert): Da das Modell seltener wechselte, simulierten sie einen Cache (das Schreibtischregal), der 2 Experten halten konnte. Die "Cache Hit Rate" (wie oft der richtige Bibliothekar bereits auf dem Schreibtisch war) sprang von 0,54 auf 0,88. Das bedeutet, das Modell müsste 3,92 Mal seltener in den Keller laufen als zuvor.
Bessere Qualität: Überraschenderweise machte die Verwendung einer moderaten Menge an "Beständigkeit" (λ = 0,05) das Modell (beim mittleren Modell) sogar schlauer, indem sie die "Perplexity" (ein Maß für Verwirrung) um 4,1 % senkte. Das Modell lernte, dass das Festhalten an einem Thema half, den Kontext besser zu verstehen.
Kein Kollaps: Eine große Angst war, dass das Modell "faul" werden und einfach einen Bibliothekar für alles benutzen würde. Aber die "Utilisation Entropy" blieb hoch (über 1,92 Bits von maximal 2,0), was bedeutet, dass alle 4 Experten immer noch fair genutzt wurden. Das Modell wurde nicht faul; es wurde einfach organisierter.

Was nicht funktionierte (und warum)

Das Paper schließt die Idee explizit aus, dass man dieses Problem beheben kann, nachdem das Modell gebaut wurde. Der ReMoE-Ansatz (das Finetuning eines alten Modells) erwies sich als ineffektiv, da die "Expert Representations" (die Gehirne der Bibliothekare) bereits durch einen Trainingsprozess geformt wurden, dem die Beständigkeit bei Themen egal war. Man kann Lokalität nicht nachträglich einbauen; man muss sie von Anfang an einbetten.

Sie stellten auch fest, dass die allererste Schicht des Modells (Layer 0) am schwersten "sticky" zu machen ist. Selbst mit den besten Einstellungen blieb die Wechselrate dort über 0,49. Das liegt daran, dass die erste Schicht rohe Wörter sieht, bevor sie mit dem Kontext vermischt werden, sodass "Apfel" und "Kuchen" in diesem Stadium tatsächlich sehr unterschiedlich aussehen können.

Das Fazente Fazit

Das Paper legt nahe, dass man, wenn man möchte, dass eine KI auf einem Gerät mit begrenztem Speicher schnell läuft, nicht nur versuchen sollte, clever mit Caching-Regeln umzugehen oder das Modell später zu reparieren. Stattdessen sollte man das Modell von Tag eins an darauf trainieren, "sticky" zu sein. Indem man eine einfache Strafe für zu häufige Expertenwechsel zwischen benachbarten Wörtern hinzufügt, erhält man ein Modell, das natürlich beim Thema bleibt, weniger Wege in den langsamen Keller benötigt und die Geschichte tatsächlich besser versteht.

Die Autoren geben zu, dass dies auf Simulationen und dem Training auf spezifischen Datensätzen (WikiText-2) mit kleinen und mittleren Modellen (bis zu 22M Parametern) basiert. Sie deuten an, dass diese "Beständigkeit" bei größeren Modellen sogar noch besser funktionieren könnte, haben dies aber bei den massiven Milliarden-Parameter-Modellen noch nicht getestet. Sie merken auch an, dass ihre Methode derzeit nicht weiß, wann ein Satz endet, was dazu führen könnte, dass sie "zu sticky" über eine Absatzgrenze hinweg wird – ein Problem, das in zukünftiger Arbeit gelöst werden muss.

Technisches Resümee: Sticky Routing für speichereffiziente MoE-Inferenz

1. Problemstellung: Der Flaschenhals durch Experten-Austausch

Mixture-of-Experts (MoE)-Modelle sind darauf ausgelegt, Large Language Models (LLMs) zu skalieren, indem sie pro Token nur eine spärliche Teilmenge von Experten aktivieren. Theoretisch ermöglicht dies massive Parameterzahlen bei geringer Rechenlast pro Token, was sie für den Einsatz auf Edge-Geräten attraktiv macht, wo zu jedem Zeitpunkt nur wenige Experten im schnellen Speicher (VRAM/SRAM) residieren müssen.

Die Arbeit identifiziert jedoch einen kritischen Fehlermodus in der Praxis: temporale Routing-Inkonsistenz. Standardmäßige MoE-Router treffen Entscheidungen für jedes Token unabhängig voneinander, basierend ausschließlich auf der Hidden Representation dieses Tokens. Infolgedessen aktivieren aufeinanderfolgende Token häufig völlig unterschiedliche Experten. Auf speicherbeschränkter Hardware erfordert jeder Wechsel das Verdrängen (Eviction) von gecashten Expertengewichten und das Laden neuer Gewichte aus langsamem Speicher (CPU-RAM/Flash). Da die PCIe/NVMe-Bandbreite um Größenordnungen niedriger ist als die GPU-Speicherbandbreite, dominieren diese häufigen „Experten-Wechsel“ die Inferenzlatenz, was MoE-Modelle oft langsamer als vergleichbare dichte Modelle macht.

Bestehende Lösungen werden als unzureichend eingestuft:

Systemseitige Ansätze (z. B. Caching-Heuristiken, Prefetcher) sind reaktiv; sie nutzen die vorhandene Lokalität aus, können aber intrinsisch inkonsistente Router nicht korrigieren.
Post-hoc-Ansätze (z. B. Feinabstimmung nur des Routers) scheitern, da die Experten-Repräsentationen durch ein Trainingsregime geformt wurden, das keine Lokalität gefordert hat. Der Router kann Entscheidungen nicht einfach in einem Repräsentationsraum neu ausrichten, der nicht dafür konzipiert wurde.
Architektonische Neugestaltungen (z. B. Oracle-MoE) erfordern oft signifikante strukturelle Änderungen am Modell oder am Trainingsprozess.

2. Methodik: StickyMoE

Die Autoren schlagen StickyMoE vor, einen Ansatz während der Trainingszeit, der die temporale Routing-Lokalität als explizites Ziel behandelt. Die Kerninnovation ist ein differenzierbarer Routing-Konsistenzverlust ( $L_{cons}$ ), der abrupte Änderungen in der Expertenzuweisung zwischen benachbarten Tokens bestraft.

Der Routing-Konsistenzverlust

Die Verlustfunktion minimiert den $\ell_2$ -Abstand zwischen den Softmax-Gate-Wahrscheinlichkeitsvektoren ( $g_t$ ) aufeinanderfolgender Tokens:
$L_{cons} = \frac{1}{T-1} \sum_{t=2}^{T} \| g_t - g_{t-1} \|_2^2$
Wobei $g_t \in \mathbb{R}^N$ der Output des Routers für Token $t$ ist.

Dieser Verlust wird zusammen mit dem Standard-Cross-Entropy-Verlust ( $L_{CE}$ ) und den Load-Balancing-Verlusten ( $L_{bal}$ ) in das gesamte Trainingsziel integriert:
$L = L_{CE} + \lambda L_{cons} + \mu L_{bal}$

Schlüsselmechanismen

Ko-Adaption: Im Gegensatz zu Post-hoc-Methoden trainiert StickyMoE den Router und die Experten-Repräsentationen gleichzeitig. Die Minimierung von $L_{cons}$ aktualisiert die Router-Gewichte ( $W_r$ ) und propagiert den Gradienten durch die Hidden States ( $h_t$ ), was das Modell dazu ermutigt, Repräsentationen zu lernen, die über semantisch kohärente Abschnitte hinweg natürlich konsistent sind.
Soft-Hard-Variante: Um „Long-Range Drift“ (bei dem kleine schrittweise Änderungen zu einem entfernten Wechsel kumulieren) zu adressieren, führen die Autoren eine Anker-Beschränkung ein. Die Sequenz wird in Fenster unterteilt; das erste Token eines Fensters setzt einen Anker, und nachfolgende Tokens werden für Abweichungen von diesem Anker bestraft, wobei die Strafe mit zunehmendem Abstand zum Fensteranfang linear ansteigt.
Kompatibilität: Die Methode erfordert keine architektonischen Änderungen und verursacht einen vernachlässigbaren Rechenaufwand. Sie ist mit jedem Standard-Top- $k$ MoE und bestehenden Load-Balancing-Techniken kompatibel.

3. Wichtigste Beiträge

Routing-Konsistenzverlust: Ein einfacher, differenzierbarer Trainingsverlust, der direkt Expertenwechsel zwischen benachbarten Tokens bestraft und nur einen einzigen Hyperparameter ( $\lambda$ ) erfordert.
Komplementarität zur Lastverteilung: Empirische Belege zeigen, dass Konsistenzverlust und Load-Balancing-Verlust komplementär sind. Der Konsistenzverlust formt das Wann der Expertennutzung, ohne zu „Experten-Kollaps“ zu führen (die Entropie der Auslastung bleibt hoch, nahe am theoretischen Maximum).
Soft-Hard-Variante: Eine Kombination aus per-Schritt-Soft-Penalties und Segment-Ebene-Anker-Beschränkungen, die eine starke Lokalität ohne zusätzliche Qualitätskosten garantiert.
Umfassende Evaluierung: Kontrollierte Experimente im Vergleich von StickyMoE gegen Vanilla-MoE, Post-hoc-Router-Feinabstimmung (ReMoE) und architektonische Baselines (Oracle-MoE) auf kleinen und mittleren Modellen.

4. Experimentelle Ergebnisse

Die Experimente wurden auf WikiText-2 mit kleinen (~~8,8 Mio. Parameter) und mittleren (~~22 Mio. Parameter) MoE-Modellen durchgeführt.

Experten-Wechselrate (Switch Rate, SR): StickyMoE reduziert die Experten-Wechselrate um bis zu 59 % (z. B. von 0,71 auf 0,29 beim mittleren Modell).
Cache-Hit-Rate (CHR): Die Reduktion der Wechsel übersetzt sich in eine 3,92-fache Reduktion der Cache-Misses (CHR stieg von ~0,54 auf ~0,88 beim mittleren Modell mit einem 2-Experten-Slot-Cache).
Perplexität (Qualität):
- Bei moderaten $\lambda$ -Werten (z. B. 0,05) verbessert StickyMoE die Perplexität im Vergleich zur Baseline (z. B. -4,1 % beim mittleren Modell), was darauf hindeutet, dass der Konsistenzverlust als vorteilhafte Regularisierung wirkt.
- Aggressive $\lambda$ -Werte führen zu einem Trade-off, aber die Pareto-Front von StickyMoE dominiert andere Methoden strikt.
Versagen der Post-hoc-Feinabstimmung: Die ReMoE-Baseline (Feinabstimmung nur des Routers auf einem vortrainierten Modell) konnte die Wechselrate nicht signifikant senken (<0,5 % Änderung), was bestätigt, dass Lokalität nicht nachträglich implementiert werden kann, wenn die Repräsentationen bereits fixiert sind.
Schichtweise Analyse: Der Konsistenzverlust ist in tieferen Schichten (L1–L3) am effektivsten. Die Input-Schicht (L0) bleibt resistent gegenüber Verbesserungen der Lokalität, wahrscheinlich weil Token-Embeddings noch keinen kontextuellen Mix aufweisen.

5. Bedeutung und Behauptungen

Das Paper argumentiert, dass temporale Routing-Lokalität ein legitimes Trainingsziel ist, das während des Vortrainings etabliert werden sollte, anstatt es als systemseitiges Nebenprodukt zu behandeln.

Paradigmenwechsel: Ähn wie Quantization-Aware Training zum Standard geworden ist, postulieren die Autoren, dass „Lokalitäts-bewusstes Training“ der Standard für MoE-Modelle sein sollte, die für den Einsatz auf speicherbeschränkten Geräten vorgesehen sind.
Ursachenbekämpfung: StickyMoE adresset die Ursache (inkonsistente Routing-Entscheidungen) statt der Symptome (Cache-Misses). Durch das Co-Training von Repräsentationen und Routing-Entscheidungen vermeidet es den Repräsentations-Mismatch, der Post-hoc-Methoden plagt.
Praktikabilität: Die Methode ist architekturunabhängig und erfordert keine Änderungen an der Inferenz-Pipeline. Der trainierte Router produziert natürlich konsistente Gate-Verteilungen, wodurch Standard-Caching-Strategien (LRU, LFU) signifikant effizienter funktionieren können, ohne zusätzlichen Engineering-Aufwand.

Die Autoren kommen zu dem Schluss, dass systemseitige Optimierungen und Post-hoc-Anpassungen zwar nützliche Ergänzungen bleiben, aber kein Substitut für ein Modell sein können, das nie darauf trainiert wurde, „cache-freundlich“ zu sein. StickyMoE bietet einen Weg, die theoretische Speichereffizienz von MoE-Architekturen auf Edge-Geräten zu realisieren.