Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

Technische Zusammenfassung: Welche Experten-Misses lohnen sich zu warten?

Problemstellung
Mixture-of-Experts (MoE) Sprachmodelle, wie Qwen3-Next-80B-A3B, bieten eine hohe Kapazität, erfordern jedoch das Speichern aller Experten im Speicher, was den VRAM von Consumer-GPUs (z. B. 24 GB) überschreitet. Das Auslagern (Offloading) von Experten in den CPU-Speicher oder auf SSDs ermöglicht es, diese Modelle auf Consumer-Hardware auszuführen, führt jedoch zu Latenzen, wenn „Cache-Miss“-Experten (diejenigen, die sich nicht aktuell im GPU-Speicher befinden) benötigt werden. Traditionelle Lösungen beinhalten das Abrufen jedes Miss (hohe Latenz), die Berechnung auf der CPU (langsame Arithmetik) oder Prefetching (Risiko von Fehlprognosen). Alternative Ansätze ändern die Berechnung, indem sie einen fehlenden Experten durch einen residenten Experten ersetzen. Es bleibt jedoch unklar, welche Substitutionen bei Modellen mit Hunderten von Experten pro Schicht signifikanten Qualitätsverlust verursachen, ob eine einzelne Metrik Cache-Strategien leiten kann und wann ein Cache einen Experten aufnehmen sollte, der wiederholt substituiert wird.

Methodik
Die Studie konzentriert sich auf Qwen3-Next-80B-A3B (512 Experten pro Schicht, Auswahl von 10) mit etwa 25 % der Experten, die im GPU-Speicher resident sind. Die Forschung verwendet drei verschiedene Werkzeuge, um Substitutionsstrategien zu evaluieren:

1. Emulation: Eine PyTorch-Implementierung, die die Ausgaben des Modells exakt für alle Strategien auf denselben Token-Sequenzen berechnet, wobei die Fetch-Latenz idealisiert wird, um die Auswirkungen der Substitution auf die Qualität (gemessen an der Teacher-Forced Perplexity) zu isolenieren.
2. Router-Logit-Simulator: Ein C++-Tool, das Router-Logits reproduziert, um Strategien schnell zu vergleichen, ohne das vollständige Modell zu berechnen, wobei die Zeit pro Token und die Cache-Zustände geschätzt werden.
3. Engine: Eine modifizierte llama.cpp-Implementierung, die echtes Abrufen von Experten, Substitution und Caching auf Consumer-GPUs (RTX 3090) durchführt.

Die Studie definiert die substituierte Gate-Masse ($m$) als die summierte normalisierte Gate-Gewichtung der substituierten Experten. Sie testet mehrere Strategien:

• Jeden Miss abrufen (Fetch every miss): Die Referenz-Baseline.
• 0.15-Regel: Ruft fehlende Experten synchron ab, wenn sie die erste Wahl des Routers sind oder ein Gate-Gewicht $\ge 0,15$ haben; die restlichen werden substituiert.
• First-choice-Regel: Ruft nur den Erstwahl-Miss ab; substituiert alle anderen.
• Hintergrund-Admission (Background Admission): Eine Regel, die die Gate-Gewichtung der substituierten Experten über die Zeit akkumuliert und sie in den Cache aufnimmt, sobald ein Schwellenwert (z. B. 0,5) erreicht ist.

Wesentliche Beiträge und Erkenntnisse

1. Quelle des Qualitätsverlusts: In der Emulation stammt der Großteil des Qualitätsverlusts aus der Substitution weniger, schwer gewichteter Experten (Erstwahl oder solche mit hohen Gate-Gewichten), statt aus der bloßen Anzahl der Substitutionen. Für Qwen3-Next substituierte die 0,15-Regel 7,5 % der Aufrufe (gegenüber 8,5 %, wenn jeder Miss abgerufen wird), reduzierte aber den Anstieg der Perplexity von 5,67 % auf 0,35 %. Dies deutet darauf hin, dass der Schutz hochgewichteter Experten entscheidend ist, selbst wenn viele Experten mit geringem Gewicht substituiert werden.
2. Masse als Vergleichsmetrik: Die Studie schlägt die „Massen-Hypothese“ vor: Unter Strategien, die immer die Erstwahl abrufen, korreliert eine höhere substituierte Gate-Masse mit höheren Perplexity-Steigerungen bei denselben Eingaben. In der Engine war diese Korrelation über verschiedene Strategien hinweg bei denselben Daten stark (Pearson $r \approx 0,92$). Die Masse sagte jedoch nicht voraus, welche spezifischen Eingaben an Qualität verlieren würden, noch galt dies beim Vergleich von Strategien, die Erstwahlen substituierten.
3. Zusammensetzung der Substitutionen: Ein Experiment (Experiment B), das die Zusammensetzung der Substitutionen bei gleicher Masse variierte, fand heraus, dass einige wenige schwere Substitutionen mehr Verlust verursachten als viele leichte, obwohl die geplante statistische Entscheidungsregel aufgrund der geringen realisierten Masse in der Primärbedingung kein definitives Urteil lieferte.
4. Background Admission Policy: Eine Regel, die einen Experten in den Cache aufnimmt, sobald seine akkumulierte substituierte Masse einen Schwellenwert von 0,5 erreicht, reduzierte die Perplexity um 0,3–1,5 %, wobei die signifikantesten Gewinne unmittelbar nach Themenwechseln auftraten.
5. Leistung ausgewählter Strategien: Zwei Strategien wurden basierend auf diesen Ergebnissen ausgewählt:
   • Qualitäts-orientiert (Quality-First): 0,15-Regel + Frequenz-basierte Eviktierung + Background Admission ($\beta=0,5$).
   • Geschwindigkeits-orientiert (Speed-First): First-choice-Regel + Frequenz-basierte Eviktierung + Background Admission ($\beta=0,5$).
     Diese Strategien waren auf zwei Hosts 2,5–3,0-mal schneller pro Token als das Abrufen jedes Miss, bei einem Perplexity-Anstieg von nur 0,7–1,5 %. Im Vergleich zur 0,15-Regel allein reduzierte die Quality-First-Strategie die Perplexity weiter (um ~0,5–0,8 %) bei einem leichten Zeitaufwand, während Speed-First die Zeit um ~5 % reduzierte, ohne einen statistisch signifikanten Anstieg der Perplexity zu verursachen.
6. Vergleich mit dem Standard-llama.cpp: Auf einer Maschine mit ~16 GB verfügbarem RAM dekodierte die Engine unter Verwendung der 0,15-Regel 2,8–3,0-mal schneller als das Standard-llama.cpp, das so konfiguriert war, dass es denselben VRAM nutzt, bei einem Perplexity-Anstieg von nur 1,6 %.

Bedeutung und Ansprüche
Das Paper behauptet, die erste direkte Messung dafür geliefert zu haben, welche Experten-Substitutionen den Qualitätsverlust in MoEs mit Hunderten von Experten pro Schicht verursachen. Es stellt fest:

• Substitutionsstrategie: Den Schutz hochgewichteter Experten (via 0,15-Regel) zu priorisieren, ist effektiver als lediglich die Gesamtzahl der Substitutionen zu reduzieren.
• Nützlichkeit der Metrik: Die substituierte Gate-Masse ist eine nützliche Metrik zum Vergleich von Strategien auf den selben Eingaben, ist aber kein Prädiktor für Verluste über verschiedene Eingaben hinweg.
• Praktische Effizienz: Es ist möglich, große MoEs auf Consumer-GPUs mit minimalem Qualitätsverlust (0,7–1,5 % Perplexity-Anstieg) zu betreiben und dabei 2,5–3,0-fache Geschwindigkeitssteigerungen gegenüber Standard-Offloading-Strategien zu erzielen.

Einschränkungen und Bescheidenheit
Der Autor gibt explizit an, dass seine Schlussfolgerungen bescheiden und konditional sind:

• Umfang: Die Ergebnisse basieren primär auf Qwen3-Next-80B-A3B und Teacher-Forced Perplexity. Der Generierungstest (GSM8K und HumanEval) stützte die Vorhersagen nur teilweise; beispielsweise versagte die Korrelation zwischen Masse und Übereinstimmung bei HumanEval.
• Kausalität: Die Studie trennt nicht die Effekte von Experten-Rang und -Gewicht, und sie behauptet nicht, dass das Gate-Gewicht selbst die Ursache für den Verlust ist.
• Vergleiche: Die Strategien wurden nicht mit Prefetching oder Methoden mit geringerer Präzision verglichen.
• Generalisierbarkeit: Die Geschwindigkeitsverhältnisse und spezifischen Perplexity-Werte beziehen sich auf die gemessenen Hardware-Hosts und halten möglicherweise nicht auf anderen Maschinen stand.
• Experimenteller Status: Abgesehen vom Generierungstest und Experiment B sind die Analysen explorativ. Das Paper berichtet über gescheiterte Vorhersagen (z. B. bezüglich der Korrelation von Problem-Ebene und Masse) und Schlussfolgerungen, die sich mit zunehmender Stichprobengröße umkehrten (z. B. die Korrelation zwischen Masse und Verlust).

Zusammenfassend zeigt die Arbeit, dass intelligente Substitutions- und Background-Admission-Strategien die Latenz des Offloadings großer MoEs auf Consumer-Hardware erheblich mildern können, sofern hochgewichtete Experten priorisiert abgerufen werden.