Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

Technische Samenvatting: Welke Expert-misses zijn het wachten waard?

Probleemstelling
Mixture-of-Experts (MoE) taalmodellen, zoals Qwen3-Next-80B-A3B, bieden een hoge capaciteit maar vereisen het opslaan van alle experts in het geheugen, wat de VRAM van consumenten-GPU's (bijv. 24 GB) overstijgt. Het offloaden van experts naar CPU-geheugen of SSD's maakt het mogelijk om deze modellen op consumentenhardware te draaien, maar dit introduceert latentie wanneer "cache-miss" experts (die niet momenteel in het GPU-geheugen aanwezig zijn) nodig zijn. Traditionele oplossingen omvatten het ophalen van elke miss (hoge latentie), rekenen op de CPU (trage rekenkracht), of prefetching (risico op misvoorspelling). Alternatieve benaderingen veranderen de berekening door een gemiste expert te vervangen door een aanwezige expert. Het blijft echter onduidelijk welke substituties leiden tot aanzienlijk kwaliteitsverlies in modellen met honderden experts per laag, of een enkele metriek kan dienen als leidraad voor cache-policies, en wanneer een cache een expert moet toelaten die herhaaldelijk wordt gesubstitueerd.

Methodologie
De studie richt zich op Qwen3-Next-80B-A3B (512 experts per laag, waarbij 10 worden geselecteerd) met ongeveer 25% van de experts aanwezig in het GPU-geheugen. Het onderzoek gebruikt drie verschillende instrumenten om substitutie-policies te evalueren:

1. Emulatie: Een PyTorch-implementatie die de outputs van het model exact berekent voor alle policies op dezelfde token-sequenties, waarbij de fetch-latentie wordt geïdealiseerd om de impact van substitutie op de kwaliteit (gemeten via teacher-forced perplexiteit) te isoleren.
2. Router-Logit Simulator: Een C++ tool die router-logits afspeelt om policies snel te vergelijken zonder de volledige modelberekening uit te voeren, waarbij de tijd per token en de cache-statussen worden geschat.
3. Engine: Een aangepaste llama.cpp implementatie die daadwerkelijke expert-fetching, substitutie en caching uitvoert op consumenten-GPU's (RTX 3090).

De studie definieert gesubstitueerde gate mass ($m$) als de som van de genormaliseerde gate-gewichten van de gesubstitueerde experts. Het test verschillende policies:

• Fetch every miss: De referentie-baseline.
• 0.15 Regel: Haalt gemiste experts synchroon op als ze de eerste keuze van de router zijn of een gate-gewicht $\ge 0,15$ hebben; de rest wordt gesubstitueerd.
• First-choice Rule: Haalt alleen de eerste keuze bij een miss op; alle andere worden gesubstitueerd.
• Background Admission: Een regel die de gate-gewichten van gesubstitueerde experts in de loop van de tijd accumuleert en ze in de achtergrond toelaat in de cache zodra een drempelwaarde (bijv. 0,5) is bereikt.

Belangrijkste Bijdragen en Bevindingen

1. Oorzaak van Kwaliteitsverlies: In emulatie komt het grootste deel van het kwaliteitsverlies voort uit het substitueren van enkele zwaar gewogen experts (eerste keuzes of experts met hoge gate-gewichten), in plaats van het totale aantal substituties. Voor Qwen3-Next de 0.15-regel 7,5% van de calls gesubstitueerd (tegenover 8,5% bij het ophalen van elke miss) maar verminderde de toename in perplexiteit van 5,67% naar 0,35%. Dit suggereert dat het beschermen van experts met een hoog gewicht cruciaal is, zelfs als veel experts met een laag gewicht worden gesubstitueerd.
2. Mass als Vergelijkbare Metriek: De studie stelt de "Mass Hypothese" voor: onder policies die altijd de eerste keuze ophalen, correleert een hogere gesubstitueerde gate mass met hogere toenames in perplexiteit op dezelfde inputs. In de engine was deze correlatie sterk (Pearson $r \approx 0,92$) over verschillende policies op dezelfde data. Echter, mass voorspelde niet welke specifieke inputs kwaliteitsverlies zouden lijden, noch hield het stand bij het vergelijken van policies die eerste keuzes substitueerden.
3. Samenstelling van Substituties: Een experiment (Experiment B) waarbij de samenstelling van substituties bij gelijke mass werd gevarieerd, vond dat een paar zware substituties meer verlies veroorzaakten dan veel lichte substituties, hoewel de geplande statistische beslisregel geen definitief oordeel opleverde vanwege de lage gerealiseerde mass in de primaire conditie.
4. Background Admission Policy: Een regel die een expert in de cache toelaat zodra de geaccumuleerde gesubstitueerde mass een drempelwaarde van 0,5 bereikt, verminderde de perplexiteit met 0,3–1,5%, waarbij de meest significante winsten direct na onderwerpwijzigingen optraden.
5. Prestaties van Geselecteerde Policies: Twee policies werden geselecteerd op basis van deze resultaten:
   • Quality-First: 0.15 Regel + Frequentie-gebaseerde eviction + Background admission ($\beta=0,5$).
   • Speed-First: First-choice Rule + Frequentie-gebaseerde eviction + Background admission ($\beta=0,5$).
     Op twee hosts waren deze policies 2,5–3,0× sneller per token dan het ophalen van elke miss, met een perplexiteitstoename van slechts 0,7–1,5%. Vergeleken met de 0.15-regel alleen, verminderde de Quality-First policy de perplexiteit verder (met ~0,5–0,8%) tegen een kleine tijdkosten, terwijl Speed-First de tijd met ~5% verminderde zonder statistisch significante toename in perplexiteit.
6. Vergelijking met Stock llama.cpp: Op een machine met ~16 GB beschikbare RAM decodeerde de engine die de 0.15-regel gebruikte 2,8–3,0× sneller dan stock llama.cpp geconfigureerd om dezelfde VRAM te gebruiken, met een perplexiteitstoename van slechts 1,6%.

Significantie en Claims
Het artikel beweert de eerste directe meting te bieden van welke expert-substituties verantwoordelijk zijn voor kwaliteitsverlies in MoE's met honderden experts per laag. Het stelt vast dat:

• Substitutie Strategie: Het beschermen van experts met een hoog gewicht (via de 0.15-regel) effectiever is dan simpelweg het totale aantal substituties verminderen.
• Bruikbaarheid van Metrieken: Gesubstitueerde gate mass is een nuttige metriek voor het vergelijken van policies op de zelfde inputs, maar is geen voorspeller van verlies over verschillende inputs.
• Praktische Efficiëntie: Het is mogelijk om grote MoE's op consumenten-GPU's te draaien met minimale kwaliteitsdegradatie (0,7–1,5% toename in perplexiteit) terwijl er een 2,5–3,0× versnelling wordt bereikt ten opzichte van standaard offloading-strategieën.

Beperkingen en Bescheidenheid
De auteur geeft expliciet aan dat de conclusies bescheiden en voorwaardelijk zijn:

• Reikwijdte: De resultaten zijn primair gebaseerd op Qwen3-Next-80B-A3B en teacher-forced perplexiteit. De generatietest (GSM8K en HumanEval) ondersteunde voorspellingen slechts gedeeltelijk; bijvoorbeeld faalde de correlatie tussen mass en overeenstemming op HumanEval.
• Causaliteit: De studie scheidt de effecten van expert-rang niet van gewicht, en beweert niet dat gate-gewicht op zichzelf de oorzaak van het verlies is.
• Vergelijkingen: De policies zijn niet vergeleken met prefetching of methoden met lagere precisie.
• Generaliseerbaarheid: Snelheidsratio's en specifieke perplexiteitswaarden worden gerapporteerd voor de specifieke hardware-hosts die zijn gemeten en houden mogelijk niet stand op andere machines.
• Experimentele Status: Behalve de generatietest en Experiment B, zijn de analyses verkennend. Het paper rapporteert mislukte voorspellingen (bijv. met betrekking tot probleemniveau mass-correlaties) en conclusies die omkeerden naarmate de steekproefomvang toenam (bijv. de correlatie tussen mass en verlies).

Samenvattend demonstreert het werk dat intelligente substitutie- en background admission-policies de latentie van het offloaden van grote MoE's op consumentenhardware aanzienlijk kunnen verminderen, mits experts met een hoog gewicht worden geprioriteerd voor het ophalen.