💻 computer science

Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster

Dit artikel stelt een sequentie-lokale expert-rosterstrategie voor die een kleine set experts per sequentie vastlegt om de geheugenvoetafdruk en het overdragen van experts tijdens het serveren van MoE-modellen drastisch te verminderen, waarbij een doorvoer die bijna gelijk is aan volledige residentie wordt bereikt met aanzienlijk minder resident gewichten door deze beperking consistent toe te passen tijdens zowel training als inferentie.

Oorspronkelijke auteurs: ChaeWoo Son

Gepubliceerd 2026-08-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: ChaeWoo Son

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentiesystemen die tekst genereren, vertrouwen vaak op een ontwerp dat een 'mixture of experts' wordt genoemd. Stel je een enorme bibliotheek voor van gespecialiseerde kenniswerkers, waarbij elke werker een expert is in een specifiek, nauw onderwerp. Wanneer het systeem een vraag moet beantwoorden, activeert het niet alle werkers tegelijkertijd. In plaats daarvan selecteert het slechts een handvol van de meest relevante experts voor dat specifieke moment. Deze aanpak stelt het systeem in staat om ongelooflijk groot en bekwaam te zijn, terwijl het relatief weinig rekenkracht gebruikt voor elk woord dat het produceert. Er is echter een aanzienlijke flessenhals in de manier waarop deze systemen op standaardcomputers worden uitgevoerd. Hoewel er op elk gegeven moment slechts een paar experts worden gebruikt, moet het geheugen van de computer de volledige bibliotheek aan experts klaar hebben staan, omdat het systeem niet van tevoren weet welke er als volgende nodig zullen zijn. Deze vereiste dwingt de totale geheugengrootte om overeen te komen met de omvang van de gehele bibliotheek, in plaats van alleen de kleine groep die op dat moment wordt gebruikt, wat het moeilijk maakt om deze krachtige modellen uit te voeren op apparaten met beperkt geheugen.

Onderzoekers hebben geprobeerd dit op te lossen door de ongebruikte experts op een harde schijf op te slaan en ze pas in het geheugen te laden wanneer dat nodig is. Maar dit creëert een nieuw probleem: omdat het systeem experts op een verspreide, onvoorspelbare manier kiest, moet het voortdurend nieuwe experts ophalen, wat het proces vertraagt. Een team onder leiding van onafhankelijk onderzoeker ChaeWoo Son stelde een andere vraag: in plaats van de computer sneller te maken in het ophalen van verspreide experts, konden ze het systeem veranderen zodat het gedurende de duur van een enkel gesprek van nature vasthoudt aan een kleine, consistente groep experts? Ze wilden zien of ze het systeem konden trainen om "sequentie-lokaal" te worden, wat betekent dat zodra een gesprek begint, dezelfde kleine groep experts de hele draad beheert, waardoor de computer slechts die specifieke groep in het geheugen kan houden.

De onderzoekers probeerden het systeem eerst direct dit gedrag aan te leren. Ze probeerden het model te trainen om de voorkeur te geven aan experts die het al in de huidige conversatie had gebruikt, in de hoop dat deze gewoonte een permanent onderdeel van de intelligentie van het systeem zou worden. Ze ontdekten dat hoewel deze truc werkte terwijl de training plaatsvond, het gedrag niet bleef hangen. Zodra de trainingsdruk werd weggenomen, keerde het systeem terug naar zijn oude, verspreide gewoonten. Zelfs toen ze probeerden het gedrag te versterken door het systeem te laten leren van zijn eigen bevooroordeelde keuzes, werd het proces instabiel en leed de kwaliteit van de tekst eronder. De studie concludeerde dat het systeem niet een nieuwe vaardigheid leerde, maar simpelweg reageerde op een tijdelijke regel. De onderzoekers realiseerden zich dat het proberen te laten internaliseren van dit gedrag door het systeem de verkeerde aanpak was.

In plaats van het brein van het systeem te willen veranderen, besloten de onderzoekers de regels van het spel te veranderen. Ze voerden een strikte, permanente regel in die zowel tijdens de training als tijdens het daadwerkelijke gebruik van het systeem van kracht was. Onder deze nieuwe regel krijgt elk gesprek een kleine, vaste groep experts toegewezen op basis van de eerste paar woorden van de tekst. Zodra dit team is geselecteerd, mag het systeem gedurende de rest van dat gesprek naar niemand anders overschakelen. Deze regel werkt als een budget: de computer hoeft alleen dat specifieke kleine team in zijn snelle geheugen te houden, terwijl de rest van de bibliotheek op de tragere opslagschijf kan blijven staan. Omdat het team vaststaat voor de hele conversatie, hoeft de computer niet constant experts in en uit te wisselen.

De resultaten van deze aanpak waren opmerkelijk. Toen de onderzoekers deze regel toepasten op een testmodel en het een korte periode van hertraining gaven om zich aan te passen aan de nieuwe beperkingen, presteerde het systeem bijna net zo goed als zonder de regel, maar met een enorme vermindering van het geheugengebruik. In hun tests waren ze in staat om slechts een kwart van de totale experts in het geheugen te houden en nog steeds bijna dezelfde snelheid te behalen als wanneer ze al deze experts hadden behouden. Het systeem verminderde het aantal keren dat het gegevens moest ophalen van de trage opslag schijf met een factor dert puluh twee vergeleken met de oude methode. Hoewel de tekstkwaliteit licht daalde — met ongeveer vijf procent in het meest extreme scenario van geheugenbesparing — maakte de afruil het mogelijk om het model op veel kleinere, meer toegankelijke hardware uit te voeren.

De studie onthulde ook een onverwacht inzicht in hoe deze systemen leren. De onderzoekers ontdekten dat hoe langer een model wordt getraind zonder deze geheugenbeperkingen, hoe moeilijker het wordt om het later in dit efficiënte patroon te dwingen. De natuurlijke neiging van het systeem om zijn aandacht te verspreiden lijkt in de loop van de tijd sterker te worden, waardoor het aanpassen aan geheugenlimieten achteraf kostbaarder wordt. Dit suggereert dat als we willen dat deze modellen efficiënt zijn op alledaagse apparaten, we ze misschien vanaf het begin efficiënt moeten leren, in plaats van te proberen het probleem op te lossen nadat ze al geleerd hebben om verspreid te zijn.

Dit werk beweert niet het probleem voor elke mogelijke situatie te hebben opgelost, en de onderzoekers merkten er zorgvuldig bij op dat hun tests werden uitgevoerd op synthetische data en kleinere modellen. Ze observeerden dat als een gesprek plotseling van onderwerp verandert in het midden, het vaste team van experts moeite kan hebben, hoewel hun tests lieten zien dat het systeem zelfs met een onderwerpswisseling kon adapteren met een kleine straf op de kwaliteit. De studie dient als een bewijs van concept dat door de geheugenbeperking als een regel in plaats van een leerdoel te behandelen, we deze enorme modellen veel praktischer kunnen maken. Het verschuift de focus van het bouwen van snellere hardware naar het ontwerpen van slimmere regels voor hoe het systeem zijn middelen gebruikt, wat de deur opent voor krachtige kunstmatieve intelligentie om te draaien op apparaten die momenteel te klein zijn om hen te bevatten.

Technische Samenvatting: Predatory MoE: Serving Mixture-of-Experts met een Sequence-Lokale Expert-Roster

Probleemstelling

Open-weight Mixture-of-Experts (MoE) modellen bereiken een hoge capaciteit door slechts een klein fractie van hun totale parameters per token te activeren. Echter, in geheugenbeperkte settings met één versneller, vereist het serveren van deze modellen doorgaans het in het geheugen houden van alle experts, wat betekent dat de geheugenvoetafdruk schaalt met het totale aantal parameters in plaats van het actieve aantal.

Standaardoplossingen offloaden inactieve experts naar het hostgeheugen of de harde schijf en halen ze op aanvraag op. Bestaande systemen passen zich aan de vraag naar routing aan zodra deze optreedt (bijv. door gebruik te maken van LRU-caches of voorspellende prefetching). Onbeperkte routing is echter vaak "vijandig" tegenover gebonden caches: token-level routers kunnen elke expert bij elke willekeurige token selecteren, wat leidt tot frequente gewichtsoverdrachten. In de 32-expert testomgeving van de auteur werd een onbeperkt model gemiddeld 28 van de 32 experts geraadpleegd per 256-token sequentie. Het artikel vraagt zich af of het patroon van de routingvraag zelf veranderd kan worden naar een sequentie-lokale vorm, zodat elke sequentie wordt bediend door een kleine, vaste roster van experts, waardoor het resident geheugen een roster-budget kan volgen in plaats van het totale aantal experts.

Methodologie

Het artikel onderzoekt twee primaire benaderingen om sequentie-lokaliteit te bereiken: het in de modelgewichten trainen ervan versus het opleggen ervan als een routingregel.

1. Poging tot het trainen van Sequentie-Lokaliteit

De auteur onderzocht eerst of sequentie-lokaliteit geïnstilleerd kon worden als een trainingsdoelstelling met behulp van een "rich-get-richer" selectiebias (een amplifier bias). Deze bias bevoordeelde experts die al binnen een sequentie waren gebruikt voor de rest van die sequentie.

Bevindingen: Hoewel de bias de werkset verkleinde tijdens activatie, was de resulterende lokaliteit niet persistent.
- Tijdsgevoeligheid: De bias vormde de routing alleen duurzaam om wanneer deze vanaf het begin van de training werd toegepast; latere toepassing leverde slechts onmiddellijke selectie-effecten op zonder verdere adaptatie.
- Reversie: Als de bias halverwege de training werd verwijderd, zorgde voortgezette ongebiaste training ervoor dat de routing terugkeerde naar een verspreid patroon, waardoor de oorspronkelijke werkset werd hersteld.
- Distillatie-falen: Pogingen om de bias te internaliseren via zelf-distillatie (de router trainen om de eigen gebiasede selecties na te bootsen) resulteerden in een bewegend doelwit dat de routing destabiliseerde en de modelkwaliteit verslechterde.
Conclusie: Sequentie-lokaliteit gedroeg zich als een eigenschap van de routingprocedure, niet als een geleerde eigenschap van de gewichten.

2. De Roster Routing Regel

Op basis van het falen van de op training gebaseerde benaderingen, legde de auteur sequentie-lokaliteit op als een routingregel die tijdens zowel de training als het serveren identiek wordt toegepast.

Mechanisme:
- Elke sequentie houdt een lopende telling bij van expert-selecties per laag.
- Een roster $R$ wordt gevormd door de top- $m$ meest gebruikte experts.
- Exploratie-fase: Totdat $m$ verschillende experts zijn gebruikt, wordt er geen bias toegepast.
- Barrière-fase: Zodra de roster vol is, ontvangen leden een selectiebonus $+\delta$ , en niet-leden ontvangen $-\delta$ . Niet-leden moeten een $2\delta$ scoretekort overwinnen om de roster binnen te gaan en een minst gebruikte lid te vervangen.
- Pinning (Serving): Bij implementatie wordt de roster bevroren na een korte prefix (bijv. 20% van de sequentie). De daaropvolgende decodering wordt beperkt tot deze gepinde roster.
Retrofitting: Voor voorgetrainde modellen stelt de auteur een 600-stappen fine-tuning fase voor onder de toegepaste regel (met actieve pinning). Dit stelt de experts in staat om zich aan te passen aan de verkeerspatronen die door de regel worden gecreëerd, zonder dat de router de lokaliteit zelf hoeft te leren.

Belangrijkste Bijdragen

Empirische Analyse van Training-gebaseerde Lokaliteit: Een gecontroleerde analyse die aantoont dat sequentie-lokaliteit weerstand biedt aan het worden getraind als een persistent doel, vanwege tijdsgevoeligheid, reversie onder voortgezette training en de zelf-referentiële instabiliteit van router-distillatie.
Roster-Budget Routing Regel: Een mechanisme dat lokaliteit behandelt als een procedurele beperking met een expliciet evenwicht (het budget $m$ ), in plaats van een emergente gedrag. Deze regel houdt de trainingsdynamiek stabiel en houdt de per-sequentie werksets dicht bij het budget $m$ .
Retrofit Recept: Een methode om voorgetrainde modellen aan te passen aan de roster-regel via een korte fine-tune (600 stappen). Dit proces brengt de prestaties van modellen die vanaf nul zijn getraind onder de regel op gelijke hoogte, waardoor de kwaliteitskosten van het koppelen van de regel aan een voorgetraind model effectief worden weggenomen.
Serving Analyse: Een trace-gedreven simulatie die aantoont dat het resulterende vraagpatroon de expert-transfers drastisch vermindert vergeleken met standaard caching-strategieën onder een gelijkwaardig geheugengebruik.

Resultaten

Kwaliteit en Budget Afwegingen

Training vanaf nul: Training onder de roster-regel met $m=4$ (uit 8 experts) resulteerde in een werkset van $\approx 4.18$ met slechts een $+0.27\%$ toename in perplexiteit ten opzien van de baseline.
Retrofitting: Het toepassen van de regel op een voorgetraind model zonder fine-tuning veroorzaakte een grote sprong in perplexiteit ( $+32\%$ ). Echter, een 600-stappen fine-tune onder de gepinde regel verminderde deze kosten tot $+0.9\%$ (bij $m=4$ ) en $+5.0\%$ (bij $m=8$ voor een 32-expert model).
Schaalbaarheid: In de 32-expert testomgeving verminderde fine-tuning de kosten van het pinnen van $m=8$ (75% reductie in geheugen) tot een perplexiteitstoename van $+5.0\%$ , vergeleken met een $\sim 9\times$ perplexiteitsmultiplier voor zero-shot koppeling.
Erosie van Serveerbaarheid: De auteur merkte op dat onbeperkte training de geschiktheid van een model voor roster-serving geleidelijk erodeert. Zelfs nadat de perplexiteit convergeert, verhoogt voortgezette training de kosten voor het serveren onder een gepinde roster, wat suggereert dat serving-beperkingen tijdens de training blootgesteld moeten worden.

Serving Prestaties (Trace-gedreven Simulatie)

Onder gelijke geheugenbudgetten (25% van de expert-gewichten resident):

Reductie in Transfers: Het door de roster bediende model verminderde de expert-transfers met wel 32 $\times$ vergeleken met een LRU-cache die een onbeperkt model bedient.
Doorvoersnelheid (Throughput): Het door de roster bediende model herstelde 94% van de full-residence decode-doorvoersnelheid, terwijl de LRU-bediende onbeperkte versie slechts 33% bereikte.
Latentie: De roster-aanpak verminderde de stall-tijd tot bijna nul (0.01 ms/token) vergeleken met de 30.3 ms/token voor de LRU-baseline.

Betekenis en Claims

Het artikel beweert dat sequentie-lokale expert-lokaliteit natuurlijker wordt afgehandeld als onderdeel van de routingprocedure (gespecificeerd, gebudgetteerd en aanwezig tijdens de training) dan als een gedrag waar een model om gevraagd wordt te leren.

Praktische Impact: De voorgestelde methode maakt het mogelijk om grote MoE-modellen te serveren met slechts een fractie van het expert-geheugen als resident (bijv. 25%) terwijl bijna de volledige full-residence doorvoersnelheid wordt herwonnen, tegen de kosten van een bescheiden toename in perplexiteit (bijv. +5.0%).
Reikwijdte en Beperkingen: De auteur is expliciet dat de kwantitatieve resultaten afkomstig zijn van een synthetische, single-domain testomgeving (tot 32 experts). Er wordt niet beweerd dat de resultaten direct generaliseren naar productie-schaal modellen of multi-stream gebatchte serving zonder verdere validatie.
Toekomstig Werk: Het artikel schetst een pad voor validatie, inclusief het analyseren van routing-traces van bestaande open-weight MoEs en het fine-tunen van kleine open MoEs op echte data om het retrofit-recept en de "erosie"-hypothese te testen.
Extrapolatie: Hoewel de auteur rekenkundige schattingen geeft die suggereren dat voor een 2.4T parameter model, roster-serving de voetafdruk zou kunnen reduceren naar een workstation-schaal (bijv. ~97 GB bij $m=32$ ), benadrukt de auteur dat dit orde van grootte-schattingen zijn gebaseerd op onverifieerde aannames over real-world routingpatronen en architecturale specificaties.

Samenvattend stelt het artikel een verschuiving voor van het technisch ingrijpen op systemen om vijandige routing-eisen te faciliteren, naar het technisch ingrijpen op de routing-vraag zelf om deze serveerbaar te maken, waarbij wordt aangetoond dat een procedurele "roster-regel" gecombineerd met korte fine-tuning aanzienlijke winsten in geheugen en doorvoersnelheid kan opleveren in gecontroleerde omgevingen.