🤖 machine learning

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

Dit artikel stelt een trainingsvrije methode voor om de computationele kosten van fine-grained Mixture-of-Experts-modellen tijdens de inferentie te halveren door de selectie van experts te ontkoppelen van de probabilistische renormalisatie, waardoor de prestaties behouden blijven door te normaliseren ten opzichte van een grotere referentieset van experts in plaats van de gereduceerde actieve set.

Oorspronkelijke auteurs: Xing Chen, Hengshuai Yao

Gepubliceerd 2026-09-07✓ Author reviewed ⓘ

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xing Chen, Hengshuai Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentiesystemen die tekst genereren, vertrouwen vaak op een ontwerp dat de totale hoeveelheid kennis die ze bezitten scheidt van de hoeveelheid denkwerk dat ze leveren voor elk woord. Stel je een enorme bibliotheek voor met duizenden gespecialiseerde boeken, maar voor elke zin die wordt geschreven, opent het systeem slechts een handvol van deze boeken om de juiste informatie te vinden. Deze aanpak, bekend als een Mixture-of-Experts-model, stelt computers in staat om enorme hoeveelheden gegevens op te slaan zonder dat ze elke keer dat ze spreken vertragen. Het systeem gebruikt een kleine interne gids om te beslissen welke specifieke boeken er voor elk woord geopend moeten worden, waardoor slechts een fractie van de totale bibliotheek op elk moment wordt geraadpleegd. Dit creëert een unieke situatie: de computer moet alle boeken op zijn planken houden om klaar te zijn voor elk onderwerp, maar hij leest slechts een paar pagina's tegelijk.

Omdat de computer al deze gespecialiseerde secties in zijn geheugen moet houden, hebben onderzoekers lang gezocht naar manieren om het systeem sneller te maken door het te dwingen nog minder pagina's te lezen. De standaardmethode hiervoor is simpel: vertel het systeem om minder boeken per zin te openen. Echter, deze rechtstreekse aanpak heeft er historisch gezien toe geleid dat het systeem in de war raakte en meer fouten maakte. De verwarring ontstaat niet omdat het systeem de juiste boeken mist, maar omdat de manier waarop het de informatie uit die boeken weegt, onverwacht verandert wanneer het aantal boeken wordt verminderd. Een nieuwe studie door Xing Chen en Hengshuai Yao onthult dat deze verwarring wordt veroorzaakt door een verborgen wiskundige aanpassing die het systeem automatisch maakt, en zij vonden een manier om die aanpassing uit te schakelen zonder het systeem opnieuw te hoeven trainen of nieuwe componenten toe te voegen.

De onderzoekers concentreerden zich op twee zeer grote taalmodellen, één met 35 miljard parameters en een ander met bijna 400 miljard. Deze modellen zijn ontworpen met honderden kleine gespecialiseerde secties, of 'experts', voor elke laag van verwerking. In hun standaardwerking selecteert het systeem acht van deze experts voor elk woord dat het verwerkt. Wanneer de onderzoekers probeerden het systeem te versnellen door dit aantal te halveren, waardoor het gedwongen werd slechts vier experts te gebruiken, daalde de prestatie aanzienlijk. Op een standaardtest van algemene kennis daalde de nauwkeurigheid met bijna vijf punten. Dit verlies was zo ernstig dat velen hadden aangenomen dat het verminderen van het aantal actieve experts simpelweg te kostbaar was om nuttig te zijn. De onderzoekers vermoedden dat het probleem niet het verlies van de experts zelf was, maar eerder hoe het systeem de resterende experts herkalibreerde.

In de standaardopstelling past het systeem de invloed van de gekozen experts aan, zodat hun gecombineerde belang altijd optelt tot een vast totaal. Dit is een veiligheidsmechanisme om het systeem stabiel te houden. Echter, in deze fijnmazige modellen houden de top acht experts meestal slechts een klein deel van de totale belangrijkheid vast. Wanneer het systeem wordt gedwongen om slechts vier experts te kiezen, vermenigvuldigt de standaard aanpassing hun invloed met een grote factor om het verschil te compenseren. Deze plotselinge boost duwt het systeem in een staat waar het nooit voor getraind is, wat ertoe leidt dat het overreageert en fouten maakt. De onderzoekers realiseerden zich dat het systeem niet werkelijk informatie miste; het werd simpelweg gezegd om harder te schreeuwen dan het zou moeten.

Om dit op te lossen, introduceerde het team een eenvoudige verandering die geen training en geen extra rekenkracht vereist. Ze scheidden de beslissing over welke experts te gebruiken van de beslissing over hoe ze te wegen. Ze lieten het systeem slechts vier experts kiezen om het werk te doen, maar ze vertelden het om de belangrijksheidsgewichten te berekenen op basis van de top zestien experts in plaats van alleen de top vier. Door dit te doen, behield het systeem hetzelfde volume aan informatie als waar het aan gewend was, ook al gebruikte het slechts de helft van het aantal actieve secties. Deze kleine aanpassing, die het wijzigen van een enkele integer-instelling inhoudt, veranderde de uitkomst volledig. Op het model met 35 miljard parameters veroorzaakte het verminderen van de actieve experts van acht naar vier met deze nieuwe instelling een daling in nauwkeurigheid van slechts 0,35 punt, een verschil dat zo klein is dat het statistisch niet te onderscheiden is van het oorspronkelijke, tragere systeem.

De studie testte deze methode ook op het veel grotere model met 400 miljard parameters, waar de resultaten even spectaculair waren. Het halveren van de actieve experts met de standaardmethode veroorzaakte een aanzienlijk verlies in prestaties, maar het gebruik van de nieuwe weegmethode verminderde het verlies tot slechts 0,55 punten. De onderzoekers ontdekten dat de beste instelling voor dit nieuwe wegen afhankelijk was van de specifieke taak. Bijvoorbeeld, een instelling die het systeem het beste deed klinken bij het lezen van tekst, zorgde er niet altijd voor dat het ook het beste presteerde bij logische puzzels of kennisvragen. Deze bevinding suggereert dat het simpelweg meten van hoe goed een gecomprimeerd model tekst leest, niet genoeg is om te garanderen dat het ook goed zal functioneren bij andere taken. De onderzoekers concludeerden dat men, om de benodigde rekenkracht van deze modellen veilig te kunnen verminderen, deze weging-instelling zorgvuldig moet afstemmen met behulp van werkelijke prestatietests in plaats van enkel te vertrouwen op tekstuele vloeiendheid.

Het artikel onderzocht ook waarom het simpelweg permanent verwijderen van de extra experts, in plaats van ze slechts tijdelijk minder te gebruiken, moeilijk is. Ze ontdekten dat deze modellen zeer gespecialiseerd zijn, met verschillende experts die verschillende soorten inhoud afhandelen, zoals code of algemeen schrijven. Omdat de experts zo gespecialiseerd zijn en het systeem zo goed in balans is, is er heel weinig ruimte om ze permanent te verwijderen zonder het vermogen om diverse onderwerpen te behandelen te verliezen. De meest effectieve weg voorwaarts is daarom niet om delen van het model weg te gooien, maar om het simpelweg te vertellen om minder delen tegelijk te gebruiken terwijl het algemene volume aan informatie dat het verwerkt constant blijft. Deze aanpak biedt een manier om deze krachtige systemen sneller en efficiënter te maken zonder hun intelligentie op te offeren, simpelweg door een verborgen kalibratiefout te corrigeren die optreedt wanneer de regels van de interactie veranderen.

Technische Samenvatting: Trainingsvrije Halvering van Geactiveerde Experts in Fine-Grained Mixture-of-Experts Modellen

Probleemstelling

Moderne fine-grained Mixture-of-Experts (MoE) modellen, zoals de Qwen3-serie, maken gebruik van honderden kleine expert-subnetwerken per laag, waarbij elke token naar een kleine subset ( $k$ ) van deze experts wordt gerouteerd. Hoewel deze architectuur het aantal parameters ontkoppelt van de per-token rekenkracht, creëert het een asymmetrie tussen geheugen en rekenkracht: alle experts moeten in het geheugen aanwezig zijn, maar slechts een fractie is actief.

Een veelgebruikte aanpak om de inferentie-rekenkracht te verminderen, is het verlagen van het aantal geactiveerde experts ( $k$ ) tijdens de runtime. Echter, standaardimplementaties renormaliseren impliciet de router-probabiliteiten van de geselecteerde experts zodat deze samen één vormen. In fine-grained routers sommen de top- $k$ probabiliteiten vaak op tot een klein deel van de totale waarschijnlijkheidsmassa (bijv. 0,182 voor top-8 uit 256). Bij gevolg is de renormalisatie van toepassing een aanzienlijke winst (amplificatiefactor) op de outputs van de geselecteerde experts.

Het artikel identificeert dat het verminderen van $k$ tijdens de inferentie zonder dit renormalisatieproces aan te passen, twee effecten vermengt:

Capaciteitsverlies: Het verwijderen van experts.
Gain Miscalibratie: De resterende experts worden versterkt door een factor die groter is dan waar het model op getraind is, waardoor de bijdrage van de expert-tak aan de residual stream buiten het gekalibreerde regime wordt gedreven.

Deze miscalibratie leidt tot een ernstige prestatieverslechtering (bijv. een daling van 4,65 punten in MMLU-nauwkeurigheid bij het halveren van experts van 8 naar 4 op een 35B model), waardoor een eenvoudige reductie van $k$ onbetaalbaar lijkt.

Methodologie

De auteurs stellen een trainingsvrije methode voor die de selectie van experts ontkoppelt van de normalisatie (gain-kalibratie) van hun outputs.

De Ontkoppelde Renormalisatie

In plaats van te normaliseren door de massa van de top- $k_1$ geselecteerde experts, normaliseert de methode door de massa van een aparte referentieset van de top- $k_2$ experts:

$w_i = \frac{p_i}{\sum_{j \in T_{k_2}} p_j}, \quad i \in T_{k_1}$

Waar:

$k_1$ : Het aantal daadwerkelijk geactiveerde experts (beheerst de rekenkracht).
$k_2$ : De grootte van de referentieset die gebruikt wordt voor de noemer (beheerst de gain).
$T_{k_1}$ : De verzameling indices voor de top- $k_1$ experts.
$T_{k_2}$ : De verzameling indices voor de top- $k_2$ experts.

Belangrijke Eigenschappen

Nul Training/Parameters: Dit vereist enkel het wijzigen van één integer ( $k_2$ ) tijdens de inferentie. Er worden geen gewichten aangepast en er vindt geen fine-tuning plaats.
Verwaarloosbare Overhead: De router berekent de kansen voor alle $E$ experts al. Het selecteren van een grotere $k_2$ voor de noemer houdt een iets bredere top- $k$ selectie in op reeds berekende logits in, wat verwaarloosbaar is vergeleken met de kosten van het evalueren van de expert FFN's.
Adaptieve Schaling: Wanneer $k_2 > k_1$ , sommeren de gewichten tot minder dan 1, wat resulteert in een input-adaptieve afschaling van de expert-tak, waardoor de gain effectief verankerd blijft aan de trainingsdistributie.

Belangrijkste Bijdragen en Bevindingen

1. De Referentieset is een Vrije Variabele

Het artikel demonstreert dat de renormalisatie-noemer niet overeen hoeft te komen met het aantal activaties. Door $k_2$ in te stellen op het getrainde $k$ van het model (of een waarde in $[k, 2k]$ ) terwijl $k_1$ wordt verminderd, blijft de gain behouden.

Resultaat: Op Qwen3.6-35B-A3B leidt het verminderen van de geactiveerde experts van 8 naar 4 ( $k_1=4$ ) met standaard renormalisatie ( $k_2=4$ ) tot een daling van 4,65 punten in MMLU. Met de voorgestelde methode ( $k_2=16$ ) is de daling slechts 0,35 punten, wat statistisch ononderscheidbaar is van de baseline.
Resultaat: Op de 11 $\times$ grotere Qwen3.5-397B-A17B levert het verminderen van 10 naar 5 experts ( $k_1=5$ ) slechts 0,55 punten verlies op met $k_2=10$ , vergeleken met een verlies van 2,10 punten met standaard renormalisatie.

2. Expert Identiteit vs. Weging

De studie analyseert of het model gevoeliger is voor welke experts worden gekozen of voor hoeveel ze worden gewogen.

Bevinding: Expert-identiteit is substantieel belangrijker dan weging. Het vervangen van router-gewichten door uniforme gewichten (met behoud van dezelfde top-8 selectie) verhoogt de perplexiteit met 49,7%. Het willekeurig selecteren van experts verhoogt deze met 1667%.
Implicatie: Dit valideert de voorgestelde methode: zolang de juiste experts zijn geselecteerd ( $k_1$ ), kan het model een aanzienlijke verstoring in de magnitude van hun gewichten tolereren (via de $k_2$ correctie).

3. Perplexity vs. Downstream Nauwkeurigheid

Het artikel waarschuwt tegen het gebruik van perplexiteit alleen om compressie-hyperparameters te selecteren.

Bevinding: Op het 35B model wordt de perplexiteit geminimaliseerd bij $k_2=8$ (de getrainde $k$ ), maar de MMLU-nauwkeurigheid wordt gemaximaliseerd bij $k_2=16$ . De perplexiteit-optimale instelling resulteert in een statistisch significante daling van 1,10 punt in MMLU vergeleken met de nauwkeurigheid-optimale instelling.
Implicatie: Het selecteren van $k_2$ op basis van ongelabelde tekst (perplexity) kan leiden tot suboptimale configuraties voor downstream taken. Validatie moet worden uitgevoerd op downstream taken met behulp van gepaarde significantietoetsen.

4. Limieten van Expert Pruning

De auteurs analyseren de haalbaarheid van het volledig verwijderen van experts (pruning) versus enkel het verminderen van activatie.

Bevinding: De router is goed gebalanceerd met bijna geen "dode" experts. Bovendien is expert-specialisatie sterk domeinafhankelijk (bijv. WikiText vs. Code hebben een lage expert-overlap).
Implicatie: Het prunen van experts voor een algemeen doelmodel biedt weinig ruimte, aangezien een unie van domeinspecifieke top-experts bijna de gehele set beslaat. De rekenzijde-hefboom (het verminderen van $k_1$ met gecorrigeerde $k_2$ ) is effectiever dan structurele pruning voor deze fine-grained modellen.

Betekenis en Claims

Het artikel claimt dat de waargenomen trade-off tussen rekenkrachtreductie en nauwkeurigheid in fine-grained MoE-modellen grotendeels een artefact is van de impliciete gain-miscalibratie veroorzaakt door standaard renormalisatie.

Trainingsvrije Efficiëntie: De methode maakt het mogelijk om de geactiveerde expert-rekenkracht te halveren met verwaarloosbaar verlies in downstream nauwkeurigheid, zonder dat er training, distillatie of parameterwijziging nodig is.
Herwaardering van Voorgaand Werk: De auteurs suggereren dat eerdere rapportages van "plotselinge" degradatie bij het verminderen van $k$ in fine-grained modellen overdreven pessimistisch kunnen zijn omdat zij de referentieset niet hadden ontkoppeld.
Methodologische Verschuiving: Het artikel pleit voor het scannen van $k_2 \in \{k_1, k, 2k\}$ en het valideren via gepaarde testen op downstream taken, in plaats van te vertrouwen op perplexiteit of standaard renormalisatie-instellingen.

Het werk is beperkt tot specifieke Qwen-series modellen en Engelse/Python-domeinen, en de auteurs merken op dat het effect schaalt met de router-flatness, wat suggereert dat grovere (coarse-grained) MoEs (bijv. 8 experts, top-2) er minder baat bij zullen hebben.