Technische Samenvatting: Wanneer worden Experts verkeerd gerouteerd? Counterfactual Routing-analyse in Mixture-of-Experts Taalmodellen

1. Probleemstelling

Mixture-of-Experts (MoE) taalmodellen schalen hun capaciteit door elke token te routeren naar een kleine subset van experts ($k$) uit een groot pool ($N$). Hoewel de router doorgaans wordt getraind via standaard taalmodelleringverlies en aanvullende load-balancing-doelstellingen, is de kwaliteit van de specifieke routeringsbeslissingen die door een getrainde top-$k$-router worden genomen, zelden direct geëvalueerd.

De centrale vraag die wordt behandeld is: Zijn de routes die door een standaard getrainde router worden geselecteerd, daadwerkelijk de beste die beschikbaar zijn binnen het bevroren model?

Vorig werk gaat ervan uit dat routing vroeg stabiliseert en dat downstream-prestaties voldoende bewijs zijn voor goede routing. Redeneringssucces hangt echter vaak disproportioneel af van een kleine subset van "pivotal" of tokens met hoge entropie. De auteurs veronderstellen dat standaardtraining kan falen in het optimaliseren van routing voor deze kritieke, tokens met lage zekerheid, omdat het trainingssignaal geen alternatieve routes met gelijke rekkracht evalueert.

2. Methodologie

Counterfactual Routing-analyse

De auteurs stellen een protocol voor om de kwaliteit van routing te evalueren zonder de gewichten van het model te wijzigen (behalve voor een specifiek interventie-experiment).

1. Opzet: Met behulp van geverifieerde, correcte redeneertrajecten (bijvoorbeeld van MATH Level-5, AIME, HMMT) analyseren de auteurs tokens op specifieke MoE-lagen.
2. Stalen Alternatieven: Voor een gegeven token $t$ op laag $\ell$, in plaats van alleen de standaard top-$k$-route ($S^{\text{std}}_{t,\ell}$) te observeren, stalen ze $G=32$ alternatieve top-$k$-routes uit dezelfde pool van hoogscorende experts met behulp van Gumbel-top-$k$-sampling. Alle alternatieven hebben dezelfde rekkracht (dezelfde $k$).
3. Scoren: Voor elke route (standaard en alternatieven) wordt het model voorwaarts uitgevoerd met die specifieke route actief op laag $\ell$ (alle andere parameters bevroren). De bruikbaarheid van een route wordt gescoord door de waarschijnlijkheid die het toekent aan de gerealiseerde volgende token in het geverifieerde traject.
4. Stratificatie: Tokens worden gegroepeerd in drie bakken op basis van de gemiddelde waarschijnlijkheid toegewezen door de gestaalde alternatieve routes ($\bar{p}$):
   • Zeker: $\bar{p} > 0.9$
   • Dubbelzinnig: $0.5 < \bar{p} \le 0.9$
   • Fragiel: $\bar{p} \le 0.5$

Structurele Analyse van Training

Het paper analyseert de gradiëntstroom in standaard top-$k$ MoE-training om waargenomen fouten te verklaren. Het toont aan dat het taalmodelleringverlies alleen een signaal biedt voor de uitgevoerde route. De gradiënt voor niet-geselecteerde experts verdwijnt. Bovendien hangen standaard load-balancing-verliezen (bijvoorbeeld Switch-stijl) alleen af van aggregatstatistieken (router-scores en selectiefrequenties) en bieden ze geen token-niveau counterfactual signalen over welke alternatieve route het verlies zou hebben geminimaliseerd.

Minimale Router-update (Expert Preference Optimization - EPO)

Om te testen of routeringsfouten "bereikbaar" zijn binnen het bevroren model, voeren de auteurs een minimale interventie uit:

• Bevriezen: Alle expert-gewichten en alle router-gewichten behalve de laatste laag worden bevroren.
• Trainen: Alleen de router van de laatste laag wordt bijgewerkt met Expert Preference Optimization (EPO).
• Mechanisme: EPO identificeert "moeilijke tokens" (hoge cross-entropie). Het stalt alternatieve routes; als een alternatief een lagere cross-entropie oplevert dan de huidige selectie, wordt dit behandeld als de "gekozen" route ($r^+$) en de huidige als "afgekeurd" ($r^-$). De router wordt bijgewerkt via een DPO-stijl doelstelling om $r^+$ te prefereren boven $r^-$.
• Evaluatie: De bijgewerkte router wordt getest op downstream-benchmarks (AIME, HMMT) zonder zoekopdrachten tijdens het testen.

3. Belangrijkste Resultaten

Routingkwaliteit verslechtert bij Fragiele Tokens

Over vier modellen (Qwen3-30B-A3B, GPT-OSS-20B, DeepSeek-V2-Lite, OLMoE-1B-7B) en meerdere benchmarks:

• Zekere Tokens: De standaardrouter is goed afgestemd op bruikbaarheid. De standaardroute is vaak de beste onder de gestaalde alternatieven, en het waarschijnlijkheidsverschil is verwaarloosbaar.
• Fragiele Tokens: De afstemming stort in.
  • De standaardroute is de beste onder de gestaalde alternatieven in slechts 0,8% van de fragiele tokens (voor Qwen3).
  • De beste gestaalde route met gelijke rekkracht verbetert de volgende-token-waarschijnlijkheid met gemiddeld 20,4 procentpunten voor Qwen3 op fragiele tokens.
  • Dit patroon geldt over lagen heen (hoewel het gat breder wordt op diepere lagen) en over verschillende modelfamilies.

Het Counterfactual Blinde Vlek

De analyse bevestigt dat standaardtraining een "counterfactual blinde vlek" creëert.

• De verliesfunctie evalueert alleen de uitgevoerde route.
• Load balancing moedigt aggregat diversiteit aan, maar signaleert niet welke specifieke alternatieve route beter is voor een specifiek moeilijk token.
• Bijgevolg leert de router om zeker goed te routeren, maar faalt hij in het onderscheid maken tussen suboptimale en optimale routes op moeilijke tokens waar de keuze het meest uitmaakt.

Minimale Update Verschuift Prestaties

Het EPO-experiment toont aan dat het falen niet uitsluitend te wijten is aan een gebrek aan expert-capaciteit:

• Het bijwerken van minder dan 0,001% van de modelparameters (alleen de router van de laatste laag) was voldoende om de pass@K-prestaties te verschuiven op AIME 2024+2025 en HMMT 2025 voor zowel Qwen3-30B-A3B als GPT-OSS-20B.
• De verbetering is geconcentreerd op Dubbelzinnige en Fragiele tokens, waarbij de bijgewerkte router betere routes selecteert, terwijl de prestaties op Zekere tokens stabiel blijven (hoewel rangschikking-afstemmingsmetrieken licht verschuiven door verminderde bias naar makkelijke tokens).

4. Betekenis en Beweringen

Het paper betoogt dat routingkwaliteit als een eersteklas zorg moet worden behandeld in MoE-training, in plaats van een louter implementatiedetail van sparsiteit.

• Diagnose: De standaardrouter is niet uniform "slecht"; hij is zeer effectief op zekere tokens maar systematisch misaligneerd op de fragiele tokens die harde redenering aandrijven.
• Oorzaak: Deze misalignatie is een structureel gevolg van standaard top-$k$-trainingdoelstellingen, die token-niveau counterfactual signalen missen voor niet-geselecteerde routes.
• Implicatie: Hoge verliezen op harde tokens zijn niet noodzakelijk een capaciteitslimiet van de experts; het kan een routeringsfout zijn die bereikbaar is binnen het bevroren model.
• Toekomstige Richting: De auteurs suggereren dat toekomstige pretraining-doelstellingen token-niveau signalen op alternatieve routes met gelijke rekkracht moeten incorporeren (bijvoorbeeld het evalueren van gestaalde alternatieven naast de uitgevoerde) om deze misalignatie tijdens training te voorkomen, in plaats van te vertrouwen op post-hoc oplossingen.

De auteurs blijven bescheiden, met de opmerking dat hun analyse wordt uitgevoerd op geverifieerd-correcte trajecten (waarbij de gerealiseerde token bekend staat als correct) en dat ze lagen onafhankelijk analyseren. Echter, de consistentie van het patroon over diverse modellen en domeinen suggereert een fundamentele beperking in huidige MoE-trainingparadigma's.