🤖 machine learning

Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory

Dit artikel introduceert DODOCO om aan te tonen dat de AlltoAll-dispatch- overhead in Mixture-of-Experts-modellen wordt gedreven door intrinsieke, architectuurspecifieke routeeringsonevenwichtigheden in plaats van expertplaatsing of mock-benchmarks, en onthult dat modelontwerp (bijv. MLA/GDN versus MHA/Mamba) de lastverdeling veel belangrijker bepaalt dan de schaal van parallelisme of synthetische data-aannames.

Oorspronkelijke auteurs: Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bole Ma, Jan Eitzinger, Harald Koestler, Gerhard Wellein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, supersnelle bibliotheek runt waar duizenden boeken (data) gesorteerd en naar specifieke experts (gespecialiseerde computers) moeten worden gestuurd die weten hoe ze ze moeten lezen. Zo werken moderne AI-modellen die "Mixture of Experts" (MoE) worden genoemd.

De grootste knelpunt in deze bibliotheek is niet het lezen van de boeken; het is de postafdeling. Elke keer dat een boek binnenkomt, beslist een router welke expert het krijgt. Als de router 90% van de boeken naar Expert A stuurt en slechts 1% naar Expert B, raakt Expert A overbelast (een "trager"), en moet de hele bibliotheek wachten tot zij klaar is voordat ze verder kunnen.

Dit artikel, DODOCO, onderzoekt drie grote mythes die de computerwetenschapsgemeenschap heeft geloofd over hoe dit knelpunt in de postafdeling opgelost kan worden.

De drie geteste mythes

Mythe 1: "Voeg gewoon meer postafdelingen toe, en de belasting zal zichzelf in evenwicht brengen."

Het oude geloof: Als je te veel boeken hebt voor één expert, huur dan gewoon meer experts in (schaal het systeem op). De theorie was dat het verspreiden van het werk over meer mensen de belasting van nature gelijk zou maken.
De realiteitscheck: De onderzoekers testten dit door meer "postafdelingen" (ranks) aan hun systeem toe te voegen. Ze ontdekten dat het toevoegen van meer experts de onevenwichtigheid niet oploste.
De analogie: Stel je een populaire koffiezaak voor waar iedereen een "Latte" bestelt. Als je 10 extra kassa's opent, maar iedereen bestelt nog steeds een Latte, blijft de barista die Lattes maakt het knelpunt. Het patroon van wat mensen bestellen (de beslissing van het model) is het probleem, niet het aantal kassa's. De onevenwichtigheid zit "ingebakken" in het brein van de AI, niet in de hardware.

Mythe 2: "We kunnen onze postafdelingen testen met neppe, willekeurige boeken."

Het oude geloof: Omdat echte boeken moeilijk te krijgen zijn, gebruiken onderzoekers "mock tokens" (willekeurige getallen zoals "1, 5, 9, 2") om verkeer te simuleren. Ze gingen ervan uit dat deze willekeurige getallen zich precies zoals echte taal gedroegen.
De realiteitscheck: Dit is een enorme fout. De onderzoekers ontdekten dat neppe data het probleem veel slechter doet lijken dan het in werkelijkheid is.
De analogie: Het is alsof je een verkeerslichtsysteem test door willekeurige stenen op het kruispunt te gooien. De stenen kunnen een enorme, chaotische file veroorzaken (hoge onevenwichtigheid). Maar als je overschakelt op echte auto's die over een weg rijden (echte tekst), stroomt het verkeer veel soepeler omdat auto's patronen en regels volgen. De neppe data overschatte de file met wel 2,35 keer. Nog erger: de neppe data suggereerde dat grotere batches verkeer voor meer chaos zouden zorgen, maar echt verkeer blijft stabiel, ongeacht de batchgrootte.

Mythe 3: "Alle AI-modellen zijn hetzelfde; we kunnen ze allemaal op dezelfde manier behandelen."

Het oude geloof: Omdat al deze modellen vergelijkbare dingen doen, kunnen we één postafdelingsysteem ontwerpen dat voor iedereen werkt.
De realiteitscheck: De onderzoekers ontdekten dat de modellen zich splitsen in twee verschillende teams met totaal verschillende gedragingen.
- Team "Data-resistent" (MHA, Mamba-2): Deze modellen zijn als gedisciplineerde studenten. Als ze echte tekst krijgen, verdelen ze hun werk bijna perfect gelijkmatig. Ze zijn makkelijk te beheren.
- Team "Persistently Concentrated" (MLA, GDN): Deze modellen zijn als chaotische kunstenaars. Wat voor tekst je ze ook geeft (zelfs echte tekst), ze blijven 80% van het werk dumpen op een paar specifieke experts. Ze zijn van nature onevenwichtig.
- Het middelste kind (GQA): Dit zit ergens tussenin.

De grote conclusie

Het artikel betoogt dat ingenieurs jarenlang hebben geprobeerd een probleem op te lossen dat niet bestaat (de mythe van "batch size scaling") en de verkeerde kaart (neppe data) hebben gebruikt om hun systemen te ontwerpen.

In plaats van te proberen elk model in evenwicht te brengen door meer hardware toe te voegen, suggereren de auteurs dat we modellen eerst moeten categoriseren:

Als je een data-resistent model hebt, kun je standaard, eenvoudig netwerkverkeer gebruiken omdat het verkeer van nature in evenwicht is.
Als je een persistently concentrated model hebt, heb je speciaal, complex netwerkverkeer nodig dat specifiek is ontworpen om het feit te hanteren dat één of twee experts altijd overstroomd zullen raken.

Kortom: Je kunt een slechte routeringsbeslissing niet oplossen door gewoon meer computers toe te voegen. En je kunt geen verkeerssysteem ontwerpen op basis van een simulatie van willekeurige stenen; je moet kijken hoe echte auto's daadwerkelijk rijden. De "vorm" van het AI-model zelf is de belangrijkste factor in hoeveel verkeer het genereert.

Technische Samenvatting: Diagnose van Overhead in Dispatch-Operaties: Cross-architectuur Observatorium (DODOCO)

Probleemstelling
AlltoAll-dispatch is de dominante bottleneck in expertparallelisme (EP) voor Mixture-of-Experts (MoE). De interconnectgemeenschap heeft vier families van mitigaties voorgesteld: voorspellende plaatsing van samples, adaptieve herindeling van experts, hiërarchische collectieven en EP-bewuste topologie. Deze oplossingen rusten op twee ongetoetste aannames:

Corrigeerbaarheid (Aanname A): Routing-ongelijkheid is een werklasteigenschap die een voldoende slim systeemlaag kan verminderen.
Validiteit van benchmarks (Aanname B): Mock-token-benchmarks (met uniform-willekeurige ID's) geven het productie-routingsgedrag trouw weer.

Het artikel betoogt dat deze aannames niet frontaal zijn getoetst, wat mogelijk leidt tot systeemontwerpen die geoptimaliseerd zijn voor spookwerklasten.

Methodologie
De auteurs introduceren DODOCO, een empirische studie ontworpen om deze aannames te toetsen met een 5×6 factorieel ontwerp over vijf verschillende MoE-architecturen en zes datacondities.

Architecturen: De studie bestrijkt vijf sequence-mixer-ontwerpen die grote modelfamilies omvatten:
- DeepSeek-V2-Lite: Multi-head Latent Attention (MLA).
- DeepSeek-MoE-16B: Standaard Multi-Head Attention (MHA).
- Qwen3-30B-A3B: Grouped-Query Attention (GQA).
- Nemotron-30B-A3B: Mamba-2 (State Space Model).
- Qwen3.5-35B-A3B: Gated Delta Networks (GDN).
- Opmerking: Het MLA- en MHA-paar vormt een gecontroleerde vergelijking; ze delen het aantal experts, top-k, gating en load-balancingstrategieën, en verschillen alleen in het attention-mechanisme.
Datacondities: Zes condities isoleren onafhankelijke eigenschappen van tokenstromen:
1. Mock: Uniform-willekeurige token-ID's (standaard benchmarkstandaard).
2. Geshuffeld: Reële wikitext-tokens met globale permutatie (behoudt frequentie, vernietigt sequentie).
3. Hergespecificeerd: Reële sequenties met permutatie van vocabulaire-ID's (behoudt sequentie, vernietigt embeddings).
4. Romansh: Reële tekst in een romaanse taal met weinig bronnen (ongezien taalstructuur).
5. Opus: Redeneringstraces in het Engels na de cutoff (ongezien inhoud).
6. Wikitext: Engelse Wikipedia (bekende structuur en inhoud).
Hardware & Schaal: Experimenten worden uitgevoerd op H100 GPU's (NHR@FAU Helma supercomputer) met NVLink intra-node en InfiniBand inter-node. De studie omvat een geselecteerde EP-scan (4, 8, 16, 32 ranks) en een globale batchgrootte (GBS)-sweep (64 tot 2048).
Metingen: De studie maakt gebruik van drie scalair samenvattingen van de verzend-aantallen-matrix ( $S$ ):
- Per-expert max/mean-ratio: Om routingbeslissingskromming te meten, onafhankelijk van de mapping van experts naar ranks.
- Gini-coëfficiënt: Om load-ongelijkheid per rank te meten.
- Geschatte Symmetrische Dirichlet $\alpha$ : Om verschillen op te lossen in bijna-uniforme regimes waar de Gini-coëfficiënt waarden comprimeert.

Belangrijkste Bevindingen

1. EP-schaalvergroting vermindert stragglers niet (Q1)
In tegenstelling tot de aanname dat het vergroten van EP-degrees de load-verdeling gladstrijkt, stelt de studie vast dat het schalen van EP de routing-ongelijkheid niet vermindert.

Binnen elke architectuur blijft de per-expert max/mean-tokenratio vrijwel vlak (variaties $\le$ 5%) over het EP-bereik (4 tot 32).
De straggler is inherent aan de routingbeslissing die het model maakt, en niet aan hoe experts worden gemapt naar ranks. Het schalen van EP verandert welke rank een specifieke expert bevat, maar niet welke experts tokens ontvangen.
Daarom is de EP-degree geen hefboom voor het verbeteren van de routing-balans; de kromming is onderaan begrensd door een EP-invariante concentratie.

2. Mock-tokens overschatten ongelijkheid en fabriceren trends (Q2)
Mock-token-benchmarks vertegenwoordigen productie-routing significant verkeerd.

Omvang van fout: Mock-tokens overschatten de routing-Gini met maximaal 2,35× in vergelijking met reële tekst (Wikitext). Op het Nemotron-model bereikt de kloof in de Dirichlet $\alpha-metriek 47×.
Batchgrootte-artefact: Mock-data vertoont een valse trend waarbij de ongelijkheid toeneemt met de batchgrootte (GBS). Reële data toont een vrijwel vlakke Gini over batchgroottes. Beoefenaars die vertrouwen op mock-data kunnen ten onrechte concluderen dat grotere batches de ongelijkheid verergeren.
Mechanisme: De router vereist zowel sequentiële structuur als geleerde embeddings. Geshuffelde reële tekst (frequentie behouden, sequentie vernietigd) of hergespecificeerde tekst (sequentie behouden, embeddings vernietigd) presteert even slecht als mock-tokens.

3. Emergente architectuurklassen (Q3)
De vijf architecturen gedragen zich niet uitwisselbaar; ze splitsen in twee stabiele banden op basis van hoe reële data de routing beïnvloedt:

Data-resilient (MHA, Mamba-2): Deze modellen bereiken een lage Gini onder reële tekst (respectievelijk 0,105 en 0,150) en tonen een aanzienlijke verbetering van mock naar reële data. Hun routing nadert uniformiteit.
Persistently concentrated (MLA, GDN): Deze modellen blijven sterk geconcentreerd, ongeacht de dataconditie, en blijven boven de Gini 0,24, zelfs op Wikitext, en bereiken 0,29–0,38 op mock-data.
Intermediair (GQA): Valt tussen de twee uitersten in, met een matige verbetering, maar blijft in de middenband.
Diepte-analyse: Het "data-resilient"-paar begint bijna-uniform in de eerste MoE-laag en concentreert met diepte (U-vorm), terwijl het "persistently concentrated"-paar al vanaf de allereerste laag geconcentreerd is.

Betekenis en Claims
Het artikel claimt dat het werklastmodel dat wordt gebruikt voor het ontwerpen en evalueren van MoE-bewuste interconnects op zijn best een benadering met een constante factor is en op zijn ergst een spookbeeld.

Implicaties voor systeemontwerp: De "twee-klassen taxonomie" (data-resilient versus persistently concentrated) is een nuttigere input voor systeemontwerp dan EP-degree of mock-data-profielen.
- Voor data-resilient modellen is het verkeer voornamelijk bandbreedte-beperkt; modellen met uniforme load volstaan.
- Voor persistently concentrated modellen zijn locality-aware dispatch en topologie-ontwerpen die concentratie op specifieke inter-node-paren benutten, noodzakelijk.
Benchmarking: De auteurs raden aan dat MoE-communicatiebenchmarks zowel mock- als reële-datacondities rapporteren om het schaling-artefact van batchgrootte en differentiatie tussen architectuurklassen bloot te leggen.
Beperkingen: De studie karakteriseert routingbeslissingen en AlltoAll-statistieken, maar meet geen end-to-end versnelling van training door systeeminterventies. Het claimt niet dat ongelijkheid onbelangrijk is, maar eerder dat de aannames over de corrigeerbaarheid en meting ervan gebrekkig zijn.

Het artikel concludeert dat routing-ongelijkheid een eigenschap van model en data is die de systeemlaag kan lokaliseren en gedeeltelijk kan benutten, maar niet uniform kan maken door EP-schaalvergroting alleen. De synthetische benchmarks die momenteel in gebruik zijn, missen deze realiteit op twee specifieke manieren: ze overschatten de ongelijkheid en fabriceren niet-bestaande schalingstrends.

De drie geteste mythes

De grote conclusie

Technische Samenvatting: Diagnose van Overhead in Dispatch-Operaties: Cross-architectuur Observatorium (DODOCO)

Meer zoals dit