🤖 AI

Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving

Dit artikel presenteert een systematische cross-layer analyse die aantoont dat lagere kosten, schakelloze netwerktopologieën (specifiek 3D full-mesh) aanzienlijk kosteneffectiever zijn dan dure high-bandwidth scale-up netwerken voor het serveren van Mixture-of-Experts LLM's, terwijl het ook blootlegt dat de huidige linkbandbreedtes vaak overgedimensioneerd zijn.

Oorspronkelijke auteurs: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm, supersnel restaurant runt (het AI-model) waar duizenden koks (GPUs) samenwerken om complexe gerechten te bereiden (tekst genereren). In het verleden werkten deze koks in kleine, geïsoleerde keukens. Maar nu zijn de recepten zo groot geworden dat je een hele stad aan keukens nodig hebt die in unisono werken. Dit is de wereld van Mixture-of-Experts (MoE) Large Language Models.

Het probleem? De koks besteden zoveel tijd aan het heen en weer rennen om ingrediënten te wisselen en notities te delen, dat ze eigenlijk niet koken. In feite wordt in sommige opstellingen bijna 60% van de tijd besteed aan het alleen maar rondrennen in de keuken, niet aan koken.

Om dit op te lossen, heeft de industrie "superhighways" (duurzame, hoogwaardige netwerken) tussen de keukens gebouwd zodat de koks notities direct kunnen uitwisselen. Maar dit artikel stelt een simpele vraag: "Betaal we te veel voor deze superhighways?"

Hier is de uiteenzetting van hun bevindingen, met gebruikmaking van simpele analogieën:

1. De "Superhighway" versus de "Lokale Weg"

Momenteel bouwen de meeste bedrijven Scale-Up-netwerken. Denk hierbij aan een enorme, meersporige superhighway waar elke kok via een directe, bliksemsnelle glasvezelkabel met elke andere kok verbonden is. Het is ongelooflijk snel, maar vereist duizenden dure verkeersswitches (routers) en kilometers aan dure bekabeling. Het is alsof je voor elke kok een privéjet bouwt om slechts een potje kruiden te leveren.

De onderzoekers hebben dit vergeleken met Switchless Topologieën (zoals een 3D Torus of Full-Mesh).

De Analogie: Stel je een enorme kubus van koks voor. In plaats van een superhighway geven ze notities gewoon door aan hun directe buren (omhoog, omlaag, links, rechts, voor, achter). Als een notitie naar een kok aan de andere kant van de kubus moet, springt deze van buurman tot buurman.
Het Resultaat: Dit is trager voor een enkel bericht, maar het is drastisch goedkoper omdat je de dure verkeersswitches niet nodig hebt.

2. De "Koks-overlappings" Truc (Software-optimalisatie)

Het artikel benadrukt een slimme softwaretruc genaamd Dual-Batch Overlap (DBO).

De Analogie: Stel je voor dat een kok groenten snijdt (berekening) terwijl hij wacht op een bezorgvrachtwagen (communicatie). Op de oude manier staat de kok stil en wacht. Met DBO begint de kok de volgende batch groenten te snijden terwijl de vrachtwagen nog steeds de huidige batch levert.
De Magie: Als de kok snel genoeg snijdt, wordt de levertijd onzichtbaar. De kok stopt nooit met werken. De onderzoekers ontdekten dat met deze truc de "trage" lokale wegen (switchless netwerken) gelijke tred kunnen houden met de "snelle" superhighways, omdat de koks zo druk bezig zijn met koken dat ze het verkeer niet merken.

3. De "Sweet Spot" Ontdekking

De onderzoekers draaiden simulaties met verschillende scenario's (korte gesprekken versus lange verhalen, strenge tijdslimieten versus losse). Ze ontdekten:

We zijn overgedimensioneerd: De huidige dure superhighways zijn breder dan nodig. Als je de bandbreedte halveert (of zelfs meer), bespaar je een fortuin aan hardware, en zorgt de "overlappings-truc" ervoor dat de koks toch op tijd klaar zijn.
De Winnaar: De 3D Full-Mesh topologie (waarbij elke kok in een rij direct verbonden is met zijn buren, waardoor een mesh ontstaat) bleek de "Pareto-optimale" keuze te zijn.
- Vertaling: Het biedt de beste balans. Het is niet absoluut het snelst, maar het is zo veel goedkoper dat je voor hetzelfde geld meer van deze clusters kunt bouwen, wat je in feite meer totale kookkracht geeft.

4. De Toekomst: Zal dit veranderen?

Het artikel keek naar de volgende generatie computerchips (Blackwell en Rubin).

Het Goede Nieuws: Zelfs met snellere chips blijft de "lokale weg"-strategie de beste waarde. De chips worden sneller in het koken, maar het "verkeer" (communicatie) blijft nog steeds de bottleneck. De goedkope netwerken kunnen nog steeds gelijke tred houden.
De Voorwaarde: Als de chips zo snel worden dat ze een miljoen gerechten per seconde kunnen koken, maar de wegen ertussen niet breder worden, kunnen de goedkope netwerken uiteindelijk toch moeite krijgen. Echter, voor de afzienbare toekomst zijn de goedkope, switchless netwerken de slimmere financiële keuze.

De Conclusie

Het artikel concludeert dat de industrie momenteel een fortuin uitgeeft aan "Ferrari-niveau" netwerken voor AI-clusters, terwijl een "betrouwbare sedan"-netwerk het werk net zo goed zou doen, dankzij slimme softwaretrucs.

Door over te schakelen op deze goedkopere, switchless netwerken, kunnen bedrijven 20% tot 56% besparen op hun infrastructuurkosten terwijl ze exact dezelfde hoeveelheid AI-service leveren. Het is een klassiek geval van "koop geen Ferrari als een Honda Civic je op tijd op de bestemming brengt."

1. Probleemstelling

De adoptie van Mixture-of-Experts (MoE)-architecturen in Large Language Models (LLMs) heeft de serving-werklast verschoven van single-node naar cluster-schaal. MoE-modellen vereisen Expert Parallelism (EP), wat frequente All-to-All (A2A)-communicatie tussen accelerators (XPUs zoals GPUs/TPUs) noodzakelijk maakt om tokens naar specifieke experts te routeren.

Huidige industriële trend: Om communicatielatentie te minimaliseren, investeert de industrie zwaar in dure, hoogwaardige "scale-up" netwerken (bijv. Clos-gebaseerde fat-trees met high-radix switches en NVLink-achtige interconnects).
De kernvraag: Is deze massale investering in dure, switch-gebaseerde infrastructuur strikt noodzakelijk? Kunnen goedkopere, switchloze topologieën (zoals 3D Torus of Full-Mesh) voldoende prestaties bieden, vooral wanneer de totale eigendomskosten (TCO) in aanmerking worden genomen?
De kloof: Bestaand onderzoek optimaliseert vaak voor collectieve communicatietijd (CCT) in isolatie of richt zich op training. Serving heeft specifieke eisen (strikte latency SLO's, kleinere batchgroottes, specifieke verkeerspatronen) en staat agressieve overlap van berekening en communicatie toe, wat eerdere netwerkvergelijkingen vaak over het hoofd zien.

2. Methodologie

De auteurs stellen een holistisch, cross-layer evaluatiekader voor dat de interactie modelleert tussen rekenkracht, communicatie, software-optimalisaties en hardwarekosten.

Geëvalueerde topologieën:
1. Scale-up: Hoogwaardige, switch-gebaseerde fat-tree (bijv. NVIDIA DGX-clusters).
2. Scale-out: Standaard Ethernet/InfiniBand switch-gebaseerde netwerken.
3. 3D Torus: Switchloze, multi-hop topologie (bijv. Google TPU).
4. 3D Full-Mesh: Switchloze, direct-link topologie (bijv. Huawei UB-Mesh-Pod).
Werklast & Metrieken:
- Model: DeepSeek-V3 (671B parameters, 256 experts).
- Metriek: Throughput per Kosten (Tokens/sec per dollar). De primaire SLO is Time Per Output Token (TPOT).
- Kernconcept: Exposed Communication Time (ECT). Het doel is om ECT via overlap te reduceren tot bijna nul. Als ECT $\approx$ 0, levert extra bandbreedte afnemende meeropbrengst op.
Modelleerbenadering:
- Communicatie: Gebruikt een uitgebreid Alpha-Beta (Hockney) model dat is aangepast aan echte NCCL-benchmarks op NVIDIA H100's. Het decomposeert latentie in kosten per bericht ( $\alpha_0$ ), per ronde ( $\alpha_r$ ) en per bestemming ( $\alpha_d$ ), plus bandbreedte ( $\beta$ ).
- Berekening: Gebruikt een profielgebaseerde methode (die tools zoals Vidur uitbreidt) om kernel-uitvoeringstijden te schatten onder verschillende parallelisme-configuraties.
- Software-optimalisaties: Modelleert expliciet Dual-Batch Overlap (DBO) en Speculative Decoding (SD) om te bepalen hoeveel communicatietijd kan worden verborgen.
- Kostenmodel: Berekent de Total Cost of Ownership (TCO) inclusief CapEx (GPUs, switches, links) en OpEx (stroom), genormaliseerd naar een referentie-eenheid.

3. Belangrijkste Bijdragen

Eerste Systematische Cross-Layer Analyse: Het paper is het eerste dat netwerktopologie, linkbandbreedte, software-optimalisaties (DBO/SD) en clusterkosten gezamenlijk analyseert, specifiek voor MoE LLM serving.
Identificatie van het "Sweet Spot": De auteurs tonen aan dat de huidige industriële voorziening (hoogwaardige scale-up) vaak over-provisioned is. Het verlagen van de linkbandbreedte kan de throughput-per-kosten met maximaal 27% verbeteren.
Superioriteit van Switchloze Topologieën: De studie bewijst dat goedkopere, switchloze topologieën (specifiek 3D Full-Mesh) kosteneffectiever zijn dan traditionele scale-up netwerken in bijna alle serving-scenario's.
Future-Proofing Analyse: Een vooruitziende analyse met geprojecteerde specificaties voor de NVIDIA Blackwell- en Rubin-generaties suggereert dat het kostenvoordeel van switchloze netwerken zal blijven bestaan, mits de schaalvergroting van interconnect-bandbreedte gelijke tred houdt met de schaalvergroting van rekenkracht/geheugen.

4. Belangrijkste Resultaten

A. Over-provisioning van Linkbandbreedte

Huidige scale-up-systemen gebruiken vaak 450 GB/s links. De analyse toont aan dat voor veel scenario's (vooral met DBO en SD) 150–300 GB/s het "sweet spot" is.
Het verlagen van de bandbreedte naar dit sweet spot verbetert de throughput per kosten met 6–27%, omdat de extra bandbreedte niet vertaalt naar hogere throughput (vanwege rekenkracht-bottlenecks of omdat ECT al nul is), maar wel de kosten voor switches/links aanzienlijk verhoogt.

B. Topologievergelijking (Kosteneffectiviteit)

3D Full-Mesh is Pareto-Optimaal: Ondanks dat het minder wijdverbreid is, biedt de 3D Full-Mesh-topologie de beste afweging tussen prestaties en kosten.
Prestatiewinst: Switchloze topologieën (Torus en Full-Mesh) verbeteren de kosteneffectiviteit met 20,6% tot 56,2% in vergelijking met scale-up netwerken.
Mechanisme:
- DBO-effectiviteit: In scenario's met soepelere SLO's (TPOT $\ge$ 40ms) of korte contexten, slaagt DBO erin communicatielatentie te verbergen. Zodra ECT nul is, doet de lagere ruwe bandbreedte van switchloze netwerken geen afbreuk aan de throughput, maar verbetert hun lagere kosten het metriek drastisch.
- Lange Context/Strikte SLO: Zelfs in lange-context scenario's (waar batchgroottes klein zijn en DBO minder effectief is) of strikte SLO's (TPOT = 15ms), blijven switchloze netwerken concurrerend omdat de kleine berichtgroottes de impact van de bandbreedte-term ( $\beta$ ) verminderen.

C. Toekomstige Generaties (Blackwell & Rubin)

Schaaltrends: Rekenkracht en geheugenbandbreedte schalen sneller dan interconnect-bandbreedte in aankomende generaties (bijv. Rubin: 6,57x geheugenbandbreedte versus 4x linkbandbreedte).
Implicatie: Als deze trend aanhoudt, kan de "sweet spot" voor bandbreedte-eisen stijgen, wat de kloof mogelijk verkleint. De auteurs tonen echter aan dat zelfs met hogere eisen, switchloze netwerken de prestaties van scale-up kunnen evenaren als software-overhead ( $\alpha$ -termen) wordt verminderd of als de linkbandbreedte matig wordt verhoogd (bijv. het verdubbelen van de bandbreedte voor Full-Mesh kost nog steeds minder dan Scale-Up).

5. Betekenis en Implicaties

Economische Impact: Het paper daagt de heersende "groter is beter"-mentaliteit in AI-infrastructuur uit. Het suggereert dat hyperscalers dezelfde serving-capaciteit kunnen bereiken tegen aanzienlijk lagere kosten door switchloze clusters (zoals Full-Mesh) in te zetten in plaats van dure fat-tree scale-up netwerken.
Ontwerpgids: Systeemontwerpers moeten kosteneffectiviteit (throughput per dollar) prioriteren boven ruwe throughput per cluster wanneer clusteruitbreiding haalbaar is.
Software-Hardware Co-design: De resultaten benadrukken dat software-optimalisaties (DBO, SD) de netwerkvereisten fundamenteel veranderen, waardoor hardware met hoge bandbreedte minder kritiek is dan eerder werd gedacht.
Architectuurverschuiving: Het valideert de levensvatbaarheid van alternatieve topologieën (Full-Mesh) die eerder als niche werden beschouwd, en kan het ontwerp van toekomstige AI-datacenters herschikken.

Kortom, het paper betoogt dat voor MoE LLM serving, goedkopere, switchloze netwerken (specifiek 3D Full-Mesh) de optimale keuze zijn, met superieure economische efficiëntie zonder prestaties te offeren in het overgrote deel van de praktische serving-scenario's.