🤖 AI

Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving

Dieser Beitrag stellt eine systematische Cross-Layer-Analyse vor, die zeigt, dass kostengünstigere, schalterlose Netzwerktopologien (insbesondere 3D-Vollvermaschungen) für das Serving von Mixture-of-Experts-LLMs deutlich kosteneffizienter sind als teure High-Bandwidth-Scale-Up-Netzwerke, und gleichzeitig aufdeckt, dass die aktuellen Link-Bandbreiten häufig überdimensioniert sind.

Ursprüngliche Autoren: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

Veröffentlicht 2026-05-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben ein riesiges, hochgeschwindigkeits Restaurant (das KI-Modell), in dem Tausende von Köchen (GPUs) zusammenarbeiten, um komplexe Gerichte (Textgenerierung) zuzubereiten. In der Vergangenheit arbeiteten diese Köche in kleinen, isolierten Küchen. Doch nun sind die Rezepte so riesig geworden, dass Sie eine ganze Stadt von Küchen benötigen, die im Einklang arbeiten. Dies ist die Welt der Mixture-of-Experts (MoE) Large Language Models.

Das Problem? Die Köche verbringen so viel Zeit damit, hin und her zu rennen, um Zutaten auszutauschen und Notizen zu teilen, dass sie tatsächlich kaum kochen. Tatsächlich wird in einigen Setup-Konfigurationen fast 60 % der Zeit nur damit verbracht, durch die Küche zu rennen, nicht zu kochen.

Um dies zu beheben, hat die Industrie „Super-Autobahnen" (teure, hochbandbreitige Netzwerke) zwischen den Küchen gebaut, damit die Köche Notizen sofort austauschen können. Doch dieser Artikel stellt eine einfache Frage: „Zahlen wir für diese Super-Autobahnen zu viel?"

Hier ist die Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien:

1. Die „Super-Autobahn" versus die „Lokale Straße"

Derzeit bauen die meisten Unternehmen Scale-Up-Netzwerke. Stellen Sie sich dies als eine massive, mehrspurige Super-Autobahn vor, bei der jeder Koch mit jedem anderen Koch durch ein direktes, blitzschnelles Glasfaserkabel verbunden ist. Es ist unglaublich schnell, erfordert jedoch Tausende von teuren Verkehrsschaltern (Routern) und Meilen teurer Verkabelung. Es ist, als würde man für jeden Koch ein privates Jet-Flugzeug bauen, nur um ein einzelnes Gewürzglas zu liefern.

Die Forscher verglichen dies mit Switchless-Topologien (wie einem 3D-Torus oder Full-Mesh).

Die Analogie: Stellen Sie sich einen riesigen Würfel von Köchen vor. Anstatt einer Super-Autobahn geben sie Notizen einfach ihren unmittelbaren Nachbarn weiter (hoch, runter, links, rechts, vorne, hinten). Wenn eine Notiz zu einem Koch auf der anderen Seite des Würfels gelangen muss, springt sie von Nachbar zu Nachbar.
Das Ergebnis: Dies ist für eine einzelne Nachricht langsamer, aber es ist drastisch günstiger, da Sie keine teuren Verkehrsschalter benötigen.

2. Der Trick der „Koch-Überlappung" (Software-Optimierung)

Der Artikel hebt einen cleveren Software-Trick hervor, der Dual-Batch Overlap (DBO) genannt wird.

Die Analogie: Stellen Sie sich vor, ein Koch schneidet Gemüse (Berechnung), während er auf einen Lieferwagen (Kommunikation) wartet. Auf die alte Weise steht der Koch still und wartet. Mit DBO beginnt der Koch, die nächste Partie Gemüse zu schneiden, während der Lieferwagen noch die aktuelle Partie liefert.
Die Magie: Wenn der Koch schnell genug schneidet, wird die Lieferzeit unsichtbar. Der Koch hört niemals auf zu arbeiten. Die Forscher stellten fest, dass mit diesem Trick die „langsamen" lokalen Straßen (switchless-Netzwerke) mit den „schnellen" Super-Autobahnen Schritt halten können, weil die Köche so sehr mit dem Kochen beschäftigt sind, dass sie den Verkehr nicht bemerken.

3. Die Entdeckung des „Sweet Spot"

Die Forscher führten Simulationen mit verschiedenen Szenarien durch (kurze Gespräche versus lange Geschichten, strenge Zeitlimits versus lockere). Sie stellten fest:

Wir sind überdimensioniert: Die aktuellen teuren Super-Autobahnen sind breiter als notwendig. Wenn Sie die Bandbreite halbieren (oder sogar noch mehr), sparen Sie eine Vermögen an Hardware, und der „Überlappungs-Trick" stellt sicher, dass die Köche trotzdem pünktlich fertig werden.
Der Gewinner: Die 3D Full-Mesh-Topologie (bei der jeder Koch in einer Reihe direkt mit seinen Nachbarn verbunden ist und ein Mesh bildet), erwies sich als die „Pareto-optimale" Wahl.
- Übersetzung: Sie bietet das beste Gleichgewicht. Sie ist nicht absolut die schnellste, aber sie ist so viel günstiger, dass Sie für dasselbe Geld mehr dieser Cluster bauen können, was Ihnen tatsächlich mehr Gesamtkochleistung gibt.

4. Die Zukunft: Wird sich dies ändern?

Der Artikel betrachtete die nächste Generation von Computerchips (Blackwell und Rubin).

Die gute Nachricht: Selbst mit schnelleren Chips bleibt die Strategie der „lokalen Straße" das beste Preis-Leistungs-Verhältnis. Die Chips werden schneller beim Kochen, aber der „Verkehr" (Kommunikation) ist immer noch der Flaschenhals. Die günstigen Netzwerke können immer noch mithalten.
Die Einschränkung: Wenn die Chips so schnell werden, dass sie eine Million Gerichte pro Sekunde kochen können, die Straßen zwischen ihnen aber nicht breiter werden, könnten die günstigen Netzwerke irgendwann Schwierigkeiten haben. Für die absehbare Zukunft sind die günstigen, switchless-Netzwerke jedoch die klügere finanzielle Wahl.

Das Fazit

Der Artikel kommt zu dem Schluss, dass die Industrie derzeit ein Vermögen für „Ferrari-Niveau"-Netzwerke für KI-Cluster ausgibt, während ein „zuverlässiger Sedan"-Netzwerk dank intelligenter Software-Tricks die Aufgabe genauso gut erledigen würde.

Durch den Wechsel zu diesen kostengünstigeren, switchless-Netzwerken könnten Unternehmen ihre Infrastrukturkosten um 20 % bis 56 % senken und gleichzeitig exakt die gleiche Menge an KI-Service liefern. Es ist ein klassisches Beispiel für: „Kaufen Sie keinen Ferrari, wenn ein Honda Civic Sie pünktlich ans Ziel bringt."

1. Problemstellung

Die Einführung von Mixture-of-Experts (MoE)-Architekturen in Large Language Models (LLMs) hat die Serving-Workloads von einzelnen Knoten auf Cluster-Größe verschoben. MoE-Modelle erfordern Expert Parallelism (EP), was eine häufige All-to-All (A2A)-Kommunikation zwischen Beschleunigern (XPUs wie GPUs/TPUs) zum Routing von Tokens zu spezifischen Experten notwendig macht.

Aktueller Industrietrend: Um die Kommunikationslatenz zu minimieren, investiert die Branche massiv in teure, hochbandbreitige „Scale-up"-Netzwerke (z. B. Clos-basierte Fat-Trees mit High-Radix-Switches und NVLink-ähnlichen Interconnects).
Die Kernfrage: Ist diese massive Investition in teure, switch-basierte Infrastruktur strikt notwendig? Können kostengünstigere, switchlose Topologien (wie 3D-Torus oder Full-Mesh) ausreichende Leistung bieten, insbesondere unter Berücksichtigung der Gesamtkosten im Besitz (TCO)?
Die Lücke: Bestehende Forschung optimiert oft isoliert die Zeit für kollektive Kommunikation (CCT) oder konzentriert sich auf das Training. Serving hat spezifische Anforderungen (strikte Latenz-SLOs, kleinere Batch-Größen, spezifische Verkehrsmuster) und ermöglicht eine aggressive Überlappung von Berechnung und Kommunikation, was frühere Netzwerkvergleiche oft außer Acht lassen.

2. Methodik

Die Autoren schlagen ein ganzheitliches, cross-layer Evaluierungsframework vor, das die Interaktion zwischen Rechenleistung, Kommunikation, Software-Optimierungen und Hardwarekosten modelliert.

Bewertete Topologien:
1. Scale-up: Hochbandbreitige, switch-basierte Fat-Tree (z. B. NVIDIA DGX-Cluster).
2. Scale-out: Standard-Ethernet/InfiniBand-switch-basierte Netzwerke.
3. 3D-Torus: Switchlose, Multi-Hop-Topologie (z. B. Google TPU).
4. 3D Full-Mesh: Switchlose, Direktverbindungstopologie (z. B. Huawei UB-Mesh-Pod).
Workload & Metriken:
- Modell: DeepSeek-V3 (671B Parameter, 256 Experten).
- Metrik: Durchsatz pro Kosten (Tokens/sec pro Dollar). Die primäre SLO ist Time Per Output Token (TPOT).
- Schlüsselkonzept: Exponierte Kommunikationszeit (ECT). Das Ziel ist es, die ECT durch Überlappung auf nahezu null zu reduzieren. Wenn ECT $\approx$ 0, bringt zusätzliche Bandbreite abnehmende Grenzerträge.
Modellierungsansatz:
- Kommunikation: Verwendung eines erweiterten Alpha-Beta (Hockney)-Modells, angepasst an reale NCCL-Benchmarks auf NVIDIA H100s. Es zerlegt die Latenz in Kosten pro Nachricht ( $\alpha_0$ ), pro Runde ( $\alpha_r$ ) und pro Ziel ( $\alpha_d$ ) sowie Bandbreite ( $\beta$ ).
- Rechenleistung: Verwendung einer profilbasierten Methode (Erweiterung von Tools wie Vidur) zur Schätzung der Kernel-Ausführungszeiten unter verschiedenen Parallelismuskonfigurationen.
- Software-Optimierungen: Explizite Modellierung von Dual-Batch Overlap (DBO) und Speculative Decoding (SD), um zu bestimmen, wie viel Kommunikationszeit versteckt werden kann.
- Kostenmodell: Berechnung der Gesamtkosten im Besitz (TCO) einschließlich CapEx (GPUs, Switches, Links) und OpEx (Strom), normalisiert auf eine Referenzeinheit.

3. Hauptbeiträge

Erste systematische Cross-Layer-Analyse: Das Paper ist das erste, das Netzwerktopologie, Link-Bandbreite, Software-Optimierungen (DBO/SD) und Clusterkosten speziell für MoE LLM Serving gemeinsam analysiert.
Identifikation des „Sweet Spots": Die Autoren zeigen, dass die aktuelle Industrie-Provisionierung (hochbandbreitiges Scale-up) oft überdimensioniert ist. Die Reduzierung der Link-Bandbreite kann den Durchsatz pro Kosten um bis zu 27 % verbessern.
Überlegenheit switchloser Topologien: Die Studie beweist, dass kostengünstigere, switchlose Topologien (insbesondere 3D Full-Mesh) in fast allen Serving-Szenarien kosteneffektiver sind als traditionelle Scale-up-Netzwerke.
Future-Proofing-Analyse: Eine zukunftsorientierte Analyse mit projizierten Spezifikationen für die NVIDIA Blackwell- und Rubin-Generationen deutet darauf hin, dass der Kostenvorteil switchloser Netzwerke bestehen bleibt, sofern die Skalierung der Interconnect-Bandbreite mit der Skalierung von Rechenleistung und Speicher Schritt hält.

4. Hauptergebnisse

A. Überdimensionierung der Link-Bandbreite

Aktuelle Scale-up-Systeme verwenden oft Links mit 450 GB/s. Die Analyse zeigt, dass für viele Szenarien (insbesondere mit DBO und SD) 150–300 GB/s der „Sweet Spot" sind.
Die Reduzierung der Bandbreite auf diesen Sweet Spot verbessert den Durchsatz pro Kosten um 6–27 %, da die zusätzliche Bandbreite nicht in höheren Durchsatz übersetzt (wegen Rechenengpässen oder bereits null ECT), aber die Kosten für Switches/Links signifikant erhöht.

B. Topologievergleich (Kosteneffektivität)

3D Full-Mesh ist Pareto-optimal: Obwohl weniger weit verbreitet, bietet die 3D Full-Mesh-Topologie den besten Trade-off zwischen Leistung und Kosten.
Leistungssteigerungen: Switchlose Topologien (Torus und Full-Mesh) verbessern die Kosteneffektivität um 20,6 % bis 56,2 % im Vergleich zu Scale-up-Netzwerken.
Mechanismus:
- DBO-Effektivität: In Szenarien mit lockeren SLOs (TPOT $\ge$ 40 ms) oder kurzen Kontexten verbirgt DBO die Kommunikationslatenz erfolgreich. Sobald die ECT null ist, schadet die geringere Rohbandbreite switchloser Netzwerke dem Durchsatz nicht, aber ihre geringeren Kosten verbessern die Metrik drastisch.
- Langer Kontext/Strikte SLO: Selbst in Szenarien mit langem Kontext (wo Batch-Größen klein sind und DBO weniger effektiv ist) oder strikten SLOs (TPOT = 15 ms) bleiben switchlose Netzwerke wettbewerbsfähig, da die kleinen Nachrichtengrößen den Einfluss des Bandbreiten-Terms ( $\beta$ ) reduzieren.

C. Zukünftige Generationen (Blackwell & Rubin)

Skalierungstrends: Rechenleistung und Speicherbandbreite skalieren in kommenden Generationen schneller als die Interconnect-Bandbreite (z. B. Rubin: 6,57-fache Speicherbandbreite vs. 4-fache Link-Bandbreite).
Implikation: Wenn dieser Trend anhält, könnte sich die Bandbreitenanforderung des „Sweet Spots" erhöhen und die Lücke möglicherweise verengen. Die Autoren zeigen jedoch, dass switchlose Netzwerke selbst bei höheren Anforderungen die Scale-up-Leistung erreichen können, wenn der Software-Overhead ( $\alpha$ -Terme) reduziert wird oder die Link-Bandbreite moderat erhöht wird (z. B. verdoppelte Bandbreite für Full-Mesh kostet immer noch weniger als Scale-Up).

5. Bedeutung und Implikationen

Wirtschaftliche Auswirkungen: Das Paper stellt das vorherrschende „Größer ist besser"-Denken in der KI-Infrastruktur in Frage. Es legt nahe, dass Hyperscaler die gleiche Serving-Kapazität zu deutlich geringeren Kosten erreichen können, indem sie switchlose Cluster (wie Full-Mesh) statt teurer Fat-Tree Scale-up-Netzwerke einsetzen.
Design-Leitlinien: Systemdesigner sollten bei möglicher Cluster-Erweiterung die Kosteneffektivität (Durchsatz pro Dollar) vor dem rohen Durchsatz pro Cluster priorisieren.
Software-Hardware-Co-Design: Die Ergebnisse unterstreichen, dass Software-Optimierungen (DBO, SD) die Netzwerkanforderungen grundlegend verändern und hochbandbreitige Hardware weniger kritisch machen als bisher angenommen.
Architekturwandel: Es validiert die Machbarkeit alternativer Topologien (Full-Mesh), die bisher als Nische galten, und könnte das Design zukünftiger KI-Rechenzentren neu gestalten.

Zusammenfassend argumentiert das Paper, dass für MoE LLM Serving kostengünstigere, switchlose Netzwerke (insbesondere 3D Full-Mesh) die optimale Wahl sind und eine überlegene wirtschaftliche Effizienz bieten, ohne in der vast majority praktischer Serving-Szenarien die Leistung zu beeinträchtigen.