Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving
यह शोध पत्र एक व्यवस्थित क्रॉस-लेयर विश्लेषण प्रस्तुत करता है जो यह प्रदर्शित करता है कि मिक्सचर-ऑफ-एक्सपर्ट्स (Mixture-of-Experts) एलएलएम (LLM) सर्विंग के लिए महंगे हाई-बैंडविड्थ स्केल-अप नेटवर्क की तुलना में कम लागत वाले, स्विचलेस नेटवर्क टोपोलॉजी (विशेष रूप से 3D फुल-मेश) काफी अधिक लागत-प्रभावी हैं, जबकि यह यह भी उजागर करता है कि वर्तमान लिंक बैंडविड्थ अक्सर ओवर-प्रोविजन (over-provisioned) होते हैं।