🤖 AI

Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving

تقدم هذه الورقة تحليلاً منهجياً عبر الطبقات يثبت أن طوبولوجيا الشبكات منخفضة التكلفة وغير المعتمدة على المبدلات (تحديداً الشبكة الكاملة ثلاثية الأبعاد 3D full-mesh) هي أكثر فعالية من حيث التكلفة بشكل كبير مقارنة بشبكات التوسع (scale-up) باهظة الثمن ذات النطاق الترددي العالي لخدمة نماذج اللغات الكبيرة من نوع "خليط الخبراء" (Mixture-of-Experts)، بينما تكشف أيضاً أن عرض نطاق الروابط الحالي غالباً ما يكون مفرطاً في التخصيص.

المؤلفون الأصليون: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مطعماً ضخماً فائق السرعة (النموذج الذكي/AI) حيث يعمل آلاف الطهاة (وحدات معالجة الرسومات/GPUs) معاً لطهي أطبى معقدة (توليد النصوص). في الماضي، كان هؤلاء الطهاة يعملون في مطابخ صغيرة ومعزولة. ولكن الآن، أصبحت الوصفات ضخمة جداً لدرجة أنك بحاجة إلى مدينة كاملة من المطابخ التي تعمل في تناغم تام. هذا هو عالم نماذج اللغات الكبيرة القائمة على "خليط الخبراء" (Mixture-of-Experts - MoE).

المشكلة؟ يقضي الطهاة وقتاً طويلاً في الركض ذهاباً وإياباً لتبادل المكونات وتدوين الملاحظات بدلاً من الطهي الفعلي. في الواقع، في بعض الإعدادات، يُقضى ما يقرب من 60% من الوقت في الركض داخل المطبخ فقط، وليس في الطهي.

لحل هذه المشكلة، قامت الصناعة ببناء "طرق سريعة فائقة" (شبكات ذات نطاق ترددي عالٍ ومكلفة) بين المطابخ لتمكين الطهاة من تبادل الملاحظات فورياً. لكن هذه الورقة البحثية تطرح سؤالاً بسيطاً: "هل ندفع مبالغ باهظة مقابل هذه الطرق السريعة الفائقة؟"

إليك تفصيل نتائجهم، باستخدام تشبيهات بسيطة:

1. "الطريق السريع" مقابل "الطريق المحلي"

حالياً، تقوم معظم الشركات ببناء شبكات "التوسع الصاعد" (Scale-Up). تخيل هذا كطريق سريع ضخم متعدد المسارات حيث يتصل كل طباخ بكل طباخ آخر عبر كابل ألياف بصرية مباشر وفائق السرعة. إنه سريع للغاية، لكنه يتطلب الآلاف من مفاتيح المرور (الراوترات) المكلفة وأميالاً من الكابلات الباهظة. الأمر يشبه بناء طائرة خاصة لكل طباخ لمجرد توصيل مرطبان توابل واحد.

قارن الباحثون ذلك بـ "التوبولوجيا عديمة المفاتيح" (Switchless Topologies) (مثل 3D Torus أو Full-Mesh).

التشبيه: تخيل مكعباً ضخماً من الطهاة. بدلاً من الطريق السريع، يقومون فقط بتمرير الملاحظات لجيرانهم المباشرين (أعلى، أسفل، يسار، يمين، أمام، خلف). إذا كانت الملاحظة بحاجة للذهب إلى طباخ في الجانب الآخر من المكعب، فإنها تنتقل من جار إلى جار.
النتيجة: هذا النظام أبطأ في إرسال رسالة واحدة، ولكنه أرخص بكثير لأنك لا تحتاج إلى مفاتيح المرور المكلفة.

2. خدعة "تداخل عمل الطهاة" (تحسين البرمجيات)

تسلط الورقة الضوء على خدعة برمجية ذكية تسمى "التداخل ثنائي الدفعات" (Dual-Batch Overlap - DBO).

التشبيه: تخيل طباخاً يقطع الخضروات (الحوسبة) بينما ينتظر شاحنة التوصيل (الاتصال). في الطريقة القديمة، يقف الطباخ ساكناً وينتظر. مع تقنية DBO، يبدأ الطباخ في تقطيع الدفعة التالية من الخضروات بينما لا تزال الشاحنة توصل الدفعة الحالية.
السحر: إذا كان الطباخ يقطع الخضروات بسرعة كافية، يصبح وقت التوصيل غير مرئي. لن يتوقف الطباخ عن العمل أبداً. وقد وجد الباحثون أنه مع هذه الخدعة، يمكن للطرق المحلية "البطيئة" أن تواكب الطرق السريعة "الفائقة" لأن الطهاة مشغولون جداً بالطهي لدرجة أنهم لا يلاحظون التأخير.

3. اكتشاف "النقطة المثالية"

أجرى الباحثون محاكاة لسيناريوهات مختلفة (محادثات قصيرة مقابل قصص طويلة، قيود زمنية صارمة مقابل قيود مرنة). ووجدوا ما يلي:

نحن نبالغ في التجهيز: الطرق السريعة الفائقة المكلفة حالياً هي أعرض مما هو ضروري. إذا قمت بتقليل عرض النطاق الترددي إلى النصف (أو أكثر)، ستوفر مبالغ طائلة من الأجهزة، وستضمن خدعة "التداخل" أن الطهاة سينهون عملهم في الوقت المحدد.
الفائز: تبين أن توبولوجيا "3D Full-Mesh" (حيث يتصل كل طباخ في صف ما بجيرانه مباشرة، مكوناً شبكة) هي الخيار "الأمثل" (Pareto-optimal).
- الترجمة: إنها تقدم أفضل توازن. هي ليست الأسرع على الإطلاق، ولكنها أرخص بكثير لدرجة أنه يمكنك بناء عدد أكبر من هذه المجموعات بنفس المال، مما يمنحك في الواقع قوة طهي إجمالية أكبر.

4. هل سيتغير هذا في المستقبل؟

نظرت الورقة في الجيل القادم من شرائح الكمبيوتر (Blackwell و Rubin).

الأخبار الجيدة: حتى مع وجود شرائح أسرع، تظل استراتيجية "الطرق المحلية" هي الأفضل قيمة. الشرائح تصبح أسرع في الطهي، لكن "المرور" (الاتصال) لا يزال هو العائق. الشبكات الرخيصة لا تزال قادرة على المواكبة.
التنبيه: إذا أصبحت الشرائح سريعة جداً لدرجة أنها تستطيع طهي مليون طبق في الثانية، ولكن الطرق بينها لا تصبح أعرض، فقد تعاني الشبكات الرخيصة في النهاية. ومع ذلك، في المستقبل المنظور، تظل الشبكات الرخيصة وعديمة المفاتيح هي الخيار المالي الأذكى.

الخلاصة

تخلص الورقة إلى أن الصناعة تنفق حالياً ثروة على شبكات بمستوى "فيراري" لمجموعات الذكاء الاصطناعي، في حين أن شبكة بمستوى "سيارة سيدان موثوقة" ستؤدي المهمة تماماً، وذلك بفضل حيل برمجية ذكية.

من خلال الانتقال إلى هذه الشبكات الأقل تكلفة وعديمة المفاتيح، يمكن للشركات توفير ما بين 20% إلى 56% من تكاليف البنية التحتية الخاصة بها مع تقديم نفس القدر من خدمات الذكاء الاصطناعي تماماً. إنها حالة كلاسيكية من "لا تشترِ سيارة فيراري إذا كانت سيارة هوندا سيفيك ستوصلك إلى وجهتك في الوقت المحدد".

إليك ملخص تقني مفصل لورقة البحث بعنوان: "إعادة التفكير في طبولوجيا الشبكات من أجل خدمة نماذج اللغات الكبيرة (LLM) ذات بنية خليط الخبراء (MoE) بتكلفة فعالة."

1. بيان المشكلة

أدى اعتماد بنى خليط الخبراء (Moxture-of-Experts - MoE) في نماذج اللغات الكبيرة (LLMs) إلى نقل أعباء العمل من مستوى العقدة الواحدة إلى مستوى العنقود (Cluster-scale). تتطلب نماذج MoE توازي الخبراء (Expert Parallelism - EP)، مما يستلهزم اتصالات متكررة من نوع الكل-إلى-الكل (All-to-All - A2A) بين المسرعات (مثل وحدات معالجة الرسومات GPUs أو وحدات معالجة التنسور TPUs) لتوجيه الرموز (Tokens) إلى خبراء محددين.

التوجه الحالي في الصناعة: لتقليل زمن انتقال الاتصال، تستثمر الصناعة بكثافة في شبكات "التوسع الرأسي" (Scale-up) باهظة الثمن (مثل شبكات Fat-trees القائمة على بنية Clos مع مفاتيح عالية السعة واتصالات شبيهة بـ NVLink).
السؤال الجوهري: هل هذا الاستثمار الضخم في البنية التحتية المكلفة القائمة على المفاتيح (Switches) ضروري حقاً؟ هل يمكن للطبولوجيات عديمة المفاتيح (Switchless) الأقل تكلفة (مثل 3D Torus أو Full-Mesh) أن توفر أداءً كافياً، خاصة عند النظر في إجمالي تكلفة الملكية (TCO)؟
الفجوة: غالباً ما تركز الأبحاث الحالية على تحسين وقت الاتصال الجماعي (CCT) بمعزل عن غيره أو تركز على التدريب. أما "الخدمة" (Serving) فلها متطلبات متميزة (التزامات مستوى الخدمة الصارمة SLOs، أحجام دفعات أصغر، وأنماط حركة مرور محددة)، كما تسمح بتداخل عدواني بين الحوسبة والاتصال، وهو ما تغفله مقارنات الشبكات السابقة.

2. المنهجية

يقترح المؤلفون إطار تقييم شامل ومتعدد الطبقات ينمذج التفاعل بين الحوسبة، والاتصال، وتحسينات البرمجيات، وتكاليف الأجهزة.

الطبولوجيات التي تم تقييمها:
1. التوسع الرأسي (Scale-up): شبكة Fat-tree عالية النطاق الترددي تعتمد على المفاتيح (مثل مجموعات NVIDIA DGX).
2. التوسع الأفقي (Scale-out): شبكات قياسية تعتمد على مفاتيح Ethernet/InfiniBand.
3. 3D Torus: طبولوجيا متعددة القفزات عديمة المفاتيح (مثل Google TPU).
4. 3D Full-Mesh: طبولوجيا روابط مباشرة عديمة المفاتيح (مثل Huawei UB-Mesh-Pod).
عبء العمل والمقاييس:
- النموذج: DeepSeek-V3 (671 مليار معلمة، 256 خبيراً).
- المقياس: الإنتاجية لكل تكلفة (Throughput per Cost) (عدد الرموز في الثانية لكل دولار). الالتزام الأساسي بمستوى الخدمة هو الزمن لكل رمز مخرج (TPOT).
- المفهوم الرئيسي: وقت الاتصال المكشوف (Exposed Communication Time - ECT). الهدف هو تقليل ECT إلى ما يقرب من الصفر عبر التداخل (Overlap). إذا كان ECT $\approx$ 0، فإن النطاق الترددي الإضافي يعطي عوائد تناقصية.
نهج النمذجة:
- الاتصال: يستخدم نموذج Alpha-Beta (Hockney) موسع تم ضبطه بناءً على اختبارات NCCL الحقيقية على وحدات NVIDIA H100. يقوم النموذج بتفكيك زمن التأخير إلى تكاليف لكل رسالة ( $\alpha_0$ )، ولكل جولة ( $\alpha_r$ )، ولكل وجهة ( $\alpha_d$ )، بالإضافة إلى النطاق الترددي ( $\beta$ ).
- الحوسبة: يستخدم طريقة قائمة على التوصيف (Profile-based) (توسيع لأدوات مثل Vidur) لتقدير أوقات تنفيذ النواة (Kernel execution) تحت تكوينات توازي مختلفة.
- تحسينات البرمجيات: ينمذج صراحةً التداخل ذو الدفعة المزدوجة (Dual-Batch Overlap - DBO) والترميز التخميني (Speculative Decoding - SD) لتحديد مقدار زمن الاتصال الذي يمكن إخفاؤه.
- نموذج التكلفة: يحسب إجمالي تكلفة الملكية (TCO) بما في ذلك النفقات الرأسمالية (CapEx) (وحدات GPU، المفاتيح، الروابط) والنفقات التشغيلية (OpEx) (الطاقة)، مع تطبيعها إلى وحدة مرجعية.

3. المساهمات الرئيسية

أول تحليل منهجي شامل للطبقات: تعد هذه الورقة أول من يحلل بشكل مشترك طبولوجيا الشبكة، ونطاق عرض النطاق الترددي للرابط، وتحسينات البرمجيات (DBO/SD)، وتكلفة العنقود خصيصاً لـ خدمة نماذج MoE LLM.
تحديد "النقطة المثالية" (Sweet Spot): يوضح المؤلفون أن التجهيز الحالي في الصناعة (التوسع الرأسي عالي النطاق الترددي) غالباً ما يكون مبالغاً فيه. تقليل عرض النطاق الترددي للروابط يمكن أن يحسن الإنتاجية لكل تكلفة بنسبة تصل إلى 27%.
تفوق الطبولوجيا عديمة المفاتيح: تثبت الدراسة أن الطبولوجيا عديمة المفاتيح (خاصة 3D Full-Mesh) هي الأكثر فعالية من حيث التكلفة عبر معظم سيناريوهات الخدمة.
تحليل استشرافي للمستقبل: يشير التحليل المستقبلي باستخدام المواصفات المتوقعة لأجيال NVIDIA Blackwell وRubin أن الميزة التنافسية للشبكات عديمة المفاتيح ستستمر، بشر_ط أن يواكب نمو عرض النطاق الترددي للروابط نمو الحوسبة والذاكرة.

4. النتائج الرئيسية

أ. المبالغة في توفير عرض النطاق الترددي للروابط

تستخدم أنظمة التوسع الرأسي الحالية غالباً روابط بسرعة 450 جيجابايت/ثانية. يظهر التحليل أنه في العديد من السيناريوهات (خاصة مع DBO و SD)، فإن 150-300 جيجابايت/ث الثانية هي "النقطة المثالية".
يؤدي تقليل عرض النطاق الترددي إلى هذه النقطة المثالية إلى تحسين الإنتاجية لكل تكلفة بنسبة 6-27% لأن عرض النطاق الترددي الإضافي لا يترجم إلى إنتاجية أعلى (بسبب اختناقات الحوسبة أو وصول ECT إلى الصفر) ولكنه يزيد بشكل كبير من تكاليف المفاتيح والروابط.

ب. مقارنة الطبولوجيا (الفعالية من حيث التكلفة)

3D Full-Mesh هي الخيار الأمثل (Pareto-Optimal): على الرغم من أنها أقل انتشاراً، إلا أن طبولوجيا 3D Full-Mesh توفر أفضل مقايضة بين الأداء والتكلفة.
مكاسب الأداء: تحقق الطبولوجيا عديمة المفاتيح (Torus و Full-Mesh) فعالية أفضل من حيث التكلفة بنسبة 20.6% إلى 56.2% مقارنة بشبكات التوسع الرأسي.
الآلية:
- فعالية DBO: في السيناريوهات ذات التزامات مستوى الخدمة المخففة (TPOT $\ge$ 40ms) أو السياقات القصيرة، ينجح DBO في إخفاء زمن انتقال الاتصال. بمجرد وصول ECT إلى الصفر، لا يضر عرض النطاق الترددي الأقل للشبكات عديمة المفاتيح بالإنتاجية، لكن تكلفتها المنخفضة تحسن المقياس بشكل كبير.
- السياق الطويل/الالتزام الصارم: حتى في سيناريوهات السياق الطويل (حيث تكون أحجام الدفعات صغيرة و DBO أقل فعالية) أو الالتزامات الصارمة (TPOT = 15ms)، تظل الشبكات عديمة المفاتيح تنافسية لأن أحجام الرسائل الصغيرة تقلل من تأثير حد عرض النطاق الترددي ( $\beta$ ).

ج. الأجيال القادمة (Blackwell & Rubin)

اتجاهات التوسع: تتوسع الحوسبة وعرض نطاق الذاكرة بشكل أسرع من عرض نطاق الاتصال في الأجيال القادمة (على سبيل المثال، في Rubin: عرض نطاق الذاكرة 6.57 ضعف مقابل 4 أضعاف لعرض نطاق الرابط).
الاستنتاج: إذا استمر هذا الاتجاه، فقد يرتفع متطلب عرض النطاق الترددي للنقطة المثالية، مما قد يقلص الفجوة. ومع ذلك، يظهر المؤلفون أنه حتى مع المتطلبات الأعلى، يمكن للشبكات عديمة المفاتوات مضاهاة أداء التوسع الرأسي إذا تم تقليل الأعباء البرمجية ( $\alpha$ terms) أو إذا تم زيادة عرض نطاق الرابط بشكل معتدل (على سبيل المثال، مضاعفة عرض النطاق لـ Full-Mesh لا يزال يكلف أقل من Scale-Up).

5. الأهمية والآثار المترتبة

الأثر الاقتصادي: تتحدى الورقة عقلية "الأكبر هو الأفضل" السائدة في بنية الذكاء الاصطناعي التحتية. وتقترح أن بإمكان الشركات العملاقة (Hyperscalers) تحقيق نفس سعة الخدمة بتكلفة أقل بكثير من خلال نشر عناقيد عديمة المفاتيح (مثل Full-Mesh) بدلاً من شبكات التوسع الرأسي (Fat-tree) المكلفة.
توجيهات التصميم: يجب على مصممي الأنظمة إعطاء الأولوية لـ الفعالية من حيث التكلفة (الإنتاجية لكل دولار) بدلاً من الإنتاجية الخام لكل عنقود عندما يكون توسيع العنقود ممكناً.
التصميم المشترك للبرمجيات والأجهزة: تسلط النتائج الضوء على أن تحسينات البرمجيات (DBO, SD) تغير جذرياً متطلبات الشبكة، مما يجعل الأجهزة ذات عرض النطاق الترددي العالي أقل أهمية مما كان يُعتقد سابقاً.
التحول في البنية: تؤكد الورقة جدوى الطبولوجيات البديلة (مثل Full-Mesh) التي كانت تُعتبر سابقاً متخصصة أو محدودة النطاق، مما قد يعيد تشكيل تصميم مراكز بيانات الذكاء الاصطناي المستقبلية.

باختاً، تجادل الورقة بأنه بالنسبة لخدمة نماذج MoE LLM، فإن الشبكات عديمة المفاتح (وتحديداً 3D Full-Mesh) هي الخيار الأمثل، حيث توفر كفاءة اقتصادية فائقة دون التضحية بالأداء في معظم سيناريوهات الخدمة العملية.