ملخص تقني: TEMPO – موازنة الحمل الخبيرة المدركة للزمن الأقصى (Makespan-Aware)

1. تعريف المشكلة

في خدمات نماذج خليط الخبراء (MoE)، يتحدد زمن تأخير الطبقة بناءً على الزمن الأقصى (makespan) (أقصى وقت يقضيه أي معالج رسومي منفرد) بسبب نقاط التزامن في نهاية كل طبقة. تحاول الموزعات الإنتاجية الحالية (مثل EPLB وLPLB وUltraEP وMETRO) موازنة الحمل عن طريق تحسين "الوكلاء" (proxies): إما عدد الرموز (tokens) لكل معالج رسومي أو عدد الخبراء المفعلين لكل معالج رسومي. تعتمد هذه الوكلاء على افتراضات خطية ضمنية—أن وقت تنفيذ الخبير يتناسب خطياً مع عدد الرموز أو عدد الخبراء، على التوالي.

ومع ذلك، تكشف القياسات على وحدات معالجة الرسومات في مراكز البيانات (تحديداً باستخدام نوى DeepGEMM fp8 المجمعة) أن وقت تنفيذ الخبير غير خطي ويتبع بنية ذات نظامين:

1. نظام محدود بالذاكرة (مسطح) (Memory-Bound/Flat Regime): تحت عتبة $n^* \approx 156\text{--}168$ رمزاً لكل خبير، تهيمن تكلفة بث أوزان الخبير من ذاكرة النطاق الترددي العالي (HBM). في هذا النظام، يكون الوقت ثابتاً لكل نسخة مكررة من الخبير المفعل، بغض النظر عن عدد الرموز.
2. نظام محدود بالحوسبة (خطي) (Compute-Bound/Linear Regime): فوق $n^*$، تصبح التكلفة خطية مع عدد الرموز. ومع ذلك، نظراً لأن تنفيذات GEMM المجمعة تقوم بتقريب الرموز إلى الأعلى لتناسب بلاطات (M-tiles) بحجم 128 رمزاً، فإن تقسيم الخبير عبر نسخ مكررة متعددة يؤدي إلى "حوسبة محشوة" (padded compute)، مما يجعل التكلفة غير خطية بطريقة تغفلها حسابات عدد الرموز البسيطة.

بالتالي، غالباً ما تحتوي دفعات فك التشفير (decode batches) في العالم الحقيقي على نظام مختلط: خبراء "ساخنة" بها العديد من الرموز (النظام الخطي) وخبراء "باردة" بها رموز قليلة (النظام المسطح) يتعايشون معاً. تفشل استراتيجيات موازنة الرموز الموجودة لأنها تفتت الخبراء الباردة (مما يدفع لثمن أرضيات تنشيط مخفية)، بينما تؤدي استراتيجيات موازنة التنشيط إلى تحميل زائد على النسخ الساخنة. لا يوجد وكيل ثابت واحد مثالي عبر جميع نقاط التشغيل.

2. المنهجية

نمذجة التكلفة

يصيغ المؤلفون وقت تنفيذ الخبير الواحد $t$ كدالة "أقصى-أفينية" (max-affine function):
$$t = \max(a + bG, c + \beta N)$$
حيث $G$ هو عدد نسخ الخبير المفعلة و $N$ هو عدد الرموز.

• $b$ (أرضية التنشيط): تكلفة بث الأوزان لنسخة مكررة إضافية (محدود بالذاكرة).
• $\beta$ (ميل الرموز): تكلفة الرمز الواحد في النظام المحدود بالحوسبة.
• الوعي بالبلاطات (Tile Awareness): بالنسبة لمرحلة الملء المسبق (prefill) أو الدفعات الكبيرة، يلتقط بارامتر ثانوي تأثير "الدرج" الناتج عن بلاطات الـ 128 رمزاً، مما يحسن النموذج إلى $t = \max(a+bG+b_2(T-G), c+\beta N)$.

يتم معايرة هذا النموذج عبر اختبار قياسي (microbenchmark) "صندوق أسود" لمدة عشر دقائق على النواة المستخدمة، حيث يقيس أوقات الجدار عبر شبكات $(G, N)$.

صياغة المشكلة

تُصاغ مشكلة التوزيع كمسألة تقليل الزمن الأقصى ذات الرسوم الثابتة (fixed-charge makespan minimization). يثبت المؤلفون أن هذه المسألة هي مسألة NP-hard حتى مع وجود معالجين رسوميين ونسخ كامل، لأنها تتطلب موازنة قيود متنافسة (عدد التنشيط مقابل عدد الرموز) في آن واحد. ومع ذلك، تصبح المسألة متعددة الحدود (polynomial) في الحدود المتدهورة (الموازنة النقية للرموز أو الموازنة النقية للتنشيط).

خوارزمية TEMPO

TEMPO (تحسين خبري مدرك للزمن - Time-modeled Expert-Parallel Optimization) هو موزع يحل مسألة الزمن الأقصى هذه في أجزاء من الثانية، ويعمل خارج المسار الحرج (critical path). تستخدم خوارزميته، tempo fast أربع مراحل:

1. البذر الجشع الواعي بالتكلفة (Cost-Aware Greedy Seeding): يضع الخبراء الكاملين على النسخ المكررة ذات التكلفة الهامشية الأدنى، متجنباً تفتيت الخبراء الباردة.
2. إعادة موازنة التنشيط: يستخدم سلاسل تعزيز (augmenting chains) لإعادة موازنة أعداد الخبراء في النظام المسطح (حيث تكون عمليات نقل الرموز غير فعالة).
3. البحث المحلي لعنق الزجاجة: يقوم بعمليات هجرة جزئية للرموز لتقليل الزمن الأقصى في النظام الخطي.
4. التجميع مع سماحية التبديل (Ensemble with Switching Tolerance): يقيم الحل الحالي مقابل خط أساس Token-LP (البرمجة الخطية) وهيورستيك التوزيع الدوري (Round-Robin). لا يقوم بالتبديل إلا إذا كان الحل الجديد أفضل بنسبة >1%، مما يضمن الاستقرار والوراثة من الضمانات النظرية للخوارزميات الأبسط.

التكامل مع النظام

تم دمج TEMPO في SGLang مع التركيز على عدم وجود عبء إضافي على المسار الحرج:

• داخل الرسم البياني (In-Graph): تتعامل نواة CUDA مدمجة واحدة مع التوزيع الاحتمالي وجمع الأعداد، مما يلغي العمليات الجماعية (collectives) لكل طبقة المطلوبة من قبل حلالات البرمجة الخطية السابقة.
  টি
• خارج العملية (Out-of-Process): يعمل الموزع في عملية منفصلة، مما يتجنب نزاع الـ GIL ويضمن أن قرار التوزيع لا يعيق رسم الاستدلال (inference graph).
• الوعي بالطوبولوجيا (Topology Awareness): بالنسبة للإعدادات متعددة العقد، يضمن تقسيم مرحلتين توجيه الرموز أولاً إلى النسخ المكررة على نفس العقدة، مما يقلل حركة المرور بين العقد دون تغيير الموزع الأساسي.

3. النتائج الرئيسية

النظري والمحاكاة

• مخطط الطور (Phase Diagram): يوضح مخطط طور مُعاير أن السياسة الثابتة المثلى تنتقل بين موازنة التنشيط (المحدودة بالذاكرة) وموازنة الرموز (المحدودة بالحوسبة) بناءً على حجم الدفعة وانحراف الخبراء. يتتبع TEMPO السياسة المثلى عبر هذا المخطط بالكامل.
• ضمان التقريب: في حالة النسخ الكامل، يوفر TEMPO ضمان تقريب إضافي قدره $OPT + \max(b, \beta n_{max})$.
• مكاسب المحاكاة: في بيئات المحاكاة، يحقق TEMPO تحسناً يصل إلى 15.5% مقارم بأفضل خط أساس ثابت في سيناريوهات النظام المختلط (تحديداً عند التوسع لـ EP32–64).

التقييم التجريبي (منصات الاختبار A و B)

• الاختبارات الدقيقة (Microbenchmarks): على منصة اختبار A مكونة من 8 معالجات رسومية، يظل TEMPO ضمن نطاق 1% من أفضل خط أساس ثابت عند كل نقطة شبكية تم تقييمها، ويتفوق بنسبة تصل إلى 15.5% حيث تختلط الأنظمة.
• الخدمة من الطرف إلى الطرف (Qwen3-235B):
  • في حركة المرور ذات السياق الطويل والتركيز على فك التشفير، يحسن TEMPO الإنتاجية بنسبة 4–6% ويقلل زمن تأخير p99 بين الرموز بنسبة ~15.6%.
  • في إعداد EP16 ثنائي العقد مع تقسيم واعٍ بالطوبولوجيا، تصل المكاسب إلى 4–7%.
  • من المهم ملاحظة أن جزءاً كبيراً من الفجوة بين TEMPO وLPLB المشحون في SGLang هو معماري (إزالة الـ collectives داخل الرسم البياني)؛ فعند نقل LPLB إلى نفس المعمارية، تكون مكاسب TEMco المتبقية ناتجة أساساً عن الاستقرار عند نقاط الحوسبة.
• الخدمة من الطرف إلى الطرف (DeepSeek-V3): في نموذج يهيمن فيه الاتصال وتكون الخبراء أصغر لكل معالج رسومي (خارج منطقة الربح)، يعيد TEMPO فقط تكاليف الآلية، مما يجعله على قدم المساواهم مع التوزيع الثابت. وهذا يؤكد ادعاء الورقة بأن الفوائد مشروطة.
• التقادم والموضع (Staleness and Placement): النظام قوي تجاه تقادم الموضع (حتى 200 مللي ثانية). ومع ذلك، إذا كان طبقة الموضع متقادمة بشكل كبير (نقل الخبراء الساخنة إلى نسخ باردة)، فلا يمكن للتوزيع وحده استعادة الإنتاجية؛ يمكن للموضع فقط إصلاح المتوسط، بينما يقوم التوزيع بإصلاح ذيل زمن التأخير (latency tail).

4. الأهمية والادعاءات

الادعاء الأساسي للورقة ليس الفوز بالأداء الشامل، بل تقديم مخطط طور يتنبأ متى يكون التوزيع القائم على الزمن مفيداً.

• "منطقة الربح" (The Win Region): يحقق التوزيع التكيفي مكاسب كبيرة فقط عندما:
  1. يمتلك النموذج خبراء كبار (أرضية تنشيط عالية $b$).
  2. تكون الدفعات في نظام مختلط (تحتوي على خبراء ساخنة وباردة).
  3. يكون الموضع متقادماً بما يكفي للتسبب في عدم التوازن، ولكن ليس متقادماً لدرجة أن نقل الأوزان هو الوحيد الذي يمكنه الإصلاح.
  4. تشكل حوسبة الخبير جزءاً كبيراً من زمن الخطوة (لا يهيمن عليها الاتصال).
• التحول المنهجي: تجادل الورقة بأن "موازنة الزمن، وليس الرموز" هو النهج المبدئي لخدمة MoE. وتثبت أن وسائط عدد الرموز خاطئة بشكل منهجي في الأنظمة المحدودة بالذاكرة، وأن نموذج تكلفة مُعاير ضروري للتنقل بين اختناقات الذاكرة والحوسبة.
• العملية: يوفر العمل حلاً قابلاً للنشر (TEMPO) يتكامل بسلاسة مع أطر الخدمة الحالية مثل SGLang مع عبء إضافي ضئيل، مما يثبت أن تحسين الزمن الأقصى المعقد يمكن تنفيذه في أجزاء من الثانية دون تعطيل الاستدلال.

يصرح المؤلفون صراحةً أنه بالنسبة لأشكال الخبراء الصغيرة أو النماذج التي يهيمن عليها الاتصال، لا يقدم التوزيع التكيفي أي ميزة عن التوزيع الثابت، وأن النظام يتراجع بشكل صحيح إلى التساوي بدلاً من تحمل عقوبة أداء. المساهمة الحقيقية هي رسم خرائط هذه الظروف والخوارزمية للتنقل بينها.