SLO-Aware Compute Resource Allocation for Prefill-Decode Disaggregated LLM Inference

1. بيان المشكلة

يتم نشر استدلال النماذج اللغوية الكبيرة (LLM) تقليديًا على أجهزة غير مفككة، حيث تتشارك مرحلتا التحضير (Prefill) (المعتمدة على الحوسبة) والتوليد (Decode) (المعتمدة على عرض نطاق الذاكرة) نفس موارد وحدة معالجة الرسومات (GPU). يسبب هذا الاقتران تداخلاً، مما يجعل من الصعب تحسين كل من زمن الوصول لأول توكن (TTFT) وزمن إنتاج التوكن الواحد (TPOT) في آن واحد، كما يعيق التحسين المستقل للأجهزة لكل مرحلة.

بينما ظهر تفكيك التحضير-التوليد (P/D disaggregation) كحل لهذا الفصل، لا تزال هناك فجوة تشغيلية حرجة: لا توجد منهجية محددة لتحديد النسبة المثلى وعدد موارد الأجهزة للتحضير مقابل التوليد (على سبيل المثال: كم عدد وحدات GPU المخصصة للتحضير مقابل التوليد) لحمل عمل معين.

• القيود الحالية: تعتمد الأدوات الحالية (مثل NVIDIA's AIConfigurator) غالبًا على نهج قائم على البحث أو تفشل في مراعاة متطلبات الإنتاجية المحددة من قبل المستخدم وأهداف مستوى الخدمة (SLOs) الصارمة في وقت واحد. يؤدي التخصيص غير السليم إلى إما عدم استغلال الموارد (تكلفة عالية) أو انتهاك أهداف مستوى الخدمة (تجربة مستخدم سيئة).

2. المنهجية

يقترح المؤلفون نهجًا هجينًا يجمع بين النمذجة النظرية والاختبار التجريبي لحساب العدد الأمثل من حالات التحضير/التوليد ($N_{prefill}$ و $N_{decode}$).

أ. نموذج حساب الموارد النظري

الهدف الأساسي هو موازنة إجمالي وقت الحوسبة لكلا المرحلتين لتجنب الخمول.

1. تعريف الإنتاجية الإجمالية: تُعرف بأنها إجمالي التوكنات المعالجة في الثانية ($TP_{total}$)، والمستمدة من عدد الطلبات ($N_{req}$)، ومتوسط طول المدخلات ($L_{in}$)، وطول المخرجات ($L_{out}$).
2. معادلات الموازنة: في نظام P/D بنظام خط الأنابيب (pipelined)، يتم تحديد الوقت الإجمالي من خلال المرحلة الأبطأ. ولتحقيق أقصى قدر من الكفاءة، يجب أن يتساوى $T_{prefill}$ مع $T_{decode}$.
3. صيغ الموارد: يشتق البحث صيغًا (المعادلة 5 و 6) لحساب عدد الحالات المطلوبة:
   $$N_{prefill} = \frac{TP_{total} \times L_{in}}{(L_{in} + L_{out}) \times TP_{prefill}}$$
   $$N_{decode} = \frac{TP_{total} \times L_{out}}{(L_{in} + L_{out}) \times TP_{decode}}$$
   الأمر الجوهري هو أن النسبة $R_{P/D}$ تعتمد على أطوال المدخلات/المخرات و*الإنتاجية الفعالة لكل مرحلة، وليس فقط مواصفات الأجهزة الخام.*

ب. تحديد إنتاجية التحضير الفعالة (تحت قيود TTFT)

بما أن أقصى إنتاجية نظرية للتحضير نادرًا ما يمكن تحقيقها في ظل قيود TTFT صارمة، فقد قام المؤلفون بنمذجة مرحلة التحضير باستخدام نظرية الطوابير M/M/1:

• تكوين TTFT: يتكون $TTFT$ من $T_{queuing} + T_{computation} + T_{overhead}$ (حيث يتضمن الـ overhead نقل ذاكرة التخزين المؤقت KV وتأخير الشبكة).
• نموذج الطابور: يتم نمذجة النظام كطابور M/M/1 حيث معدل الخدمة $\mu$ هو أقصى إنتاجية تم اختبارها مقسومة على طول المدخلات.
• الاشتقاق: من خلال تحديد هدف TTFT، اشتق المؤلفون صيغة (المعادلة 13) لحساب إنتاجية التحضير القابلة للتحقيق فعليًا ($TP_{prefill}$) التي تستوفي قيد TTFT. يأخذ هذا في الاعتبار حقيقة أن متطلبات TTFT الأكثر صرامة تفرض انخفاضًا في استغلال النظام لتقليل وقت الانتظار في الطابور.

ج. تحديد إنتاجية التوليد الفعالة (تحت قيود TPOT)

بالنسبة لمرحلة التوليد، فإن العلاقة بين حجم الدفعة (batch size)، والإنتاجية، وTPOT هي علاقة غير خطية.

• الاختبار التجريبي: لاحظ المؤلفون أن زيادة حجم دفعة التوليد تزيد من الإنتاجية ولكنها تزيد أيضًا من TPOT.
• الطريقة: يقوم المؤلفون باختبار منحنى TPOT مقابل حجم الدفعة والإنتاجية مقابل حجم الدفعة.
• الاختيار: يحددون أقصى حجم دفعة يستوفي قيد TPOT المستهدف ويستخدمون قيمة الإنتاجية المقابلة كقيمة $TP_{decode}$ الفعالة.

3. المساهمات الرئيسية

1. نموذج موارد نظري: وضع إطارًا رياضيًا لحساب العدد الدقيق لحالات P/D بناءً على الإنتاجية الإجمالية، وخصائص الطلب ($L_{in}, L_{out}$)، وأهداف مستوى الخدمة (SLOs).
2. استخدام طوابير M/M/1 للتحضير: تقديم طريقة قائمة على نظرية الطوابير لاشتقاق إنتاجية التحضير الفعالة من هدف TTFT وأقصى أداء تم اختباره، متجاوزين افتراضات ذروة الإنتاجية البسيطة.
3. تحسين التوليد تجريبيًا: اقتراح نهج قائم على الاختبار لتحديد حجم دفعة التوليد الأمثل الذي يعظم الإنتاجية مع الالتزام الصارم بحدود TPOT.
4. التحقق: أثبت أن هذا النهج الهجين يتنبأ بدقة بتخصيص الموارد في سيناريوهات العالم الحقيقي، موازنًا بين كفاءة التكلفة والامتثال لـ SLOs.

4. النتائج التجريبية

تم التحقق من المنهجية باستخدام DeepSeek-V3.1-Terminus على وحدات NVIDIA H200 GPU مع القيود التالية:

• أهداف SLO المستهدفة: TTFT $\le$ 2s، TPOT $\le$ 20ms.
• حمل العمل: متوسط مدخلات 6144 توكن، مخرجات 512 توكن، إجمالي إنتاجية 5 مليون توكن في الدقيقة (M TPM).

النتائج:

• التخصيص المحسوب: توقعت المنهجية نسبة حالات 3 تحضير : 4 توليد (3P4D).
• التحقق من الأداء:
  • حقق نشر 3P4D إنتاجية الـ 5 M TPM المستهدفة مع تلبية كل من SLOs الخاصة بـ TTFT وTPOT (تحديدًا حقق ~4.8 M TPM مع الامتثال الكامل لـ SLO).
  • المقارنة (3P3D): فشل نشر 3P3D المتوازن في تلبية هدف الإنتاجية تحت قيود SLO، حيث توقف عند ~3.6 M TPM بسبب اختناقات TPOT.
• الكفاءة: حقق تكوين 3P4D إنتاجية أعلى لكل عقدة (0.69 M TPM/node) مقارنة بـ 3P3D (0.6 M TPM/node)، مما يثبت قدرة المنهجية على تعظيم استغلال الموارد.

5. الأهمية

يعالج هذا البحث فجوة حرجة في تشغيل استدلال النماذج اللغوية الكبيرة المفككة. ومن خلال توفير منهجية حتمية تراعي أهداف مستوى الخدمة (SLO-aware) لتخصيص الموارد، فإنه يتيح:

• خفض التكاليف: يمنع الإفراط في تخصيص موارد GPU المكلفة.
• ضمان الأداء: يضمن تلبية قيود زمن الوصول المحددة من قبل المستخدم (TTFT/TPOT) دون الحاجة إلى تجربة ونشر بالخطأ والصواب.
• القابلية للتوسع: يقدم إطارًا قابلًا لإعادة الإنتاج لمزودي السحابة والمؤسسات لنشر النماذج اللغوية الكبيرة بكفاءة، وهو قابل للتكيف مع نماذج وأجهزة مختلفة.

يشير المؤلفون إلى أن العمل المستقبلي يمكن أن يدمج هذا مع الأدوات القائمة على المحاكاة (مثل AIConfigurator) ويمد المنطق ليشمل أنظمة تفكيك EPD (التمثيل-التحضير-التوليد) متعددة الوسائط.