Strait: Perceiving Priority and Interference in ML Inference Serving

إليك ملخص تقني مفصل لورقة البحث "Strait: إدراك الأولوية والتداخل في خدمة استنتاج تعلم الآلة (ML Inference Serving)."

1. بيان المشكلة

تواجه أنظمة تقديم استنتاج تعلم الآلة (ML) تحديات كبيرة عند نشرها في سيناريوهات المواقع المحلية (on-premises) تحت استخدام عالٍ لوحدات معالجة الرسومات (GPU)، وتحديداً فيما يتعلق بـ تحديد أولويات المهام والوفاء بالمواعيد النهائية (Deadlines).

• عدم كفاية تحديد الأولويات: تفتقر الأنظمة الحالية (مثل TensorFlow Serving وNVIDIA Triton) غالباً إلى دعم قوي لتحديد أولويات المهام الحرجة (مثل مراقبة السلامة، أو مراقبة الجودة) على المهام الأقل أهمية. وبينما قد تدعم هذه الأنظمة أولويات تدفقات CUDA، إلا أن هذه التلميحات العتادية غالباً ما تكون غير فعالة لأن النواة (Kernels) المتزامنة لا تزال تتنافس على الموارد المشتركة، مما قد يتسبب في معاناة المهام ذات الأولوية العالية (HP) من تداخل شديد أو تفويت المواعيد النهائية.
• التداخل غير المتوقع: يعتمد الجدولة الحالي غالباً على المشاركة الزمنية (التنفيذ المتسلسل) أو المشاركة المكانية الثابتة (التنفيذ المتزامن).
  • المشاركة الزمنية تعاني من مشكلة حظر رأس السطر (Head-of-Line blocking) وعدم كفاءة الاستغلال.
  • المشاركة المكانية تحسن الاستغلال ولكنها تقدم تداخلاً أثناء تنفيذ النواة ونقل البيانات المتزامن. هذا التداخل غير خطي ويصعب تقديره، مما يؤدي إلى زمن انتقال غير متوقع وانتهاكات للمواعيد النهائية.
• الافتقار إلى الاستباق (Preemption): لا تدعم وحدات معالجة الرسومات التجارية عموماً الاستباق الحقيقي على مستوى المهمة. بمجرد إرسال الدفعة (Batch)، لا يمكن مقاطعتها. لذلك، يجب اتخاذ قرارات الجدولة بشكل استباقي لتجنب انتهاك المواعيد النهائية، مما يتطلب تقديراً دقيقاً لزمن الانتقال تحت ظروف التداخل.

2. المنهجية: نظام Strait

نظام Strait هو نظام لتقديم الاستنتاج مصمم لتعزيز الوفاء بالمواعيد النهائية لحركة المرور مزدوجة الأولوية (عالية الأولوية HP، ومنخفضة الأولوية LP) من خلال نمذجة وإدارة التداخل بشكل صريح.

أ. بنية النظام

يعمل Strait محلياً على عقدة تحتوي على عدة وحدات معالجة رسومات، ويتكون من:

1. مجدول مدرك للأولوية: يدير طوابير المهام لمختلف النماذج، ويخصص لها حالة HP أو LP.
2. محرك التنبؤ بالتداخل: نموذج عالمي يقدر تأخيرات زمن الانتقال الناتجة عن تداخل نقل البيانات وتنفيذ النواة.
3. حلقة تعلم تكيفية: تقوم بتحديث نموذج التنبؤ باستمرار بناءً على التغذية الراجعة في وقت التشغيل للتعامل مع انحراف عبء العمل وتغيرات العتاد.

ب. نمذجة التداخل

يقوم Strait بتفكيك زمن انتقال الاستنتاج ($T_{inf}$) إلى أربعة مكونات:
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. تداخل نقل البيانات ($T_{data}$):

   • يتم نمذجته بناءً على ملاحظة أن عمليات نقل بيانات PCIe مع الذاكرة المثبتة (pinned memory) تتبع عملية FIFO (الذي يدخل أولاً يخرج أولاً).
   • تُحسب التأخيرات بناءً على وقت اكتمال الدفعة السابقة على رابط PCIe.
   • غالباً ما يكون تداخل النقل الهابط (Downstream) ضئيلاً بسبب أحجام المخرجات الصغيرة.

2. تداخل تنفيذ النواة ($T_{kernel}$):

   • نموذج التنبؤ: يستخدم نموذج نمو أسي تكيفي لتقدير التباطؤ. المنطق هو أن التداخل يزداد ببطء عند ضغط الموارد المنخفض، ولكنه يتسارع بشكل فائق الخطية مع تصاعد الضغط (تجاوز قدرة وحدة معالجة الرسومات على إخفاء زمن الانتقال).
   • المدخلات: يستخدم النموذج متوسطات زمنية موزونة لمقايقات إنتاجية الموارد (مثل L1/L2 cache، وDRAM، وTensor Cores، وCUDA Cores) من الدفعات المتزامنة.
   • معامل الأولوية: يتضمن بارامتراً قابلاً للتعلم ($coeff_p$) ليعكس أن مهام HP قد تتعرض لتداخل أقل من مهام LP تحت نفس الضغط بسبب أولوية تدفقات CUDA.
   • التكيف: يستخدم النموذج تحسين Adam و خسارة Huber لتحديث البارامترات عبر الإنترنت (online). ويقوم بإعادة المعايرة بناءً على الفرق بين زمن تنفيذ النواة المتوقع والفعلي، مما يضمن المتانة ضد انحراف المفاهيم (مثل تغيير بنيات النماذج أو أنواع وحدات معالجة الرسومات).

ج. خوارزمية الجدولة المدركة للأولوية

تستخدم الجدولة عملية البحث الثنائي لتحديد حجم الدفعة الأمثل وتعيين وحدة معالجة الرسومات. وهي تفرض قيدين رئيسيين:

1. عدم انتهاك الأولوية الأعلى أو المماثلة: لا يتم جدولة دفعة جديدة إلا إذا لم تتسبب في جعل المهام الجارية (ذات الأولوية العالية أو المماثلة) تفقد مواعيدها النهائية.
2. قابلية تحقيق الموعد النهائي للذات: يجب أن تكون الدفعة الجديدة قادرة على تحقيق موعدها النهائي، والذي يُقدر بشكل متحفظ (بافتراض أنها تعمل بنصف إنتاجية تشغيل وحدة معالجة الرسومات).
3. تخفيف حدة المهام منخفضة الأولوية (LP Throttling): لحماية مهام HP، يقوم النظام ديناميكياً بوضع سقف لإجمالي إنتاجية مهام LP باستخدام سياسة الزيادة الجمعية والنقصان الضربي (AIMD). إذا فشلت مهمة HP في الوفاء بموعدها النهائي، يتم إعادة ضبط $C_{low}$ إلى خط أساس متحفظ.

3. المساهمات الرئيسية

1. الجدولة المدركة للتداخل: يعد Strait أول نظام يدمج التنبؤ الصريح بالتداخل (سواء نقل البيانات أو تنفيذ النواة) مباشرة في قرار الجدولة لحركة مرور استنتاج تعلم الآلة مزدوجة الأولوية.
2. نموذج تنبؤ تكيفي: يقترح نموذج انحدار مبتكر وذاتي التكيف يتعلم أنماط تنافس الموارد ديناميكياً، متجاوزاً قيود النماذج الثابتة التي تفشل عند تغير أعباء العمل أو العتاد.
3. إدارة الأولوية بدون استباق (Preemption): يوضح كيفية تحقيق أولويات مهام فعالة على وحدات معالجة رسومات غير قابلة للاستباق، وذلك من خلال الحظر الاستباقي أو تخفيف حدة المهام منخفضة الأولوية لحماية مواعيد المهام عالية الأولوية.
4. تقييم شامل: يقدم تقييماً صارماً مقابل أفضل النماذج المرجعية الحالية، بما في ذلك المشاركة الزمنية، والمشاركة المكانية الثابتة/التفاعلية، والاستباق المحدد برمجياً (XSched).

4. نتائج التقييم

أُجريت التجارب على وحدات NVIDIA L4 باستخدام نماذج DNN متنوعة (ResNet, ViT, YOLO, RoBERTa) تحت مسارات عشوائية، منتظمة، وإنتاجية.

• الوفاء بالمواعيد النهائية:
  • قلل Strait من انتهاكات المواعيد النهائية لـ المهام عالية الأولوية (HP) بمقدار 1.02 إلى 11.18 نقطة مئوية مقارنة بالأساليب الحالية للمشاركة المكانية والاستباق.
  • يتحمل مقايضة أداء مقبولة للمهام منخفضة الأولوية (أسوأ تدهور بنسبة 0.61 نقطة مئوية فقط).
• المقارنة مع الاستباق (XSched):
  • مقارنة بـ XSched (نظام استباق على مستوى النواة)، يحقق Strait رضا مماثل لمواعيد مهام HP، ولكنه يقدم أداءً أكثر إنصافاً للمهام منخفضة الأولوية (LP).
  • يعاني XSched من حظر رأس السطر (HOL blocking) للمهام منخفضة الأولوية عندما تسود طلبات HP، بينما يتجنب Strait ذلك من خلال الجدولة الاستباقية وإدارة التزامن وأحجام الدفعات.
• القابلية للتكيف:
  • تفوق نموذج التنبؤ التكيفي بشكل كبير على النماذج الثابتة عند الانتقال بين مجموعات نماذج مختلفة (CNN مقابل Transformer) أو بنيات GPU مختلفة (Ada Lovelace مقابل Ampere مقابل Hopper)، مما قلل أخطاء تنبؤ p99 بمقدار 7.2 إلى 8 نقاط مئوية.
• العبء الإضافي (Overhead):
  • العبء الإضافي للجدولة ضئيل جداً (عشرات الميكروثانية)، مما يجعله مناسباً للخدمة في الوقت الفعلي.

5. الأهمية

يعالج Strait فجوة حرجة في البنية التحتية المحلية لتعلم الآلة حيث يكون زمن الانتقال الحتمي وتحديد أولويات المهام أمراً بالغ الأهمية (مثل الأتمتة الصناعية، وأنظمة السلامة). من خلال الانتقال من إدارة الموارد التفاعلية إلى الإدراك الاستباقي للتداخل، يتيح Strait:

• موثوقية أعلى: ضمان وفاء المهام الحرجة بمواعيدها الصارمة حتى تحت الأحمال الثقيلة.
• استغلال أفضل للموارد: السماح بالمشاركة المكانية الآمنة دون عدم القدرة على التنبؤ التي تجبر الأنظمة عادةً على الاعتماد على المشاركة الزمنية غير الفعالة.
• القابلية للتوسع: النهج متعامد مع التوسع التلقائي على مستوى العنقود (cluster-level autoscaling) ويمكن دمجه في مجموعات تقديم الخدمة الحالية (مثل Triton) لتعزيز قدرات التعامل مع الأولويات دون الحاجة إلى دعم عتادي متخصص للاستباق.

باختصار، يوفر Strait إطار عمل قوياً لإدارة المقايضات المعقدة بين التزامن، والتداخل، والأولوية في خدمات استنتاج تعلم الآلة الحديثة المدعومة بمعالجات الرسومات.