How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?

في المشهد الرقمي المعاصر، أصبحت نماذج اللغات الكبيرة هي المحركات وراء مجموعة واسعة من التطبيقات الذكية، من المساعدين في الكتابة إلى أدوات البرمجة المعقدة. ولكي تعمل هذه الأنظمة بسلاسة لملايين المستخدمين، فإنها تعتمد على مزارع خوادم متطورة حيث تعمل معالجات الرسوميات القوية بمثابة العقل المدبر. ومع ذلك، فإن هذه المعالجات باهظة الثمن ومواردها محدودة. فعندما يرسل آلاف الأشخاص طلبات في وقت واحد، يجب على الخادم أن يقرر أي طلب يعالجه أولاً، وكيف يجمع بينهم، وكيف يدير الذاكرة بحيث لا يتسبب مستخدم واحد في عرقلة النظام بينما ينتظر الآخرون. وتتم عملية اتخاذ القرار هذه بواسطة "المجدول" (scheduler)، وهو قطعة من البرمجيات تعمل مثل مراقب حركة المرور، حيث تقوم باستمرار بإعادة ترتيب تدفق البيانات للحفاظ على حركة كل شيء بكفاءة.

لسنوات، اقترح الباحثون طرقًا جديدة لتحسين هذه المجدولات، زاعمين أن أساليبهم أسرع أو أكثر عدلاً من الأساليب الموجودة. لكن هذه الادعاءات كانت تُختبر دائمًا تحت ظروف محددة للغاية: باستخدام نوع واحد من حركة مرور المستخدمين، وعند مستوى واحد محدد من حمل الخادم، وقياس النجاح بمعيار واحد فقط. وهذا يخلق نقطة عمياء؛ فالمجدول الذي يبدو مثاليًا عند اختباره على تدفق هادئ ومتوقع من الطلبات قد يفشل فشلاً ذريعًا عندما يواجه دفعة مفاجئة وفوضوية من النشاط. لقد ظل السؤال الجوهري دون إجابة: إذا تم إعلان جدولة ما بأنها الأفضل بناءً على مجموعة واحدة من البيانات، فهل يظل هذا التصنيف صحيحًا عندما تتغير حركة المرور، أو يتغير الحمل، أو يتغير تعريف النجاح؟

للإجابة على ذلك، صمم باحث في معهد نيوجيرسي للتكنولوجيا اختبارًا صارمًا يسمى "اختبار قياس قدرة نقل جدولة خدمة نماذج اللغات الكبيرة" (LLM-Serving Scheduler Portability Benchmark). وبدلاً من السؤال عن أي مجدول هو الأفضل مطلقًا، طرحت الدراسة سؤالًا أكثر دقة: ما مدى قابلية نقل تصنيفات هذه المجدولات؟ بعبارة أخرى، إذا قمت بتغيير مصدر حركة مرور المستخدمين، أو شدة الحمل، أو الطريقة التي تقيس بها الأداء، فهل يظل ترتيب أفضل وأسوأ المجدولات كما هو، أم أنه ينقلب؟ قام الباحث ببناء محاكاة لتشغيل ثلاثة عشر استراتيجية جدولة مختلفة مقابل مجموعة ضخمة ومجمدة من 120 نافذة عمل متميزة. وقد استُمدت هذه النوافذ من ثلاثة مصادر مستقلة لبيانات العالم الحقيقي: حركة مرور سحابة Microsoft Azure، ومنصة Alibaba's Bailian/Qwen، ومجموعة بيانات كبيرة من آثار Microsoft Azure المعروفة باسم BurstGPT. تم اختبار النظام عبر ست مناطق تشغيل مختلفة، تتراوح من حركة المرور الخفيفة إلى التحميل الزائد الشديد، وتم تقييمه باستخدام مقاييس أداء متعددة.

كشفت النتائج أن الإجابة ليست مجرد نعم أو لا بسيطة. فالتصنيفات ليست مستقرة عالميًا، وليست فوضوية تمامًا؛ بل تعتمد بشدة على أي مزيج محدد من العوامل التي تنظر إليها. وعند مقارنة التصنيفات عبر مصادر البيانات المختلفة، وجدت الدراسة أن حركة المرور من Microsoft Azure وAlibaba's Bailian/Qwen اتفقت بشكل مثالي تقريبًا مع بعضها البعض. فإذا كان أحد المجدولات هو الأفضل في Azure، فمن المؤكد تقريبًا أنه سيكون الأفضل في Bailian/Qwen. ومع ذلك، حكت المصدر الثالث، BurstGPT، قصة مختلفة. فعند تضمين BurstGPT في المقارنة، انخفضت درجة الاتفاق بشكل كبير، حيث انخفضت معاملات الارتباط إلى 0.55. وهذا يشير إلى أن المجدول الذي تم التحقق من صحته فقط على حركة مرور تشبه Azure قد لا يعمل كما هو متوقع في حركة مرور تشبه BurstGPT، والعكس صحيح.

كما بحثت الدراسة في عدد المرات التي انقلبت فيها التصنيفات فعليًا، مما يعني أن المجدول الذي كان أفضل في سيناريو ما أصبح أسوأ في سيناريو آخر. ومن بين ما يقرب من ألف مقارنة، أظهر حوالي 3.6 بالمائة فقط انقلابًا كان ذا دلالة إحصائية وكبيرًا بما يكفي ليكون مؤثرًا من الناحية العملية. ولم تكن هذه الانقلابات موزعة بالتساوي عبر جميع الظروف؛ بل تركزت في مناطق محددة، لا سيما عندما يكون النظام تحت حمل ثقيل. علاوة على ذلك، تضمن كل واحد من هذه الانقلابات الهامة نفس زوج من استراتيجيات الجدولة وتضمن دائمًا بيانات BurstGPT في أحد جانبيه. ويشير هذا إلى أن عدم الاستقرار ليس عيبًا عامًا في النظام، بل هو تفاعل محدد بين آليات جدولة معينة والخصائص الفريدة لمصدر حركة المرور المحدد ذاك.

ولعل الاكتشاف الأكثر إثارة للدهشة تعلق بالمقاييس المستخدمة للحكم على الأداء. فقد اختبر الباحثون ما إذا كان المجدول الذي يحتل المرتبة الأولى في مقياس واحد، مثل عدد الطلبات المكتملة، سيحتل أيضًا المرتبة الأولى في مقاييس أخرى، مثل السرعة أو العدالة. ووجدوا أن التصنيفات كانت هشة بشكل مفاجئ عند تغير المقياس. ففي المتوسط، كان الاتفاق بين المقاييس المختلفة متوسطًا فقط، وفي 68.1% من ظروف الاختبار، تغير المجدول الأفضل أداءً اعتمادًا على المقياس المستخدم. وهذا يعني أن ادعاء "أفضل مجدول" غالبًا ما يكون صامتًا بشأن الهدف المحدد الذي يتم السعي وراءه؛ فالمجدول المُحسَّن للسرعة قد يكون الخيار الأسوأ للعدالة، ويعتمد التصنيف تمامًا على ما يقدره المشغل أكثر.

ولضمان أن نتائج المحاكاة هذه لم تكن مجرد نتاج نموذج حاسوبي، اختار الباحث أكثر انقلاب دراماتيكي وُجد في المحاكاة واختبره على أجهزة مادية حقيقية باستخدام معالج رسوميات قياسي. كانت المحاكاة قد توقعت أن أحد المجدولات سيفوز في نوع واحد من حركة المرور ويخسر في نوع آخر، وهو انقلاب في التصنيف. وعلى الأجهزة الحقيقية، لم يحدث هذا الانقلاب المحدد؛ بل فاز أحد المجدولات في كلتا الحالتين. ومع ذلك، فإن اختبارًا منفصلاً لتصنيف مستقر، حيث توقعت المحاكاة عدم حدوث تغيير، قد ثبتت صحته على الأجهزة الحقيقية. ويشير هذا إلى أنه بينما تعد المحاكاة جيدة في تحديد الاتجاهات المستقرة، إلا أنها قد لا تتنبأ بدقة بكل انقلاب محدد في العالم الحقيقي، مما يسلط الضدد على الحدود التي تنتهي عندها دقة النموذج.

في النهاية، تخلص الدراسة إلى أنه لا يوجد مجدول واحد "أفضل" وعالمي يصلح لكل موقف. فأداء استراتيجية الجدولة هو أمر مشروط؛ فهو يعتمد على المصدر المحدد لحركة مرور المستخدمين، والحمل الحالي على النظام، والمقياس المستخدم لقياس النجاح، والتعريف المحدد لهدف الخدمة. إن التصنيف الذي يبدو قويًا على مجموعة واحدة من البيانات لا يمكن افتراض صحته على مجموعة أخرى دون تحقق. وبالنسبة للمهندسين والباحثين، فإن هذا يعني أن مقارنة المجدولات تتطلب نهجًا أوسع وأكثر دقة من مجرد الاختبار على مجموعة بيانات واحدة. إن النتائج لا تعلن عن فائز، بل توفر خارطة طريق توضح أين تكون التصنيفات موثوقة وأين من المرجح أن تتغير، مما يضمن قراءة التقييمات المستقبلية بالسياق والحذر اللازمين.