Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

في عالم الذكاء الاصطناعي الحديث، تعمل نماذج اللغات الكبيرة كمحركات قوية تولد النصوص والبرمجيات والأفكار. ومع ذلك، فإن تشغيل هذه المحركات ليس مجرد مهمة بسيطة تتمثل في تشغيل مفتاح أو إيقافه. فعندما يرسل المستخدم طلباً، يجب على النظام أولاً معالجة المدخلات ثم توليد الاستجابة كلمة بكلمة. وهذه العملية غير متوقعة؛ فقد يستغرق سؤال قصير جزءاً من الثانية، بينما قد يمتد تحليل معقد لدقائق، مستهلكاً كميات هائلة من ذاكرة الحاسوب في طريقه. ولأن هذه الطلبات تصل في دفعات مفاجئة وتتفاوت بشكل كبير في الطول، فإن البنية التحتية التي تدعمها غالباً ما تكافح لمواكبتها. وإذا عامل النظام كل طلب بنفس الطريقة تماماً، فإن مهمة ضخمة وبطيئة قد تسد المسار، مما يجعل الأسئلة البسيطة الملحة تنتظر لفترة طويلة جداً. هذا هو التحدي المركزي لخدمة الذكاء الاصطناعي: كيفية إدارة تدفق فوضوي من العمل بحيث تحصل المهام الحرجة على اهتمام فوري دون إهدار قدرة الحوسبة المكلفة اللازمة لتشغيلها.

لقد عالج الباحثون في جامعة كاليفورنيا، بيركلي، هذه المشكلة من خلال إعادة تصور كيفية تحديد أولويات أنظمة الذكاء الاصطناعي هذه لعملها. لقد بنوا على نظام سابق يسمى "لومنيكس" (Llumnix)، والذي صُمم لنقل المهام بين خوادم حاسوبية مختلفة لموازنة الحمل ومنع الاختناقات. كان الإصدار الأصلي من هذا النظام فعالاً ولكنه محدود، حيث كان يوفر مستويين فقط من الأهمية: أولوية عالية للمسائل العاجلة وأولوية عادية لكل شيء آخر. كان هذا الخيار الثنائي شديد التبسيط بالنسبة للشركات في العالم الحقيقي، والتي غالباً ما تحتاج إلى التمييز بين خمس مستويات أو أكثر من الخدمة، مثل مستويات البلاتيني، والذهبي، والفضي، والمستخدمين المجانيين، لكل منهم ضمانات سرعة مختلفة. وقد طرح الباحثون سؤالاً جوهرياً: ما هو العدد الصحيح لمستويات الأولوية لإنشاء نظام يكون عادلاً لجميع المستخدمين وفعالاً للآلة في آن واحد؟

ولإيجاد الإجابة، أنشأ الفريق محاكاة متطورة لمركز بيانات ذكاء اصطناعي واسع النطاق. لم يجروا هذه المحاكاة على أجهزة مادية، وهو أمر سيكون مكلفاً وبطيئاً للغاية للاختبار، بل استخدموا بدلاً من ذلك نموذجاً رقمياً عالي الدقة يحاكي سلوك الرقائق الحاسوبية الحقيقية. داخل هذه البيئة الافتراضية، وسعوا نظام الأولويات ليدعم ما بين مستوى واحد إلى عشرة مستويات متميزة من الأهمية. كما قدموا طريقة جديدة لإدارة الذاكرة، حيث يُمنح كل مستوى أولوية مقداراً محدداً من "مساحة التنفس" لضمان قدرته على إنهاء عمله دون أن يتم تضييقه. وهذه المساحة ليست مشتركة بالتساوي؛ بل تتقلص أسياً كلما انخفضت الأولوية، مما يضمن أن المهام الأكثر أهمية تمتلك دائماً المساحة التي تحتاجها، بينما تملأ المهام الأقل استعجالاً الفجوات المتبقية.

اختبر الفريق هذا النظام الجديد مقابل عدة طرق موجودة، حيث قاموا بتشغيل آلاف الطلبات المحاكية تحت ظروف مختلفة. فقد قاموا بتغيير مزيج المستخدمين، فأنشأوا سيناريوهات تكون فيها الطلبات عالية الأولوية نادرة، أو شائعة، أو موزعة بالتساوي، كما قاموا بتعديل الحجم الإجمالي للعمل لمعرفة كيف سيتصرف النظام عندما يكون الحمل خفيفاً مقابل عندما يكون شبه ممتلئ. وكشفت النتائج عن "نقطة مثالية" واضحة. فبينما يمكن للنظام تقنياً التعامل مع ما يصل إلى عشرة مستويات أولوية دون انهيار، إلا أن إضافة أكثر من أربعة مستويات لم يؤدِ إلى تحسين الأداء. في الواقع، بعد تجاوز أربعة مستويات، بدأ النظام يفقد كفاءته؛ إذ بدأت التعقيدات الإضافية لإدارة العديد من الفئات المتميزة تستهلك موارد أكثر مما توفره، وبدأت فوائد فصل المهام في التلاشي.

تبين أن التكوين الأمثل هو أربعة مستويات أولوية. وفي عمليات المحاكاة، سمح هذا الإعداد للنظام بتحقيق تحسينات كبيرة في أداء النظام الإجمالي. فقد تحسن زمن الاستجابة (P99) للنظام بمقدار يصل إلى 3.13 مرة مقارنة بالطرق القياسية، وانخفضت التكلفة لكل زمن استجابة بنسبة تصل إلى 68 بالمائة. نجح النظام في إبقاء المستخدمين الأكثر أهمية راضين من خلال منحهم مساراً مخصصاً، مع السماح للعمل الخلفي الأقل استعجالاً بالمضي قدماً بكفاءة في المساحة المتبقية. وقد منع هذا التوازن "تأثير القافلة"، حيث تعطل مهمة واحدة بطيئة طابوراً كاملاً من المهام الأسرع، وذلك من خلال نقل المهام ديناميكياً بين الخوادم للحفاظ على حركة الجميع.

كما اكتشف الباحثون أن فوائد هذا التصنيف الدقيق للأولويات تعتمد بشدة على مدى انشغال النظام. فعندما يكون مركز البيانات محملاً بشكل متوسط، تعمل القدرة على فصل المهام في مسارات مختلفة بشكل رائع، مما يسم يسمح للطلبات عالية الأولوية بالمرور بسرعة بينما تنتظر الطلبات الأدنى. ومع ذلك، عندما يصبح النظام مشبعاً تماماً، حيث يعمل كل خادم بأقصى طاقته، تتضاءل ميزة وجود مستويات عديدة من الأولويات. في تلك الظروف القصوى، يكون النظام ممتلئاً جداً بحيث لا توجد مساحة إضافية لنقل المهام حولها، ويصبح التمييز بين المستويات أقل فعالية. يشير هذا إلى أنه بينما يعد نموذج المستويات الأربعة هو التصميم الأمثل لمعظم الحالات، فإنه يعمل بشكل أفضل عند اقترانه بنظام يمكنه إضافة المزيد من الخوادم تلقائياً قبل أن يصبح الحمل ثقيلاً لدرجة يصعب إدارتها.

في نهاية المطاف، يقدم هذا العمل مخططاً عملياً لمستقبل البنية التحتية للذكاء الاصطناعي. فهو يثبت أن تسلسلاً هرمياً بسيطاً مكوناً من أربعة مستويات كافٍ لاستيعاب النطاق الكامل لاحتياجات المستخدمين، من التفاعلات الحرجة في الوقت الفعلي إلى المعالجة الخلفية للبيانات. ومن خلال الابتعاد عن نظام صارم ثنائي المستوى وتجنب فخ الإفراط في تعقيد التصميم بمستويات كثيرة جداً، يمكن للمهندسين بناء خدمات ذكاء اصطناعي تكون أسرع وأكثر فعالية من حيث التكلفة. وتؤكد الدراسة أن المفتاح للتعامل مع الطبيعة غير المتوقعة للذكاء الاصطناعي لا يكمن في جعل النظام أكثر تعقيداً، بل في إيجاد المستوى الدقيق من التنظيم الذي يسم يسمح له بالتنفس.