Astrolabe: Balancing Load in LLM Serving with Randomized Prediction-Guided Scheduling
يُعد Astrolabe مجدولاً عشوائياً موجهاً بالتنبؤ لخدمة النماذج اللغوية الكبيرة متعددة المثيلات، حيث يحقق توازناً فائقاً في الأحمال وخفضاً في زمن الاستجابة من خلال الجمع بين تقدير طول الاستجابة، والتنبؤ بالزمن المستند إلى المحاكاة، وسياسة توزيع قائمة على "قوة الخيارين"، مما يلغي الحاجة إلى إعادة التوازن القائمة على الهجرة المكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مخبزاً ضخماً وعالي التقنية متخصصاً في خبز "كعكات الأفكار" لملايين الزبائن في وقت واحد. في هذا المخبز، تكون الأفران قوية للغاية، لكن الوصفات معقدة. أحياناً يطلب زبون قطعة بسكويت بسيطة (إجابة قصيرة)، وأحياناً يطلب كعكة زفاف من عشر طبقات (إجابة طويلة ومعقدة). المشكلة هي أن الخبازين (الحواسيب) لا يعرفون حجم الكعكة حتى يبدأوا في خبزها. إذا علق خباز مع طلب ضخم بينما الجميع في حالة خمول، سيتراكم الطابور ويغضب الزبائن.
لحل هذه المشكلة، استخدمت العديد من المخابز سابقاً "عدّاءً" ينتقل بين الأفران، ليأخذ الكعكات نصف المخبوزة وينقلها إلى فرن آخر أكثر فراغاً. تسمى هذه العملية "الهجرة" (migration). ولكن في عالم الذكاء الاصطناعي، نقل هذه الكعكات نصف المخبوزة أمر فوضوي وبطيء. الأمر يشبه محاولة حمل كعكة ضخمة وهشة ونصف مجمدة عبر غرفة مزدحمة دون إسقاطها؛ فهذا يستغرق الكثير من الطاقة، ويسد الممرات، وغالباً ما يجعل المخبز بأكمله أبطأ. تسأل ورقة بحثية بعنوان "أسترولاب" (Astrolabe) سؤالاً جريئاً: ماذا لو لم نكن بحاجة لنقل الكعكات على الإطلاق؟ ماذا لو استطعنا تخمين حجم الطلب قبل وصوله إلى الفرن مباشرة، ونرسله إلى الخباز المناسب فوراً؟
قام مؤلفا هذه الورقة، وي داي وإيفانيليا كاليفياناكي من جامعة كامبريدج، ببناء نظام جديد يسمى أسترولలاب لحل هذه المشكلة تحديداً. وقد وجدا أنه بدلاً من الركض بجنون ذهاباً وإياباً لتبادل العمل، يمكنك استخدام "لعبة تخمين" ذكية لإرسال الطلبات إلى المكان الصحيح فوراً.
إليك كيف يعمل "أسترولاب"، باستخدام لعبة حظ بسيطة. تخيل أن لديك عشرة خبازين. عندما يأتي طلب جديد، بدلاً من سؤال كل خباز على حدة عن مدى انشغاله (وهو أمر يستغرق وقتاً طويلاً) أو مجرد اختيار واحد عشوائياً (وهو أمر محفوف بالمخاطر)، يختار النظام اثنين من الخبازين عشوائياً. يسألهم بسرعة: "إذا أخذتم هذا الطلب الآن، كم سيستغرق من الوقت؟". قد يقول أحدهم: "حوالي 10 ثوانٍ"، ويقول الآخر: "حوالي 50 ثانية". يختار النظام فوراً الخباز الذي يحتاج 10 ثوانٍ ويرسل الطلب إليه.
هذه الحيلة تسمى "قوة الخيارين" (power-of-two choices). إنها تشبه دخول مقصف مزدحم واختيار أقصر طابور من خلال فحص طابورين فقط بدلاً من مسح الغرفة بأكملها. تُظهر الورقة أن هذا الفحص العشوائي البسيط قوي بشكل مدهش. ومن خلال دمج ذلك مع "بلورة سحرية" (نموذج تنبؤ) تخمن طول إجابة الذكاء الاصطناعي، يمكن لـ "أسترولاب" توجيه الطلبات إلى أفضل خباز قبل أن يبدأ الطابور في التكون حتى.
النتائج مثيرة للإعجاب حقاً. في اختباراتهم، تمكن "أسترولاب" من التعامل مع نفس عدد الطلبات التي تعاملت معها طريقة "العدّاء" القديمة (الهجرة)، ولكن دون التكاليف المرهقة لنقل البيانات حول. في الواقع، عندما أصبح المخبز مزدحماً للغاية، بدأت الطريقة القديمة في الانهيار، حيث قفزت أوقات الانتظار من ثوانٍ إلى دقائق. أما "أسترولاب"، فقد حافظ على سلاسة العمل. لقد قلل الوقت المستغرق للحصول على الكلمة الأولى من الإجابة بنسبة تصل إلى 77% في بعض الحالات، وقلل عدد المرات التي اضطر فيها قطع الطلبات وإعادة تشغيلها بنحو 6 مرات مقارنة بالمنافسين.
كما اختبرت الورقة ما يحدث إذا لم تكن "البلورة السحرية" مثالية. حتى عندما كانت التنبؤات غير دقيقة قليلاً (وهو ما يحدث في الحياة الواقعية)، ظل النظام يعمل بشكل أفضل من الطرق القديمة. اتضح أنه نظرًا لأن النظام يقارن بين خبازين فقط في كل مرة، فإن الأخطاء الصغيرة في التخمين لا تؤثر كثيراً كما قد يُعتقد. فإذا تم تخمين أن كلا الخبازين بطيئان، فإن النظام يختار "الأقل بطئاً"، وتظل الرياضيات تعمل بشكل صحيح.
تحقق المؤلفون أيضاً مما إذا كان هذا سينجح إذا غيروا نوع الفرن أو نوع الكعكة التي يتم خبزها. لقد جربوا نماذج وإعدادات مختلفة، وظل "أسترولاب" منتصراً. يبدو أن نهج "التخمين والتحقق" هذا هو وسيلة قوية للحفاظ على سرعة عمل أنظمة الذكاء الاصطناعي، حتى عندما يكون عبء العمل فوضوياً وغير متوقع.
باختصار، تقترح الورقة أننا لسنا بحاجة لبناء أنظمة معقدة وثقيلة لنقل العمل من أجل موازنة الحمل. بدلاً من ذلك، يمكن لقليل من العشوائية وتخمين جيد للمستقبل أن يؤديا المهمة بشكل أسرع وأكثر كفاءة. إنه تذكير بأن الطريقة الأذكى لإدارة حشد ليست دائماً في الإدارة الدقيقة لكل شخص، بل في منحهم بعض الخيارات الجيدة وتركهم يختارون المسار الأفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.