Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
كاسكيد (Cascade) هو نظام لخدمة النماذج اللغوية الكبيرة (LLM) يستفيد من ميزانية زمن انتقال ديناميكية لكل طلب لتحسين الجدولة وإدارة ذاكرة التخزين المؤقت لمفاتيح القيم (KV-cache) بشكل مشترك، مما يؤدي إلى تحسين الإنتاجية المستوفية لاتفاقية مستوى الخدمة (SLO) والعدالة بشكل كبير مع تقليل الانتهاكات مقارنة بنهج "من يأتي أولاً يُخدم أولاً" التقليدي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل محطة قطارات صاخبة وعالية السرعة حيث يحاول آلاف الركاب صعود قطارات مختلفة في الوقت نفسه تمامًا. بعض الركاب يحملون للتو حقيبة ظهر واحدة (سؤال قصير وسريع)، بينما يجر آخرون حقائب سفر ضخمة وثقيلة مليئة بسنوات من الذكريات (قصة طويلة ومعقدة أو مهمة استنتاجية عميقة). في عالم الذكاء الاصطناعي، هذه "القطارات" هي النماذج اللغوية الكبيرة (LLMs) — وهي الحواسيب فائقة الذكاء التي تشغل برامج الدردشة الآلية، ومساعدي البرمجة، ووكلاء الاستنتاج. و"الركاب" هم الطلبات التي نرسلها إليها.
لكي تشعر هذه الأنظمة بالسرعة والفاعلية، يجب أن تعد بتقديم الإجابات ضمن حد زمني محدد، يُعرف باسم "هدف مستوى الخدمة" (SLO). فكر في هذا كأنه تذكرة تقول: "يجب أن تكون على متن القطار وتتحرك في غض-ون 5 ثوانٍ". المشكلة هي أن مديري المحطات كانوا يستخدمون قاعدة قديمة جدًا: "الأولوية لمن يأتي أولاً". وهذا يعني أنه إذا وصل مسافر بحقيبة ضخمة أولًا، فعللى الجميع الانتظار خلفه، حتى لو كان الشخص الذي خلفه يحمل حقيبة ظهر صغيرة فقط ويمكن خدمته في جزء من الثانية. هذا يسبب ازدحامًا مروريًا هائلًا. علاوة على على ذلك، تمتلك المحطة كمية محدودة من التخزين عالي السرعة (مثل غرفة انتظار لكبار الشخصيات) لأمتعة الركاب. إذا تم تخزين الأمتعة في مستودع بعيد وبطيء، فإن جلبها يستغرق وقتًا. وإذا لم يعرف مدير المحطة مقدار الوقت المتبقي لكل راكب قبل مغادرة قطاره، فقد يهدر ثوانٍ ثمينة في جلب الأمتعة لشخص تأخر بالفعل، بينما يُترك شخص آخر في وقته خلف الركب.
هذا هو التحدي الذي يعالجه نظام جديد يسمى CASCADE، كما وصفه بحث حديث أجراه باحثون من جامعة كولومبيا البريطانية، وأبحاث مايكروسوفت أزور، وإنفيديا. أدرك الباحثون أن كل طلب لديه "ميزانية زمنية" خفية — وهي الفرق بين الوقت الذي يحتاجه لإنهاء مهمته والوقت المسموح له به. بعض الطلبات لديها ميزانية ضخمة (وقت إضافي كثير)، بينما لا تملك أخرى أي وقت تقريبًا. يجادل البحث بأنه بدلاً من مجرد النظر فيمن وصل أولًا أو مدى حجم الطلب، يجب على النظام النظر في ميزانية الوقت المتبقية هذه لتحديد من سيذهب بعد ذلك وكيفية التعامل مع بياناتهم.
الفكرة الجوهرية لـ CASCADE هي التعامل مع ميزانية الوقت هذه كعملة مشتركة لمهمتين مختلفتين: تحديد ترتيب الطلبات وإدارة مكان وجود بياناتهم. في عمليات المحاكاة التي أجراها الباحثون، والتي استخدمت بيانات حركة مرور حقيقية من خوادم الإنتاج واختُبرت على ثلاثة نماذج ذكاء اصطناعي ضخمة (Qwen-2.5-72B، وLlama-3-70B، وLlama-3-405B)، أظهر CASCADE نتائج مبهرة. ومن خلال حساب "الهامش الزمني" لكل طلب باستمرار، استطاع النظام إعطاء الأولوية للطلبات التي أوشكت ميزانيتها على النفاد، مع السماح للطلبات التي تملك متسعًا من الوقت بالانتظار لفترة أطول أو جلب بياناتها من تخزين أبطأ وأرخص.
تشير النتائج إلى أن هذا النهج يعد نقطة تحول في الكفاءة. ففي اختباراتهم، حسن CASCADE عدد الطلبات الناجحة التي يمكن للنظام التعامل معها (المعروفة باسم "Goodput") بمقدار يصل إلى 2.4 مرة مقارنة بطريقة "الأولوية لمن يأتي أولًا" القياسية المستخدمة في أنظمة شهيرة مثل vLLM. والأهم من ذلك، أنه قلل عدد الطلبات التي تجاوزت حدودها الزمنية (انتهاكات SLO) بنسبة 40%. ولعل الأمر الأكثر إبداعًا هو أنه فعل ذلك دون جعل الطلبات الطويلة والمعقدة تعاني؛ فخلافًا للطرق الأخرى التي قد تستعجل الطلبات القصيرة وتترك الطويلة تعاني من نقص الخدمة، حافظ CASCADE على تجربة عادلة للجميع، مما يضمن خدمة كل من ركاب "حقيبة الظهر" و"الحقيبة الضخمة" في الوقت المحدد. لقد حقق النظام ذلك من خلال اتخاذ قرار ديناميكي بشأن ما إذا كان سيجلب البيانات من الذاكرة السريعة، أو التخزين الأبطأ، أو مجرد إعادة حسابها، بناءً بالكامل على ما إذا كان لدى الطلب المحدد ميزانية زمنية كافية لاستيعاب التأخير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.