Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
تقدم هذه الورقة دراسة تجريبية تكشف أن جدولة النماذج اللغوية الكبيرة متعددة النماذج على أجهزة غير متجانسة تواجه تدهوراً كبيراً في الأداء يعتمد على النموذج نتيجة لعمليات الإزاحة من المعالج المركزي إلى معالج الرسوميات (CPU-GPU offloading)، وعبئاً كبيراً في عمليات الاستباق مدفوعاً بإعادة تحميل الحالة، مما يحدد العوامل الحاسمة لتصميم الجدولة من الجيل التالي الأكثر كفاءة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مطبخاً مزدحماً (خادم كمبيوتر/Server) به عدد قليل من الطهاة فائق السرعة (وحدات معالجة الرسومات/GPUs) ومساعد مخزن بطيء ولكنه واسع المساحة (وحدة المعالجة المركزية/CPU). هدفك هو طهي أنواع مختلفة كثيرة من الأطباق المعقدة (نماذج اللغات الكبيرة/LLMs) في نفس الوقت. أحياناً، يصبح المطبخ مزدحماً جداً لدرجة أن الطهاة السريعين ينفد لديهم مساحة سطح العمل، لذا تضطر لطلب المساعدة من مساعد المخزن ليحمل بعض المكونات أو حتى يقوم ببعض عمليات التقطيع.
هذه الورقة البحثية تشبه دراسة تفصيلية لما يحدث عندما تحاول تقسيم عمل الطهي بين الطهاة السريعين ومساعد المخزن البطيء، أو عندما تضطر للتوقف فجأة عن طبخ طبق معين لطهي طبق أكثر استعجالاً.
إليك الاكتشافات الرئيسية من الدراسة، مشروحة ببساة:
1. مشكلة "نصف الشيف" (الإزاحة/Offloading)
عندما يكون الطبق كبيراً جداً على سطح عمل الشيف، تقوم بنقل بعض خطوات الوصفة إلى مساعد المخزن.
- النتيجة: الأمر ليس مقايضة سلسة. إذا نقلت جزءاً بسيطاً فقط من العمل إلى المساعد البطيء، فإن سرعة الطهي لا تنخفض قليلاً فحسب، بل تنهار تماماً.
- التشبيه: فكر في الأمر كسباق تتابع. إذا كان على العداء السريع (GPU) أن يسلم العصا لماشٍ بطيء (CPU) ولو لجزء ضئيل من السباق، فإن الفريق بأكمله يتباطأ بشكل كبير.
- المفاجأة: الأطبى الصغيرة (نماذج الذكاء الاصطناعي الأصغر) هي الأكثر تضرراً. إذا حاولت إزاحة حتى جزء صغير من نموذج صغير، فسيصبح بطيئاً جداً. أما الأطباق الكبيرة (النماذج الأكبر) فتتعامل مع التقسيم بشكل أفضل، حيث تنخفض سرعتها بشكل تدريجي أكثر.
- الدرس المستفاد: لا يمكنك مجرد التخمين بشأن مقدار العمل الذي ستعطيه لـ CPU. يجب أن تعرف بالضبط أي "طبق" تطبخه، لأن بعض النماذج تكره التقسيم أكثر من غيرها.
2. "تكلفة التبديل" (الاستباق/Preemption)
أحياناً، يطلب عميل مهم (VIP) طبقاً جديداً، فيتعين عليك إيقاف الشيف الحالي، وتنظيف محطة عمله، ثم بدء الطبق الجديد. هذا ما يسمى "الاستباق".
- النتيعة: الوقت المستغرق للتبديل بين الأطباق يكاد يكون هو نفسه سواء أوقفت الطبق الحالي بعد دقيقة واحدة أو بعد ساعة واحدة.
- التشبيه: تخيل أنك ترسم جدارية ضخمة. إذا توقفت لتسمح لشخص آخر بالرسم، فإن الوقت الذي يستغرقه تنظيف فرشاتك وتجهيز فرشات الرسام الجديد هو نفسه، سواء كنت قد رسمت 10 أقدام أو 1000 قدم. الوقت الذي قضيت في الرسم لا يهم؛ الوقت المستغرق في "التبديل" ثابت.
- الكشف الكبير: كان معظم الناس يعتقدون أن الوقت المستغرق في نقل "الملاحظات" (ذاكرة ما تم رسمه بالفعل، وتسمى KV cache) هو الجزء البطيء. وجدت الدراسة أن نقل الملاحظات سريع جداً في الواقع (أقل من 1% من الوقت). أما مسبب التأخير الحقيقي فهو إخراج أدوات الشيف القديم وتجهيز أدوات الشيف الجديد (تحميل أوزان النموذج من القرص الصلب).
- الدرس المستفاد: تبديل المهام مكلف، لكن التكلفة يمكن التنبؤ بها. فهي تعتمد كلياً على مدى ثقل "مجموعة الأدوات" (حجم النموذج)، وليس على المدة التي استغرقها العمل.
3. "الازدحام المروري" (نقل البيانات/Data Movement)
عند نقل الأشياء بين الشيف السريع ومساعد المخزن البطيء، يتعين عليهم المرور عبر ممر (كابل البيانات).
- النتيجة: حتى عندما تصبح "الملاحظات" (الذاكرة) ضخمة جداً لأن الطبق طويل جداً، فإن نقلها يظل سريعاً للغاية مقارنة بإخراج الأدوات.
- التشبيه: الأمر يشبه نقل ورقة واحدة مقابل نقل رف كتب كامل. نقل الورقة (الملاحظات) سريع جداً لدرجة أنه لا يكاد يُذكر. أما نقل رف الكتب (الأدوات) فيستغرق وقتاً طويلاً جداً.
- الدرس المستفاد: لا تقلق كثيراً بشأن حجم "الملاحظات" عند اتخاذ قرار بتبديل المهام. اقلق بشأن حجم "رف الكتب".
4. "شخصية الأجهزة" (Hardware Personality)
اختبرت الدراسة نوعين مختلفين من المطابخ (نوعين من الـ GPUs).
- النتيجة: أحد المطابخ كان أسرع في الطهي ولكنه أبطأ في تبديل المهام من الآخر.
- التشبيه: أحد المطابخ لديه شيف فائق السرعة ولكن ممر ضيق، مما يجعل من الصعب تبديل الأدوات بسرعة. المطبخ الآخر لديه شيف أبطأ قليلاً ولكن ممر واسع، مما يجعل عمليات التبديل أسهل.
- الدرس المستفاد: لا يمكنك استخدام قاعدة "مقاس واحد يناسب الجميع". أفضل طريقة لجدولة المهام تعتمد على نوع الأجهزة التي تمتلكها بالضبط.
ملخص للمستقبل
خلص المؤلفون إلى أن الجيل القادم من "مديري المطابخ" (المجدولين/Schedulers) يجب أن يكونوا أكثر ذكاءً. لا ينبغي لهم فقط النظر إلى عدد الطلبات في قائمة الانتظار، بل يجب أن يعرفوا:
- أي نموذج هو؟ (بعضها يكره التقسيم).
- ما هو حجم مجموعة الأدوات؟ (هذا يحدد مدة التبديل).
- أي نوع من المطابخ هذا؟ (الأجهزة المختلفة تغير القواعد).
من خلال فهم هذه الخصائص المحددة، يمكن للمديرين التوقف عن محاولة وضع "وتد مربع في ثقب مستدير" وبدلاً من ذلك إنشاء نظام يشغل العديد من نماذج الذكاء الاصطناعي بكفاءة دون تعطيل المطبخ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.