Ada-MK: Adaptive MegaKernel Optimization via Automated DAG-based Search for LLM Inference
تُعد Ada-MK إطار عمل مبتكر للتحسين يعمل على إلغاء الجدولة الديناميكية في وقت التشغيل وتقليل استخدام الذاكرة المشتركة من خلال البحث القائم على المخطط الموجه غير الدوري (DAG) وتقسيم الذاكرة أثناء وقت التجميع، مما يُمكّن أول نشر صناعي لـ MegaKernels في أنظمة الإعلانات عبر الإنترنت التجارية لتحقيق تحسن في الإنتاجية يصل إلى 50.2% مقارنة بـ vLLM على وحدات معالجة الرسومات من NVIDIA.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير خدمة توصيل فائقة السرعة لمتجر إلكتروني ضخم (مثل محرك بحث أو منصة إعلانية). في كل مرة يطرح فيها عميل سؤالاً، يجب على نظامك إنشاء استجابة كلمة بكلمة. في عالم النماذج اللغوية الكبيرة (LLMs)، يُسمى هذا "الاستدلال" (Inference).
المشكلة هي أنه مقابل كل كلمة يتم إنشاؤها، يتعين على حاسوبك إرسال آلاف التعليمات الصغيرة إلى بطاقة الرسوميات (GPU) الخاصة به. الأمر يشبه قيام سائق التوصيل بالتوقف عند مكتب البريد، ثم استلام طرد، ثم القيادة إلى مستودع، ثم تفريغه، ثم العودة، وتكرار ذلك آلاف المرات من أجل جملة واحدة فقط. هذا "التوقف والانطلاق" المتكرر يهدر كمية هائلة من الوقت — حوالي 15% من إجمالي وقت الرحلة يُقضى فقط في هذه التوقفات الصغيرة، وليس في عملية التوصيل الفعلية للبضائع.
الفكرة الكبرى: الـ "MegaKernel"
لحل هذه المشكلة، ابتكر الباحثون مفهوم الـ MegaKernel. بدلاً من التوقف عند مكتب البريد لكل مهمة صغيرة، تخيل شاحنة توصيل فائقة الكفاءة تجمع كل ما تحتاجه في البداية، وتقطع مسارها بالكامل دون توقف، ثم تُسلم كل شيء في النهاية. هذا يدمج كل تلك التوقفات الصغيرة في رحلة واحدة ضخمة ومستمرة، مما يلغي تأخير "التوقف والانطلاق".
ومع ذلك، هناك عقبة. نوع الشاحنة المحدد (GPU) الذي تستخدمه الشركة (NVIDIA Ada/L20) أصغر حجماً وذو مساحة تخزين أقل في مقصورتها مقارنة بالشاحنات الأحدث والأكثر تطوراً (Hopper/Blackwell).
- الحل القديم 1 (المعدل يدوياً): قام الخبراء ببناء شاحنة مخصصة لهذا النوع من المقصورات الصغيرة يدوياً. كانت سريعة، ولكن إذا تغيرت الحمولة (نموذج الذكاء الاصطناعي) أو الطريق (الأجهزة/Hardware)، فإن الشاحنة تتعطل. لم تكن قابلة للنقل.
- الحل القديم 2 (المعدل تلقائياً): حاولوا بناء شاحنة يمكنها تعديل مساحة حمولتها تلقائياً أثناء الحركة. لكن السائق كان يضطر للتحقق باستمرار من الخريطة واتخاذ القرارات أثناء القيادة ("هل الرف ممتلئ؟ هل يجب أن أتوقف؟"). هذه القرارات المستمرة كانت تبطئ الشمان، وهو أمر غير مقبول عندما تحتاج للتسليم في أجزاء من الملي ثانية.
الحل الجديد: Ada-MK
ابتكر المؤلفون نظام Ada-MK، وهو نظام جديد يحل هذه المشكلات لشاحنات "Ada" الأصغر حجماً. إليك كيف فعلوا ذلك، باستخدام تشبيهات بسيطة:
1. استراتيجية "التعبئة الذكية" (الذاكرة المشتركة التكيفية - Adaptive Shared Memory)
الشاحنة الصغيرة لديها مقصورة تخزين صغيرة جداً (الذاكرة المشتركة). إذا حاولت حشر الكثير من الأشياء، ستتعطل الشاحنة.
- الابتكار: بدلاً من محاولة وضع حقيبة كاملة في المقصورة الصغيرة، قاموا بتقسيم الحقيبة إلى نصفين (تقسيم البعد K). يقومون بتعبئة نصف العناصر فقط، تسليمها، ثم تعبئة النصف الآخر.
- النتيجة: هذا يقلل ذروة التخزين المطلوبة بنسبة 50%. كما وجدوا طريقة لإعادة استخدام المساحة الفارغة فور تسليم الطرد الأول لاستلام الطرد التالي، مما يضمن عدم بقاء الشاحنة في حالة انتظار للمساحة.
2. "المسار المخطط مسبقاً" (البحث في الرسم البياني الموجه غير الدوري - Offline DAG Search)
كانت الشاحنات "المعدلة تلقائياً" القديمة تتخذ قرارات أثناء القيادة، مما يسبب ازدحاماً مروريًا (عقوبات التفرع/Branch penalties).
- الابتكار: استخدم الفريق حاسوباً قوياً لمحاكة ملايين المسارات الممكنة قبل أن تغادر الشاحلة المرآب أصلاً. لقد رسموا كل منعطف وكل توقف في مخطط تفصيلي (DAG).
- النتيعة: بمجرد العثور على أفضل مسار، قاموا بـ "تجميده". لم يعد السائق بحاجة للتفكير أو التحقق من الخريطة أثناء القيادة؛ بل يتبع المسار المخطط له مسبقاً بدقة. هذا يزيل جميع تأخيرات اتخاذ القرار، مما يجعل الرحلة سلسة للغاية وسريعة.
3. "الأسطول الهجين" (المحرك غير المتجانس - Heterogeneous Engine)
أدركوا أنه بالنسبة لبعض أجزاء الرحلة (تحميل دفعة كبيرة من الطرود في البداية، وتسمى "التحضير/Prefill")، كانت الشاحنات القياسية القديمة أفضل في الواقع. ولكن بالنسبة للتسليم النهائي (إنشاء الكلمات كلمة بكلمة، وتسمى "التشفير/Decode")، فإن شاحنة الـ MegaKernel الجديدة الخاصة بهم كانت هي الأفضل.
- الابتكار: قاموا ببناء نظام هجين. احتفظوا بالشاحنات القياسية للقيام بالأعمال الشاقة في البداية، ولكنهم قاموا باستبدالها بسلاسة بشاحنة الـ MegaKernel الجديدة في مرحلة التسليم النهائي.
- النتيجة: تحصل على أفضل ما في العالمين: سرعة عالية في البداية، وزمن استجابة فائق الانخفاض في النهاية، دون الحاجة إلى إعادة بناء شبكة التوصيل بالكامل.
التأثير في العالم الحقيقي
اختبر الفريق نظامهم على نظام الإعلانات عبر الإنترنت التجاري الخاص بشركة Baidu.
- السرعة: في السيناريوهات التي تكون فيها السرعة أمراً حاسماً (الدفعات الصغيرة، الاستجابات القصيرة)، كان نظامهم أسرع بنسبة تصل إلى 23.6% من الأدوات القياسية في الصناعة، وأسرع بنسبة 50.2% من أداة شهيرة مفتوحة المصدر تسمى vLLM.
- الموثوقية: عمل النظام باستمرار عبر أنواع مختلفة من نماذج الذكاء الاصطناعي والمهام.
- الأول من نوعه: هذه هي المرة الأولى التي يتم فيها نشر "MegaKernel" بنجاح في نظام إعلاني تجاري حي ومباشر.
باختصار
تصف الورقة البحثية طريقة لجعل أنظمة الدردشة الآلية (Chatbots) وأنظمة الإعلانات أسرع بكثير على شرائح الكمبيوتر الأصغر والأكثر تحديداً. لقد فعلوا ذلك عن طريق تعبئة البيانات بكفاءة أكبر، والتخطيط لمسار التوصيل بالكامل مسبقاً بحيث لا يحتاج السائق للتفكير، وخلط طريقة التوصيل عالية السرعة الجديدة مع الأدوات الموجودة. والنتيجة هي نظام يقدم الإجابات بشكل أسرع بكثير، خاصة عندما يسأل العديد من المستخدمين أسئلة واحداً تلو الآخر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.