MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs
يُعد MoE-Prism إطار عمل مصممًا بشكل مشترك بين النموذج والنظام، يتيح مرونة حوسبية على مستوى الطلب في خدمة نماذج خليط الخبراء (MoE) من خلال تفكيك الخبراء المتجانسين إلى خبراء فرعيين دقيقين وتنفيذ وقت تشغيل مدرك لـ ، مما يحسن الإنتاجية بشكل كبير ويقلل زمن الاستجابة لأعباء العمل غير المتجانسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مكتبة ضخمة وذكية للغاية، حيث لا تُكتب الكتب بواسطة بشر، بل بواسطة عقل رقمي عملاق يُسمى "النموذج اللغوي الكبير" (LLM). هذه العقول تزداد ضخامة وذكاءً كل يوم، لكنها جائعة للغاية للكهرباء وقوة الحوسبة. ولجعل تشغيلها أسرع وأرخص، اخترع العلماء حيلة ذكية تسمى "خليط الخبراء" (Mixture-of-Experts أو MoE). فكر في نموذج (MoE) ليس كعقل واحد ضخم، بل كفريق من المتخصصين الأصغر حجماً والعديد يعملون معاً. عندما تطرح سؤالاً، لا يستيقظ النظام بالكامل، بل يستدعي فقط عدداً قليلاً من الخبراء المتخصصين في هذا الموضوع تحديداً. هذا يشبه طلب مأمور المكتبة لإحضار الكتب من قسم "الخيال العلمي" فقط، بدلاً من سحب المكتبة بأكملها إلى مكتبك.
ولكن، هناك عقبة. حالياً، هذه الأنظمة جامدة نوعاً ما. فبغض النظر عما إذا كنت تسأل سؤالاً بسيطاً مثل "ما هي حالة الطب؟" أو سؤالاً معقداً مثل "حلل هذا العقد القانوني المكون من 50 صفحة"، فإن النظام غالباً ما يستدعي نفس العدد من الخبراء بالضبط. هذا يشبه استئجار طاقم بناء كامل لتعليق إطار صورة واحد، أو إرسال متدرب واحد لبناء ناطحة سحابة. هذا يهدر الطاقة في المهام السهلة، وقد لا يوفر قوة كافية للمهام الصعبة. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا جعل فرق الذكاء الاصطيعي هذه أكثر مرونة، مما يسمح لنا بزيادة أو تقليل عدد الخبراء بناءً على مدى صعوبة المهمة فعلياً، كل ذلك مع الحفاظ على سرعة وكفاءة النظام؟
هذا هو بالضبط ما سعى الباحثون وراءه في مشروع MOE-PRISM. لقد أدركوا أنه بينما تبدو فكرة "زيادة أو تقليل" عدد الخبراء رائعة، إلا أن التكنولوجيا الحالية خشنة جداً للقيام بذلك بسلاسة. فقد وجدوا أن النظام الحالي يعامل كل خبير كأنه "طوبة" ضخمة وغير قابلة للتجزئة؛ فلا يمكنك استخدام نصف طوبة. إذا كنت بحاجة إلى قدر أقل من القوة، عليك إزالة خبير كامل، وهي قفزة كبيرة غالباً ما تفسد جودة الإجابة. علاوة على ذلك، عندما يحاول النظام التعامل مع العديد من الطلبات في وقت واحد (مثل مكتبة مزدحمة)، فإنه يميل إلى تجميعها جميعاً معاً ويستخدم الإعداد "الأكبر" للجميع، مما يهدر الطاقة على المهام السهلة لمجرد الحفاظ على حجم الدفعة (batch size) كبيراً.
لحل هذه المشكلة، بنى الفريق إطار عمل جديداً يسمى MOE-PRISM. لقد تناولوا المشكلة من زاويتين: "النموذج" (العقل نفسه) و"النظام" (مدير المكتبة).
أولاً، من جانب النموذج، ابتكروا طريقة لتقسيم تلك "طوبات الخبراء" الضخمة إلى قطع أصغر وأكثر دقة. تخيل أخذ كتلة كبيرة وثقيلة من الجبن وتقطيعها إلى مكعبات صغيرة عديدة. فعلوا ذلك من خلال مراقبة كيفية إضاءة الخلايا العصبية الداخلية للذكاء الاصطناعي (وحدات المعالجة الصغيرة داخل الخبير) عندما تعمل. لاحظوا أنه لأي مهمة معينة، يهم فقط مجموعة فرعية محددة من هذه الخلايا العصبية. لذا، قاموا بتقسيم الخبراء إلى "خبراء فرعيين" أصغر يجمعون هذه الخلايا العصبية المهمة معاً. يتيح هذا للنظام اختيار، على سبيل المثال، 12.5 خبير فرعي بدلاً من أن يكون مجبراً على الاختيار بين 12 أو 13 خبيراً كاملاً. هذا يمنحهم "قرص تحكم" أكثر سلاسة للتحكم في مقدار قوة الحوسبة المستخدمة، دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي بالكامل من الصفر.
ثانياً، من جانب النظام، أنشأوا "مديراً" أكثر ذكاءً للمكتبة. بدلاً من مجرد إلقاء جميع الطلبات في كومة واحدة واستخدام أعلى إعداد للجميع، يقوم هذا المدير الجديد بتجميع الطلبات التي تحتاج إلى كميات متقاربة من القوة. فإذا وصلت مجموعة من الأسئلة السهلة، يتم معالجتها معاً بإعداد منخفض الطاقة. وإذا وصلت مجموعة من الأسئلة الصعبة، تحصل على مجموعتها الخاصة عالية الطاقة. هذا يمنع النظام من إهدار الطاقة عبر تقديم خدمة مفرطة للمهام السهلة لمجرد الحفاظ على اكتمال الدفعة. كما بنوا "مراقب حركة مرور" خاصاً يتعامل مع رسومات الكمبيوتر (CUDA graphs) بكفاءة، مما يضمن عدم تعثر النظام بمشاكل الذاكرة حتى مع وجود كل هذه الإعدادات المختلفة.
عندما اختبروا MOE-PRISM على ثلاثة نماذج ذكاء اصطناعي شهيرة مختلفة، كانت النتائج واعدة. وجدوا أنه باستخدام هؤلاء الخبراء الأكثر دقة والجدولة الأذكى، تمكنوا من زيادة عدد "إعدادات الطاقة" المتاحة بمقدار 4 أضعاف. وفي اختباراتهم، أدى ذلك إلى تحسن بنسبة 33.9% في عدد الطلبات التي يمكن للنظام التعامل معها في وقت واحد (الإنتاجية/throughput) للمهام غير المتزامنة (offline). أما بالنسبة للمهام المتزامنة (online)، حيث تكون السرعة أمراً حاسماً، فقد قللوا من الوقت المستغرق للحصول على أول كلمة من الإجابة (Time-to-First-Token) عند التعامل مع أعباء عمل مختلطة.
تشير الورقة البحثية إلى أن هذا النهج لا يوفر المال على الكهرباء فحسب؛ بل يجعل الذكاء الاصطناعي أكثر قابلية للتكيف. إنها تثبت أنه يمكنك امتلاك نموذج ذكاء اصطناعي واحد يمكن أن يكون "مرناً"، يتمدد في قوة حوسبته للمهام الصعبة وينكمش للمهام السهلة، كل ذلك دون إفلاس الميزانية أو إبطاء العمل. وبينما أُجريت الاختبارات الحالية على إعدادات محددة بجهازي رسوميات، إلا أن النتائج تشير إلى أن عملية "إعادة هيكلة" البنية الداخلية للذكاء الاصطناعي و"إعادة التفكير" في كيفية جدولة عمله يمكن أن تكون خطوة رئيسية نحو ذكاء اصطناعي أكثر كفاءة ومرونة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.