MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation
تُعد MAPLE إطار عمل جاهز للتشغيل يعمل على تحسين كفاءة نماذج خليط الخبراء (MoE) سابقة التدريب من خلال إعادة تخصيص ميزانيات الخبراء بشكل متباين عبر الطبقات تحليلياً وجينياً بناءً على الحساسية، مما يحقق دقة فائقة وخفضاً كبيراً في زمن الاستجابة دون الحاجة إلى تعديل الأوزان أو إعادة التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد الذكاء الاصطناعية الحديثة غالباً على أدمغة رقمية ضخمة تُسمى "المحولات" (Transformers)، والتي تعالج اللغة عبر تمرير المعلومات من خلال سلسلة طويلة من الطبقات. فكر في هذه الطبقات كأنها مجموعة من محطات المعالجة حيث يتعلم النموذج فهم السياق، والقواعد، والمعنى. وفي السنوات الأخيرة، جعل المهندسون هذه النماذج أكثر كفاءة باستخدام تصميم يُسمى "خليط الخبراء" (Mixture-of-Experts). فبدلاً من استخدام كل محطة لنفس القدر من القوة الحوسبية، يقوم النموذج بتنشيط عدد قليل فقط من الشبكات الفرعية المتخصصة، أو "الخبراء"، لكل قطعة نص يقرؤها. وهذا يسمح للنظام بأن يكون ضخماً وقادراً دون الحاجة إلى كميات مستحيلة من الطاقة لتشغيله. ومع ذلك، فقد حكم قاعدة ثابتة كيفية استخدام هؤلاء الخبراء: حيث تُجبر كل طبقة في السلسلة على تنشيط نفس العدد بالضبط من الخبراء، بغض النظر عما إذا كانت تلك الطبقة تحتاج فعلياً إلى هذا القدر من المساعدة أم لا.
لقد تحدى فريق من الباحثين في جامعة بريستول هذه القاعدة الموحدة، مقترحين أن الطبقات المختلفة في نموذج الذكاء الاصطناعي لها احتياجات متفاوتة جداً. فبعض الطبقات حساسة للغاية وتتطلب العديد من الخبراء لتعمل بشكل صحيح، بينما تكون طبقات أخرى فائضة عن الحاجة ويمكنها العمل بعدد أقل بكثير دون فقدان الدقة. وقد طوروا طريقة جديدة تسمى "MAPLE"، والتي تعمل كأداة "وصّل وشغّل" (plug-and-play). وهذا يعني أنه يمكن تطبيقها على النماذج الموجودة والمدربة مسبقاً دون الحاجة إلى إعادة تدريبها أو تغيير أوزانها الداخلية. يعمل النظام أولاً عبر اختبار مدى انخفاض أداء كل طبقة إذا قللت عدد الخبراء الذين تستخدمهم. ثم يستخدم هذه القياسات لإنشاء خريطة مخصصة، تقوم بنقل ميزانية الحوسبة بعيداً عن الطبقات التي يمكنها الاستغناء عنها وتوجيه هذه الموارد إلى الطبقات التي تحتاجها بشدة.
النتائج المترتبة على هذا النهج مذهلة. فعندما اختبر الباحثون تقنية MAPLE على أربعة نماذج مختلفة من اللغات الكبيرة، وجدوا أن مجرد إعادة توزيع الموارد الموجودة كان أكثر فعالية من استخدامها بالتساوي. وفي اختبار محدد باستخدام نموذج يُسمى DeepSeek-MoE-16B، تمكنت الطريقة الجديدة من التفوق على النموذج الأصلي المكتمل بالكامل، رغم أنها استخدمت 75% فقط من الخبراء المتاحين. وفي عدة اختبارات معايير للاستنتاج، تحسنت الدقة بشكل ملحوظ؛ فعلى سبيل المثال، في مهمة الإجابة على الأسئلة العلمية، قفزت الدرجة من 65.09 إلى 71.40، وفي اختبار الاستنتاج المنطقي، ارتفعت من 48.49 إلى 51.50. وهذا يثبت أن الافتراض القديم بالتماثل كان يعيق النماذج، وأن التوزيع الأذكى وغير المتساوي للجهد يؤدي إلى نتائج أفضل.
وبعيداً عن جعل الإجابات أكثر ذكاءً، تجعل هذه الطريقة النماذج أسرع وأرخص في التشغيل. ولأن عدداً أقل من الخبراء يتم تنشيطهم، فإن الكمبيوتر يبذل جهداً أقل لكل سؤال يجيب عليه. وعندما طبق الباحثون MAPLE في نظام خدمة واقعي، قاموا بقياس انخفاض بنسبة 32.2% في الوقت الذي يستغرقه توليد استجابة على بطاقة رسوميات واحدة. وفي الوقت نفسه، استطاع النظام التعامل مع 47.4% من الطلب الإضافي في الثانية الواحدة. وقد تحققت هذه المكاسب دون تغيير الهيكل الأساسي للنموذج أو التخلص من أي من معرفته المتعلمة؛ فقد تعلم النظام ببساطة كيفية استخدام أجزائه الموجودة بكفاءة أكبر. وقد أكد الباحثون أن هذا التحسن لم يكن مجرد صدفة في اختبار محدد، بل كان نتيجة قوية صمدت عبر أنواع مختلفة من مهام الاستنتاج وحتى عند تغيير حجم النموذج صعوداً أو هبوطاً.
كما استكشفت الدراسة كيفية تعامل هذه الطريقة مع المهمة المعقدة المتمثلة في الاستنتاج متعدد الخطوات، حيث يجب على النموذج توليد سلسلة طويلة من الأفكط لحل مشكلة ما. وحتى في هذه السيناريوهات المتطلبة، حافظ النموذج المعاد توزيع موارده على دقته مع تقليل إجمالي الوقت المطلوب لحل المشكلات بأكثر من النصف في بعض الحالات. وأظهر الباحثون أن الطريقة مرنة بما يكفي للعمل مع نماذج مختلفة، وأن خطة التخصيص التي تنشئها يمكن إعادة استخدامها لمهام متنوعة دون الحاجة إلى إعادة حسابها في كل مرة. ومن خلال إثبات أن نهج "المقاس الواحد الذي يناسب الجميع" هو نهج غير مثالي، يقدم هذا العمل طريقة عملية ومنهجية لجعل أنظمة الذكاء الاصطناعة الكبيرة أكثر كفاءة، وقوة، وجاهزية للنشر في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.