Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster
تقترح هذه الورقة استراتيجية قائمة على قائمة خبراء محلية لكل تسلسل تقوم بتثبيت مجموعة صغيرة من الخبراء لكل تسلسل لتقليل بصمة الذاكرة ونقل الخبراء بشكل جذري أثناء خدمة نماذج "خليط الخبراء" (MoE)، مما يحقق إنتاجية تقارب الإنتاجية الكاملة مع عدد أقل بكثير من الأوزان المقيمة عبر تطبيق هذا القيد باستمرار أثناء كل من التدريب والاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد أنظمة الذكاء الاصطناعي الحديثة التي تولد النصوص غالباً على تصميم يُعرف باسم "خليط الخبراء" (Mixture of Experts). تخيل مكتبة ضخمة من عمال المعرفة المتخصصين، حيث يكون كل عامل خبيراً في موضوع محدد وضيق النطاق. عندما يحتاج النظام للإجابة على سؤال ما، فإنه لا يقوم بتنشيط كل العمال في آن واحد، بل يختار فقط حفنة صغيرة من أكثر الخبراء صلة بتلك اللحظة المحددة. يسمح هذا النهج للنظام بأن يكون ضخماً وقادراً للغاية مع استخدام قدر ضئيل نسبياً من قوة الحوسبة لإنتاج كل كلمة. ومع ذلك، هناك عقبة كبيرة في كيفية تشغيل هذه الأنظمة على أجهزة الكمبيوتر القياسية؛ فبالرغم من استخدام عدد قليل من الخبراء في أي لحظة معينة، يجب أن تحتفظ ذاكرة الكمبيوتر بالمكتبة الكاملة للخبراء جاهزة للاستخدام، لأن النظام لا يعرف مسبقاً من هم الخبراء الذين ستكون الحاجة إليهم لاحقاً. هذا المتطلب يجبر حجم الذاكرة الإجمالي على مطابقة حجم المكتبة بأكملها، بدلاً من مجرد المجموعة الصغيرة المستخدمة، مما يجعل تشغيل هذه النماذج القوية على الأجهزة ذات الذاكرة المحدودة أمراً صعباً.
حاول الباحثون حل هذه المشكلة عن طريق تخزين الخبراء غير المستخدمين على قرص صلب وتحميلهم في الذاكرة عند الحاجة فقط. لكن هذا خلق مشكلة جديدة: نظرًا لأن النظام يختار الخبراء بطريقة مبعثرة وغير متوقعة، فإنه ينتهي به الأمر إلى جلب خبراء جدد باستمرار، مما يؤدي إلى إبطاء العملية. طرح فريق بقيادة الباحث المستقل "تشاي وو سون" (ChaeWoo Son) سؤالاً مختلفاً: بدلاً من محاولة جعل الكمبيوتر أسرع في جلب الخبراء المبعثرين، هل يمكنهم تغيير النظام بحيث يلتزم بشكل طبيعي بمجموعة صغيرة ومتسقة من الخبراء طوال مدة محادثة واحدة؟ أرادوا معرفة ما إذا كان بإمكانهم تدريب النظام ليصبح "محلي التسلسل" (sequence-local)، بمعنى أنه بمجرد بدء المحادثة، يتولى نفس الفريق الصغير من الخبراء المسار بأكمله، مما يسمح للكمبيوتر بالاحتفاظ بهذا الفريق فقط في الذاكرة.
حاول الباحثون أولاً تعليم النظام هذا السلوك بشكل مباشر؛ حيث حاولوا تدريب النموذج على تفضيل الخبراء الذين استخدمهم بالفعل في المحادثة الحالية، آملين أن يصبح هذا الاعتياد جزءاً دائماً من ذكاء النظام. ووجدوا أنه بينما نجحت هذه الحيلة أثناء عملية التدريب، إلا أن السلوك لم يستمر؛ فبمجرد إزالة ضغط التدريب، عاد النظام إلى عاداته القديمة المبعثرة. وحتى عندما حاولوا تعزيز السلوك بجعل النظام يتعلم من خياراته المنحازة، أصبحت العملية غير مستقرة وتدهورت جودة النص. خلصت الدراسة إلى أن النظام لم يكن يتعلم مهارة جديدة، بل كان مجرد رد فعل لقاعدة مؤقتة. وأدرك الباحثون أن محاولة إجبار النظام على استيعاب هذا السلوك داخلياً كانت النهج الخاطئ.
بدلاً من محاولة تغيير "دماغ" النظام، قرر الباحثون تغيير "قواعد اللعبة". فقد فرضوا قاعدة صارمة ودائمة تنطبق أثناء التدريب وعند استخدام النظام فعلياً. بموجب هذه القاعدة الجديدة، يتم تخصيص فريق صغير وثابت من الخبراء لكل محادثة بناءً على الكلمات القليلة الأولى من النص. وبمج-ب بمجرد اختيار هذا الفريق، لا يُسم- لا يُسمح للنظام بالتحول إلى أي شخص آخر لبقية تلك المحادثة. تعمل هذه القاعدة كـ "ميزانية": يحتاج الكمبيوتر فقط إلى الاحتفاظ بهذا الفريق الصغير المحدد في ذاكرته السريعة، بينما يمكن لبقية المكتبة أن تبقى في وحدة التخزين الأبطأ. ولأن الفريق ثابت طوال المحادثة، لا يحتاج الكمبيوتر إلى تبديل الخبراء في وإخراجهم باستمرار.
كانت نتائج هذا النهج مذهلة. فعندما طبق الباحثون هذه القاعدة على نموذج تجريبي ومنحوه فترة قصيرة من إعادة التدريب للتكيف مع القيود الجديدة، أدى النظام أداءً يقارب ما كان عليه بدون القاعدة، ولكن مع تقليل هائل في استخدام الذاكرة. وفي اختباراتهم، تمكنوا من الاحتفاظ بربع إجمالي الخبراء فقط في الذاكرة ومع ذلك حققوا تقريباً نفس السرعة كما لو كانوا قد احتفظوا بجميع الخبراء. قلل النظام عدد المرات التي اضطر فيها لجلب البيانات من وحدة التخزين البطيئة بمقدار ستة وثلاثين ضعفاً مقارنة بالطريقة القديمة. وبينما انخفضت جودة النص قليلاً — بنحو خمسة بالمائة في السيناريو الأكثر تطرفاً لتوفير الذاكرة — سمحت هذه المقايضة للنموذج بالعمل على أجهزة أصغر وأكثر سهولة في الوصول إليها.
كشفت الدراسة أيضاً عن رؤية غير متوقعة حول كيفية تعلم هذه الأنظمة. وجد الباحثون أنه كلما زادت فترة تدريب النموذج دون هذه القيود المتعلقة بالذاكرة، أصبح من الصعب إجباره على هذا النمط الفعال لاحقاً. يبدو أن ميل النظام الطبيعي لتشتيت انتباهه يزدى قوة بمرور الوقت، مما يجعل تكلفة تكييفه مع حدود الذاكرة بعد حدوثها أكثر كلفة. يشير هذا إلى أنه إذا أردنا لهذه النماذج أن تكون فعالة على الأجهزة اليومية، فقد نحتاج إلى تعليمها أن تكون فعالة منذ البداية، بدلاً من محاولة إصلاح المشكلة بعد أن أصبحت "مبعثرة" بالفعل.
لا يدعي هذا العمل أنه قد حل المشكلة لكل المواقف الممكنة، وقد كان الباحثون حذرين في ملاحظة أن اختباراتهم أجريت على بيانات اصطناعية ونماذج أصغر. وقد لاحظوا أنه إذا تغير موضوع المحادثة فجأة في منتصفها، فقد يعاني فريق الخبماء الثابت. ومع ذلك، أظهرت اختباراتهم أنه حتى مع تغيير الموضوع، يمكن للنظام التكيف مع عقوبة طفيفة في الجودة. تعمل هذه الدراسة كإثبات لمفهوم (proof of concept) مفاده أنه من خلال معاملة قيد الذاكرة كقاعدة وليس كهدف للتعلم، يمكننا جعل هذه النماذج الضخمة أكثر عملية للتشغيل. إنها تنقل التركيز من بناء أجهزة أسرع إلى تصميم قواعد أذكى لكيفية استخدام النظام لموارده، مما يفتح الباب أمام الذكاء الاصطناعي القوي للعمل على الأجهزة التي تعتبر حالياً أصغر من أن تستوعبه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.