Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models
تقترح هذه الورقة طريقة خالية من التدريب لخفض التكلفة الحسابية لنماذج "خليط الخبراء" (Mixture-of-Experts) دقيقة التفاصيل إلى النصف عند الاستدلال، وذلك عبر فصل اختيار الخبير عن إعادة تطبيع الاحتمالات، مما يحافظ على الأداء من خلال التطبيع مقابل مجموعة مرجعية أكبر من الخبراء بدلاً من المجموعة النشطة المختزلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد أنظمة الذكاء الاصطناعي الحديثة التي تولد النصوص غالبًا على تصميم يفصل بين إجمالي كمية المعرفة التي تمتلكها وبين كمية التفكير التي تقوم بها لكل كلمة. تخيل مكتبة ضخمة تحتوي على آلاف الكتب المتخصصة، ولكن مقابل كل جملة تُكتب، يفتح النظام عددًا قليلًا منها فقط للعثور على المعلومات الصحيحة. هذا النهج، المعروف باسم نموذج "خليط الخبراء" (Mixture-of-Experts)، يسمح للحواسيب بتخزين كميات هائلة من البيانات دون أن تتباطأ في كل مرة تتحدث فيها. يستخدم النظام دليلًا داخليًا صغيرًا ليقرر أي الكتب المتخصصة سيفتح لكل كلمة، مما يضمن استشارة جزء ضئيل فقط من المكتبة الإجمالية في أي لحظة. وهذا يخلق وضعًا فريدًا: يجب على الحاسوب الاحتفاظ بجميع الكتب على رفوفه ليكون مستعدًا لأي موضوع، لكنه لا يقرأ سوى صفحات قليلة في كل مرة.
ولأن الحاسوب يجب أن يحتفظ بكل هذه الأقسام المتخصصة في ذاكرته، فقد بحث الباحثون طويلاً عن طرق لجعل النظام أسرع عبر إجباره على قراءة صفحات أقل حتى. الطريقة القياسية للقيام بذلك بسيطة: أخبر النظام أن يفتح كتبًا أقل لكل جملة. ومع ذلك، فإن هذا النهج المباشر تسبب تاريخيًا في جعل النظام يصاب بالارتباك ويرتكب المزيد من الأخطاء. ينبع الارتباك ليس لأن النظام يفتقر إلى الكتب الصحيحة، بل لأن الطريقة التي يزن بها المعلومات من تلك الكتب تتغير بشكل غير متوقع عندما يتم تقليل عدد الكتب. وتكشف دراسة جديدة أجراها شينغ تشن وهينغشواي ياو أن هذا الارتباك ناتج عن تعديل رياضي خفي يقوم به النظام تلقائيًا، وقد وجدا طريقة لإيقاف هذا التعديل دون الحاجة إلى إعادة تدريب النظام أو إضافة أي مكونات جديدة.
ركز الباحثون على نموذجين لغويين كبيرين جدًا، أحدهما يحتوي على 35 مليار معلمة (parameter) والآخر يحتوي على ما يقرب من 400 مليار. صُممت هذه النماذج مع مئات الأقسام الصغيرة المتخصصة، أو "الخبراء"، لكل طبقة من طبقات المعالجة. في تشغيلها القياسي، يختار النظام ثمانية من هؤلاء الخبراء لكل كلمة يعالجها. وعندما حاول الباحثون تسريع النظام عن طريق قطع هذا العدد إلى النصف، وإجباره على استخدام أربعة خبراء فقط، انخفض الأداء بشكل ملحوظ. ففي اختبار قياسي للمعرفة العامة، انخفضت الدقة بنحو خمس نقاط. كان هذا الفقد حادًا لدرجة أن الكثيرين افترضوا أن تقليل عدد الخبراء النشطين كان ببساطة مكلفًا للغاية ليكون مفيدًا. وقد اشتبه الباحثون في أن المشكلة لم تكن في فقدان الخبراء أنفسهم، بل في كيفية إعادة معايرة النظام لأهمية الخبراء المتبقين.
في الإعداد القياسي، عندما يختار النظام أفضل الخبراء لديه، فإنه يعدل تأثيرهم بحيث يظل مجموع أهميتهم مضافًا دائمًا إلى إجمالي ثابت. هذه آلية سلامة للحفاظ على استقرار النظام. ومع ذلك، في هذه النماذج دقيقة التفاصيل، عادة ما يستحوذ الثمانية الأوائل من الخبراء على جزء صغير فقط من الأهمية الإجمالية الممكنة. وعندما يُجبر النظام على اختيار أربعة خبراء فقط، يقوم التعديل القياسي بضرب تأثيرهم في عامل كبير لتعويض الفرق. هذا الرفع المفاجئ يدفع النظام إلى حالة لم يتم تدريبه على التعامل معها، مما يجعله يبالغ في رد الفعل ويرتكب الأخطاء. أدرك الباحثون أن النظام لم يكن يفتقر في الواقع إلى المعلومات؛ بل كان ببساطة يُطلب منه أن يصرخ بصوت أعلى مما ينبغي.
ولإصلاح ذلك، قدم الفريق تغييرًا بسيطًا لا يتطلب تدريبًا ولا قوة حوسبة إضافية. لقد فصلوا قرار تحديد الخبراء الذين سيتم استخدامهم عن قرار كيفية وزنهم. سمحوا للنظام باختيار أربعة خبراء فقط للقيام بالعمل، لكنهم أخبروه بأن يحسب أوزان الأهمية بناءً على ستة عشر خبيرًا من الأفضل، بدلًا من الاكتفاء بالأربعة الأوائل. ومن خلال القيام بذلك، حافظ النظام على نفس حجم المعلومات التي اعتاد سماعها، رغم أنه كان يستخدم نصف عدد الأقسام النشطة فقط. هذا التعديل الصغير، الذي يتضمن تغيير إعداد رقمي واحد، غير النتيجة تمامًا. ففي النموذج ذي الـ 35 مليار معلمة، أدى تقليل الخبراء النشطين من ثمانية إلى أربعة باستخدام هذا الإعداد الجديد إلى انخفاض الدقة بمقدار 0.35 نقطة فقط، وهو فرق ضئيل جدًا لدرجة أنه لا يمكن تمييزه إحصائيًا عن النظام الأصلي الأبطأ.
اختبرت الدراسة أيضًا هذه الطريقة على النموذج الأكبر ذي الـ 400 مليار معلمة، حيث كانت النتائج مماثلة في دراماتيكيتها. أدى قطع الخبراء النشطين إلى النصف باستخدام الطريقة القياسية إلى فقدان كبير في الأداء، لكن استخدام طريقة الوزن الجديدة قلل الخسارة إلى 0.55 نقطة فقط. ووجد الباحثون أن أفضل إعداد لهذا الوزن الجديد يعتمد على المهمة المحددة. فعلى سبيل المثال، الإعداد الذي جعل النظام يبدو في أفضل حالاته عند قراءة النصوص لم يكن دائمًا هو الأفضل في أدائه في الألغاز المنطقية أو اختبارات المعرفة. ويشير هذا الاكتشاف إلى أن مجرد قياس مدى جودة قراءة النموذج المضغوط للنصوص ليس كافيًا لضمان عمله جيدًا في المهام الأخرى. وخلص الباحثون إلى أنه لتقليل قوة الحوسبة المطلوبة لهذه النماذج بأمان، يجب ضبط إعداد الوزن هذا بعناية باستخدام اختبارات الأداء الفعلية بدلاً من الاعتماد على سلاسة النص وحدها.
كما بحثت الورقة البحثية في سبب صعوبة إزالة الخبب الإضافيين بشكل دائم، بدلاً من مجرد استخدام عدد أقل منهم مؤقتًا. ووجدوا أن هذه النماذج متخصصة للغاية، حيث يتعامل خبراء مختلفون مع أنواع مختلفة من المحتوى مثل البرمجة أو الكتابة العامة. ولأن الخبراء متخصصون للغاية والنظام متوازن للغاية، فلا يوجد مجال ضئيل لحذفهم نهائيًا دون فقدان القدرة على التعامل مع مواضيع متنوعة. لذا، فإن المسار الأكثر فعالية للمضي قدمًا ليس التخلص من أجزاء من النموذج، بل ببسا p لإخبار النظام باستخدام أجزاء أقل في المرة الواحدة مع الحفاظ على الحجم الإجمالي للمعلومات التي يعالجها. يقدم هذا النهج طريقة لجعل هذه الأنظمة القوية أسرع وأكثر كفاءة دون التضحية بذكائها، وذلك ببساطة عبر تصحيح خطأ في المعايرة الخفية يحدث عندما تتغير قواعد الاشتباك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.