SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training
تتقصى هذه الورقة بشكل منهجي التقليم الهيكلي وتقطير المعرفة لضغط نماذج خليط الخبراء (MoE) واسعة النطاق أثناء مرحلة ما قبل التدريب، مبرهنةً على أن التقليم يوفر تهيئة فائقة، وأن جداول الضغط التدريجية تتفوق على أساليب الخطوة الواحدة، وأن الجمع بين نمذجة اللغة وتقطير التنبؤ متعدد الرموز يحقق أداءً تنافسياً في نموذج أصغر حجماً بشكل ملحوظ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة وهائلة من المعرفة (نموذج ذكاء اصطناعي كبير) يصعب تشغيلها وتكلفتها باهظة وبطيئة في القراءة. تريد تقليصها لتصبح نسخة بحجم الجيب، مع الحفاظ على معرفتها بكل شيء تقريبًا، دون الحاجة إلى إعادة بناء المكتبة من الصفر.
هذه الورقة البحثية، بعنوان "SlimQwen"، هي دليل إرشادي حول كيفية القيام بذلك بالضبط لنوع معين من بنية الذكاء الاصطناعي تسمى "خليط الخبراء" (Mixture-of-Experts - MoE). فكر في نموذج (MoE) ليس كعقل واحد، بل كفريق ضخم من المتخصصين؛ بعضهم عباقي في الرياضيات، وبعضهم بارع في البرمجة، وآخرون خبراء في اللغة. وعادةً ما يتم استدعاء عدد قليل فقط من هؤلاء المتخصصين للإجابة على أي سؤال.
لقد تساءل الباحثون: كيف يمكننا تقليص هذا الفريق الضخم من الخبراء إلى فريق أصغر وأسرع دون فقدان عبقريتهم الجماعية؟
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. تشبيه "السيارة المستعملة" مقابل "البناء من الصفر"
السؤال: هل من الأفضل شراء سيارة مستعملة معدلة قليًا (تقليم نموذج كبير) أم بناء سيارة جديدة من الصفر باستخدام نفس القدر من المال؟
النتيجة: السيارة "المستعملة" تفوز في كل مرة.
تظهر الورقة أنه إذا أخذت نموذجًا ضخمًا مدربًا مسبقًا وقمت بتقليصه (تقليمه) إلى حجم أصغر، فإن هذا النموذج الأصغر يبدأ بـ "بداية قوية". الأمر يشبه أخذ طاهٍ محترف وإعطاءه مطبخًا أصغر؛ يمكنه طهي وجبات رائعة فورًا. أما إذا حاولت تدريب طاهٍ جديد في ذلك المطبخ الصغير منذ اليوم الأول، فسيستغرق وقتًا أطول بك كثيرًا للتعلم ولن يلحق أبدًا بالطاهي المحترف، حتى لو أعطيته نفس وقت الممارسة.
2. تشبيه "خزانة الملفات" (ضغط الخبراء)
السؤال: عند تقليص فريق الخبراء، كيف تقرر من ستطرد ومن ستبقي؟ هل يجب عليك ببساطة طرد أولئك الذين يتحدثون أقل؟
النتيجة: لا يهم كثيرًا كيف تختار عمليات القطع الأولية، طالما أنك تسمح للفريق "بإعادة التدريب" لاحقًا.
جرب الباحثون طرقًا مختلفة لاختيار الخبراء الذين سيتم الإبقاء عليهم (مثل طرد أولئك الذين يتحدثون أقل، أو أصحاب الدرجات الأدنى). ووجدوا أنه بعد حصول الفريق الأصغر على الكثير من الممارسة الجديدة (التدريب المسبق المستمر)، ينتهي بهم الأمر جميعًا بالأداء بشكل متقارب جدًا.
السر الخفي: ومع ذلك، وجدوا حيلة تسمى "الحفظ الجزئي" (Partial Preservation). تخيل أن لديك 100 خبير وتحتاج للإبقاء على 50 فقط. بدلًا من اختيار أفضل 50 وطرد الباقين، احتفظوا بأفضل 25 كما هم تمامًا، ثم أخذوا الـ 25 مكانًا المتبقية عن طريق دمج الخبراء "المطرودين" في الخبراء "المحتفظ بهم". هذا يشبه الاحتفاظ بلاعبيك النجوم كما هم، بينما تندمج مهارات لاعبي الاحتياط في اللاعبين الأساسيين. هذه الاستراتيجية المحددة جعلت الفريق النهائي أكثر ذكاءً قليلاً من مجرد اختيار أفضل 50 عشوائيًا.
3. تشبيه "المعلم الخصوصي" (التقطير/Distillation)
السؤال: كيف نعلم الفريق الصغير أن يفكر مثل الفريق الكبير؟
النتيجة: لا تكتفِ بإخبارهم بالإجابة الصحيحة فحسب؛ بل دعهم يستمعون إلى "عملية التفكير" لدى الفريق الكبير أثناء تعلمهم من الكتاب المدرسي أيضًا.
عادةً، عندما تقوم بتقليص نموذج ما، فإنك تستخدم تقنية تسمى "تقطير المعرفة" (Knowledge Distillation)، حيث يحاول النموذج الصغير تقليد إجابات النموذج الكبير. وجدت الورقة أن أفضل طريقة هي نهج هجين:
- الكتاب المدرسي: دع النموذج الصغير يتعلم من الإجابات الصحيحة الفعلية (نمذجة اللغة القياسية).
- المعلم الخصوصي: دعه يستمع أيضًا إلى تخمينات النموذج الكبير "الناعمة" (التقطير).
القيام بكليهما معًا يعمل بشكل أفضل من مجرد تقليد النموذج الكبير.
الحيلة الجديدة (تقطير MTP): قدموا أيضًا طريقة جديدة للتدريس تسمى "التنبؤ متعدد الرموز" (Multi-Token Prediction).
- التدريس العادي: "إليك جملة. ما هي الكلمة التالية؟"
- تدريس MTP: "إليك جملة. ما هي الكلمة التالية، والكلمة التي تليها، والتي تلي تلك أيضًا؟"
هذا يساعد النموذج الصغير على التخطيط مسبقًا، مما يجعله أسرع وأكثر دقة عند توليد النصوص لاحقًا.
4. تشبيه "الدرج" مقابل "المنحدر" (التقليم التدريجي)
السؤال: هل يجب أن نقلص النموذج دفعة واحدة (بضربة واحدة)، أم نقصه في خطوات متدرجة؟
النتيجة: الدرج هو الأفضل.
إذا أخذت نموذجًا ضخمًا وقمت بقص 75% من حجمه فورًا، فالأمر يشبه القفز من فوق منحدر. سيصاب النموذج بالارتباك ويفقد المعرفة.
بدلًا من ذلك، وجد الباحثون أن "التقليم التدريجي" (Progressive Pruning) هو الأفضل. تخيل النزول على درج:
- قلص النموذج قليلاً (على سبيل المثال، قم بإزالة بعض الطبقات).
- اتركه يمارس ويتزن.
- قلصه قليلاً أكثر.
- اتركه يمارس مرة أخرى.
هذا الانتقال التدريجي يسمح للنموذج بـ "إعادة تعلم" كيفية العمل عند كل حجم جديد وأصغر، مما يؤدي إلى منتج نهائي أذكى بكثير من طريقة "القفز من المنحدر".
النتيجة النهائية: SlimQwen
من خلال الجمع بين كل هذه الحيل — البدء بنموذج مقلل، واستخدام استراتيجية "الحفظ الجزئي" الذكية للخبراء، وخلط تعلم الكتاب المدرسي مع توجيه المعلم، وتقليص النموذج عبر درج بدلاً من منحدر — نجحوا في ضغط نموذج ضخم يحتوي على 80 مليار معلمة إلى نموذج صغير بحجم 23 مليار معلمة.
وعلى الرغم من أنه أصغر بنحو 4 مرات، إلا أن نموذج "SlimQwen" هذا لا يزال يؤدي بشكل تنافسي في المهام الصعبة مثل الرياضيات والبرمجة والمعرفة العامة، مما يثبت أنك لست بحاجة إلى عقل ضخم للقيام بأشياء ذكية إذا كنت تعرف كيفية تقليصه بشكل صحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.