ملخص تقني: هل يمكن لـ Muon ضبط النماذج المدربة مسبقاً بواسطة Adam بدقة؟

بيان المشكلة

برز Muon (MomentUm Orthogonalized by Newton-Schulz) كمحسن عالي الكفاءة للتدريب المسبق للنماذج اللغوية الكبيرة (LLMs)، حيث يوفر كفاءة حسابية تبلغ حوالي $2\times$ مقارنة بـ Adam، ويقلل من استهلاك الذاكرة عبر إلغاء تقدير العزم الثاني. ومع ذلك، لا يزال تطبيقه العملي في عملية الضبط الدقيق (fine-tuning) محدوداً. العقبة الرئيسية هي مشكلة عدم توافق المحسن (optimizer mismatch problem): معظم النماذج المفتوحة المتاحة علناً تم تدريبها مسبقاً باستخدام Adam، والتحول الساذج إلى Muon للضبط الدقيق يؤدي إلى تدهور الأداء. وعلى العكس من ذلك، فإن استخدام Adam لضبط النماذج المدربة مسبقاً بواسطة Muon يؤدي أيضاً إلى نتائج دون المستوى الأمثل. هذا عدم التوافق يقيد بشدة اعتماد Muon في نموذج الضبط الدقيق المهيمن، رغم نجاحاته في التدريب المسبق.

المنهجية والتحليل

يتقصى المؤلفون عدم التوافق هذا من خلال تجارب منضبطة وتحليل نظري، مع التركيز على الانحيازات الضمنية (implicit biases) المتميزة لكل من Adam و Muon.

1. توصيف الانحياز الضمني:

   • Adam يستخدم التكييف المسبق (preconditioning) على مستوى العناصر بناءً على العزم الأول والثاني، مما يؤدي إلى التقارب نحو حلول تعظم هامش المعيار الأقصى (max-norm margin) ($\|W\|_{\max}$).
   • Muon يطبق التكييف المسبق على مستوى المصفوفة عبر عملية Newton-Schulz للتعامد، مما يؤدي إلى التقارب نحو حلول تعظم هامش المعيار الطيفي (spectral-norm margin) ($\|W\|_2$).
   • يوضح التحليل النظري في مسألة انحدار خطي مبسطة أن هذين المحسنين يتقاربان نحو حلول مختلفة جوهرياً ($W^*_{\max}$ مقابل $W^*_2$). تجريبياً، تُظهر الأوزان المدربة بواسطة Muon رتبة مستقرة أعلى وتوزيعات أكثر انتظاماً للقيم المفردة مقارنة بالأوزان المدربة بواسطة Adam.

2. آلية التدهور:

   • يؤدي عدم التوافق إلى تعطيل المعرفة المدربة مسبقاً. فعند تطبيق محسن ذي انحياز ضمني مختلف، فإنه يجبر أوزان النموذج على اتخاذ اتجاه هيكلي غير متوافق مع مرحلة التدريب المسبق.
   • تُظهر التجارب أن الضبط الدقيق غير المتوافق يزيد من الحساسية لقوة التحديث. التحديثات القوية تسبب اضطراباً أكبر للهيكل المدرب مسبقاً، مما يؤدي إلى ارتفاع مستوى الارتباك (perplexity) ووقوع "النسيان الكارثي" بشكل أكثر حدة.

3. الحل المقترح: LoRA:

   • يفترض المؤلفون أن تقييد مدى التحديثات يمكن أن يخفف من حدة عدم التوافق هذا. هم يستخدمون التكيف منخفض الرتبة (Low-Rank Adaptation - LoRA)، الذي يقوم بتجميد الأوزان المدربة مسبقاً ($W_0$) ويقيد التحديثات ضمن فضاء فرعي منخفض الرتبة ($\Delta W = BA$).
   • هذا النهج يحد من حجم التغييرات في الأوزان، مما يمنع المحسن من تغيير الهيكل المدرب مسبقاً بشكل عدواني. يشير التحليل النظري إلى أن "تضخم عدم التوافق" (الفجوة بين الأداء المتوافق وغير المتوافق) محكوم برتبة LoRA، وتتلاشى كلما اقتربت الرتبة من $r \to 1$.

المساهمات الرئيسية

• إعادة الإنتاج والتحليل: يعيد البحث إنتاج ظاهرة عدم توافق المحسن بمقاييس يمكن الوصول إليها (NanoChat، 561 مليون معلمة) ويربطها بالانحيازات الضمنية المتميزة (المعيار الأقصى مقابل المعيار الطيفي) لـ Adam و Muon.
• LoRA كحل: يثبت المؤلفون أن LoRA يخفف بفعالية من عدم التوافق. من خلال تقييد التحديثات، يسمح LoRA لـ Muon بضبط النماذج المدربة مسبقاً بواسطة Adam بدقة تضاهي أو تتجاوز دقة LoRA-Adam.
• التحقق الشامل: تم التحقق من النتائج عبر:
  • فهم اللغة الطبيعية (NLU): اختبار GLUE مع نموذج T5-Base.
  • توليد اللغة الطبيعية (NLG): الضبط الدقيق لتعليمات Llama 2-7B/13B في الرياضيات، البرمجة، والاستدلال المنطقي.
  • رؤية الحاسوب: الضبط الدقيق لنموذج CLIP ViT-B/32 على ست مهام لتصنيف الصور.
• دراسات الرتبة والنسيان:
  • حساسية الرتبة: تظهر فائدة LoRA-Muon بشكل أوضح عند الرتب المنخفضة إلى المتوسطة. ومع زيادة الرتبة (الاقتراب من الضبط الدقيق الكامل)، يعود عدم التوافق للظهور، ويتدهور الأداء مقارنة بـ Adam.
  • النسيان الكارثي: الضبط الدقيق الكامل باستخدام Muon على نماذج مدربة مسبقاً بـ Adam يسبب نسياناً أكثر حدة للمعرفة المدربة مسبقاً مقارنة بـ Adam. يقلل LoRA بشكل كبير من هذا النسيان، محافظاً على الهيكل المدرب مسبقاً.
• متغيرات LoRA: تقيم الدراسة متغيرات LoRA الموجودة (مثل rsLoRA، PiSSA، LoRA-One). وتجد أن المتغيرات المصممة لجعل تحديثات LoRA أقرب إلى الضبط الدقيق الكامل (مثل PiSSA) لا تستفيد بالضرورة من Muone بل قد تزيد من حدة عدم التوافق، مما يشير إلى الحاجة لتعديلات خاصة بـ Muon.

النتائج

• تقليص فجوة الأداء: في الضبط الدقيق الكامل، يتفوق Muon باستمرار على Adam في النماذج المدربة بـ Adam (على سبيل المثال، فجوة ارتباك تتراوح بين +0.009 إلى +0.023 في WikiText-2). تحت ظروف LoRA، تتقلص هذه الفجوة بشكل كبير (بنسبة 39% للنماذج المدربة بـ Muon و 78% للنماذج المدربة بـ Adam).
• التفوق في LoRA: عبر مهام NLU و NLG والرؤية، يضاهي LoRA-Muon أو يتفوق على LoRA-Adam. على سبيل المثال، في اختبار GLUE، حقق LoRA-Mu-PE أعلى متوسط دقة (89.20%)، متفوقاً على كل من LoRA-Adam (88.93%) و Full-Adam (89.14%).
• الكفاءة: بينما يتحمل Muon عبئاً إضافياً طفيفاً لكل خطوة بسبب تكرار Newton-Schulz (أبطأ بـ 1.1–1.2$\times$ من Adam في إعدادات LoRA)، إلا أن كفاءته في الذاكرة (تخزين مخزن زخم واحد مقابل اثنين لـ Adam) تظل ميزة عملية، حيث توفر حوالي 50% من ذاكرة حالة المحسن.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول تحليل معمق لمشكلة عدم توافق المحسن بين Adam و Muon. تكمن أهميته الأساسية في تمكين الاستخدام العملي لـ Muon للضبط الدقيق للنظام البيئي الواسع من النماذج المدربة مسبقاً بـ Adam.

يخلص المؤلفون إلى أن:

1. عدم توافق المحسن هو أمر هيكلي: ينشأ من انحيازات ضمنية متضاربة تعطل المعرفة المدربة مسبقاً عندما تكون قوة التحديث غير مقيدة.
2. التحديثات المقيدة هي المفتاح: التقنيات مثل LoRA، التي تحد من حجم التغييرات في الأوزان، تعمل بفعالية على تحييد عدم التوافق هذا.
3. التوصية العملية: يمكن للممارسين استخدام Muon كبديل جاهز لـ Adam في الضبط الدقيق بنمط LoRA للحصول على كفاءة الذاكرة وأداء تنافسي دون المعاناة من عقوبات عدم التوافق الملحوظة في الضبط الدقيق الكامل.

يشير البحث بتواضع إلى أنه بينما يخفف LoRA من المشكلة، فإن متغيرات LoRA الموجودة والمحسنة لـ Adam لا تنتقل تلقائياً إلى Muon، مما يشير إلى الحاجة لعمل مستقبلي لتطوير تعديلات خاصة بـ Muon. بالإضافة إلى ذلك، لا يزال التوصيف النظري لعدم التوافق سؤالاً مفتوحاً.