Delving into Muon and Beyond: Deep Analysis and Extensions

ملخص تقني: التعمق في Muon وما وراءه: تحليل وتوسعات معمقة

بيان المشكلة
حظي مُحسِّن Muon باهتمام مؤخرًا لأدائه التجريبي في تدريب النماذج اللغوية الكبيرة، وذلك من خلال استخدامه لتحديثات متعامدة على مستوى المصفوفة. ومع ذلك، فإن الآليات الكامنة وراء Muon وعلاقته بالمُحسِّنات التكيفية الراسخة مثل Adam لا تزال غير مفهومة بشكل كافٍ. غالبًا ما تخلط الأدبيات الحالية بين تأثيرات Muon والتقنيات المساعدة (مثل QK-Norm و QK-Clip)، أو تفتقر إلى مقارنة منهجية مع المعايير القياسية. علاوة على ذلك، ليس من الواضح ما إذا كان التعامد الطيفي لـ Muon يمثل استراتيجية تحسين متفوقة عالميًا أم أنه شكل محدد من أشكال الاستقرار، وما إذا كان يمكن تحسينه أو تعميمه.

المنهجية
يقترح المؤلفون إطارًا طيفيًا موحدًا لتحليل Muon ومتغيراته. حيث يعرّفون Muon باعتباره نقطة النهاية $p=0$ لعائلة من التحويلات الطيفية التي تأخذ الشكل $U\Sigma^p V^\top$، حيث $U\Sigma V^\top$ هو تحليل القيم المفردة (SVD) لمصفوفة التحديث. تتقصى الدراسة الأسات (exponents) المتوسطة $p \in \{1, 1/2, 1/4, 0\}$:

• $p=1$: الهوية (التحديثات القياسية).
• $p=1/2, 1/4$: ضغط طيفي جزئي.
• $p=0$: تعامد كامل (Muon).

تُطبق هذه التحويلات على نوعين متميزين من المدخلات:

1. عزم اللحظة الأولى (First-moment momentum - $O_{mom}$): وهو ما يعادل مدخلات momentum SGD.
2. التحديثات المعيرة بجذر متوسط المربعات (RMS-normalized updates - $O_{rms}$): وهو ما يعادل مدخلات Adam، حيث يتم معايرة التدرجات بواسطة العزم الثاني.

ولتمكين الحساب الفعال للقوى الكسرية ($p=1/2, 1/4$) دون الحاجة إلى SVD صريح، طور المؤلفون تكرار Newton-Schulz المزدوج. تقوم هذه الخوارزمية بحساب الجذر التربيعي للمصفوفة ومعكوسها في آن واحد باستخدام عمليات ضرب المصفوفات فقط، مما يضمن الاستقرار العددي والقابلية للتوسع.

يتم إجراء التقييم التجريبي على نموذج GPT-2 بـ 124 مليون معلمة تم تدريبه على OpenWebText. وتستخدم الدراسة إعدادًا محكم التحكم للغاية:

• معدلات تعلم منفصلة: تُستخدم معدلات تعلم منفصلة للمعلمات المصفوفية والمتجهية لعزل تأثير المُحسِّن.
• لا توجد تقنيات مساعدة: تم تعطيل وزن التحلل (Weight decay)، و QK-Norm، و QK-Clip لضمان مقارنات عادلة.
• ضبط منهجي: تم إجراء بحث في مرحلتين لمعدل التعلم (مسح لوغاريتمي أولي متبوع بتنقيح دقيق) لجميع ثمانية متغيرات للمُحسِّن (4 أسات طيفية $\times$ 2 نوع من المدخلات).

المساهمات الرئيسية

1. إطار طيفي موحد: يقدم البحث إطارًا رسميًا $U\Sigma^p V^\top$ يضع Muon كحالة خاصة ($p=0$) ويقترح متغيرات متوسطة ($p=1/2, 1/4$) للتدريج بين التحديثات القياسية والتعامد الكامل.
2. خوارزمية فعالة: تم تطوير تكرار Newton-Schulz المزدوج لحساب التحديثات الطيفية الكسرية ($p=1/2, 1/4$) بكفاءة، وتجنب التكلفة الحسابية لـ SVD الصريح.
3. مقارنة تجريبية صارمة: تقدم الدراسة مقارنة محكومة بين Muon و Adam ومتغيراتهما الطيفية، مما يعزل التأثيرات الطيفية عن العوامل المربكة مثل وزن التحلل أو المعايرة المساعدة.

النتائج الرئيسية
أسفرت التجارب عن ثلاث نتائج رئيسية:

1. استقرار تحديثات اللحظة الأولى: في مدخلات اللحظة الأولى (mSGD)، يوفر Muon ($p=0$) استقرارًا كبيرًا، مما يسمح بمعدلات تعلم أعلى بكثير ومتانة أكبر مقارنة بـ mSGD القياسي. ومع ذلك، فإن الضغط الجزئي ($p=1/4$) غالبًا ما يحقق أداءً نهائيًا أفضل بمجرد استقرار النظام.
2. مكاسب محدودة على مدخلات المعايرة بـ RMS: عند تطبيقها على مدخلات المعايرة بـ RMS (أسلوب Adam)، تعطي الضغط الطيفي عوائد متناقصة. فالتعامد الكامل (AdamZ/Muon المطبق على $O_{rms}$) لا يتفوق على Adam القياسي ويمكن أن يكون أدنى من الضغط الجزئي. وهذا يشير إلى أن المعايرة العنصرية بـ RMS تقلل بالفعل من الكثير من عدم التماثل (anisotropy) الذي يستهدفه الضغط الطيفي.
3. تفوق طرق العزم الثاني: عبر جميع الأسس الطيفية، تتفوق المُحسِّنات التي تستخدم معايرة العزم الثاني (المعتمدة على RMS) باستمرار على نظيراتها من اللحظة الأولى (المعتمدة على الزخم فقط) من حيث كل من الاستقرار والخسارة النهائية.

الأهمية والادعاءات
يخلص البحث إلى أن فهم Muon الأفضل هو كونه شكلًا فعالًا من أشكال المعايرة الطيفية وليس طريقة تحسين متفوقة عالميًا.

• الاستقرار مقابل الأداء: تكمن المساهمة الأساسية لـ Muon في استقرار تحديثات اللحظة الأولى عن طريق التخلص من قيم الأحادية (singular values)، مما يمنع الاتجاهات ذات القيم المفردة الكبيرة من الهيمنة. ومع ذلك، فإن عملية "التسطيح" هذه هي آلية بدائية؛ فهي تزيل التصفية القائمة على المقدار، مما قد يؤدي إلى تضخيم اتجاهات التدرج الضوضائية (القيم المفردة الصغيرة) والتقليل من الخطوات في الأنماط المهيمنة المعلوماتية.
• الفائدة السياقية: بينما يوفر الضغط الطيفي فوائد استقرار حقيقية، خاصة عندما لا يكون التحديث المدخل معايراً بالفعل، فإن التعامد الكامل ($p=0$) ليس بديلاً لمُحسِّنات العزم الثاني الحديثة المعايرة بـ RMS مثل Adam. ويرى المؤلفون أن المزايا المسجلة لـ Muon في الأعمال السابقة قد تُعزى إلى الجمع المحدد للتقنيات المستخدمة (مثل QK-Norm) وليس إلى التعامد نفسه.

يؤكد العمل أنه بينما تعد التحويلات الطيفية أدوات قوية للتحكم في عدم التماثل، إلا أنها لا تتفوق بطبيعتها على فوائد القياس التكيفي للعزم الثاني في أنظمة التدريب واسعة النطاق.