ملخص تقني: DynMuon: رؤية ديناميكية لتشكيل الطيف لـ Muon

بيان المشكلة

برزت Muon مؤخرًا كمحسن مهيمن لتدريب النماذج اللغوية الكبيرة (LLMs) والنماذج المحولة (Transformers). وتتمثل آليتها الجوهرية في استبدال مصفوفة تحديث التدرج القياسية $M = U\Sigma V^\top$ بعاملها القطبي $UV^\top$، مما يؤدي فعليًا إلى "تسطيح" القيم المفردة مع الحفاظ على الاتجاهات المفردة. وبينما يحسن هذا من التقارب والاستقرار، يحدد البحث قيدًا حرجًا: تستخدم Muon تحويلًا طيفيًا ثابتًا (تحديدًا الحالة التي يكون فيها الأس الطيفي $p=0$ في عائلة $U\Sigma^p V^\top$).

السؤال المركزي غير المحلول الذي يتناوله هذا العمل هو ما إذا كانت قاعدة تشكيل طيفي واحدة وثابتة تظل مثالية طوال عملية التدريب بأكملها. لقد استكشفت الأعمال السابقة متغيرات ثابتة لتشكيل الطيف (مثل تشكيلات قانون القوة الثابتة أو كبح الفضاءات الفرعية المهيمنة)، لكنها تفتقر إلى نموذج نظري لكيفية تطور التأثير النسبي لمختلف الاتجاهات الطيفية مع تقدم التدريب. ويفترض المؤلفون أن الأس الطيفي $p$ المثالي يجب أن يتكيف ديناميكيًا بناءً على تغير مشهد دالة الخسارة، وطبيعة ضجيج التدرج، ومرحلة التدريب.

المنهجية

1. الإطار النظري: النمذجة المحلية الواعية بالضجيج

قام المؤلفون بتطوير نموذج محلي واعي بالضجيج لتحليل ديناميكيات التدريب لعمليات تشكيل الطيف المعرفة بـ $D(p) := U\Sigma^p V^\top$.

• المقايضة بين الإشارة والضجيج: يفكك النموذج التحديث إلى اتجاهات انحناء محلية (أنماط). ويكشف عن مقايضة أساسية يتحكم فيها الأس $p$:
  • $p$ مرتفع (موجب): يسرع انكماش الإشارات المتبقية في الأنماط عالية الانحناء (القوية) ولكنه يثبط التحديثات في الأنماط المسطحة.
  • $p$ منخفض (سالب): يزيد من الانكماش في الأنماط منخفضة الانحناء (المسطحة) ولكنه يزيد في الوقت نفسه من تضخيم ضجيج التدرج العشوائي في تلك الاتجاهات نفسها.
• الديناميكيات المعتمدة على المرحلة:
  • التدريب المبكر: تتركز الإشارة المتبقية في اتجاهات عالية الانحناء. ويكون $p$ الموجب مفيدًا لأنه يعطي الأولوية لهذه الاتجاهات، مما يسرع انكماش الإشارة مع حد أدنى من تضخيم الضجيج.
  • التدريب المتأخر: مع تقدم التدريب، تضمحل الإشارة المتبقية في الأنماط القوية، وتنتقل التركيز إلى الأنماط المسطحة. ويصبح $p$ السالب الطفيف مفيدًا، حيث يعيد تخصيص قوة التحديث إلى هذه الاتجاهات المسطحة التي لا تزال تحتوي على إشارة مفيدة. ومع ذلك، يجب ألا يكون $p$ سالبًا جدًا، وإلا فإن تضخيم الضجيج سيؤدي إلى تدهور عملية التحسين.

2. خوارزمية DynMuon

بناءً على الرؤية النظرية بأن $p$ يجب أن ينتقل من الموجب إلى السالب الطفيف، يقترح المؤلفون DynMuon، وهي خوارزمية تشكيل طيفي ديناميكية.

• استراتيجية الجدولة: تستخدم DynMuon جدولًا لوجستيًا بسيطًا لتقليل الأس الطيفي $p$ بشكل رتيب من قيمة مبكرة موجبة ($p_{max} = 1$) إلى قيمة متأخرة سالبة طفيفة ($p_{min} = -0.25$).
• التنفيذ الفعال: حساب SVD الدقيق لأي $p$ هو أمر مكلف حاسوبيًا. لذا، تقوم DynMuon بتوسيع تقريب نيوتن-شولز (NS) المستخدم في Muon:
  • بالنسبة لـ $p \ge 0.25$، تستخدم تحديث Muon الأصلي (أو تقريب NS القياسي للتعامد لـ $p \in [0, 0.25)$).
  • بالنسبة لـ $p < 0$، تقرب التشكيل الطيفي الكسري $A^{p/2}$ (حيث $A = X_n X_n^\top$) باستخدام مفكوك تايلور من الدرجة الثانية حول الوحدة. وهذا يضيف فقط حد تصحيح حدودي إلى حساب NS القياسي، مما يحافظ على نفس التعقيد التقاربي لـ Muon.
• مرساة الاستقرار: لضمان الاستقرار عندما يكون $p$ موجبًا وكبيرًا، تقوم الخوارزمية بتركيز النطاق الموجب على مؤثرات مستقرة، لتجنب تقريبات تايلور غير الموثوقة في ذلك النطاق.

المساهمات الرئيسية

1. المنظور الطيفي الديناميكي: إعادة صياغة التحسين بأسلوب Muon من عملية طيفية ثابتة إلى مشكلة تكيفية لاختيار أس طيفي $p$ يتطور مع ديناميكيات التدريب.
2. النموذج المحلي الواعي بالضجيج: تطوير نموذج نظري يشرح تفضيل $p$ المعتمد على المرحلة من خلال المقايضة بين تقليل الإشارة المتبقية وتضخيم الضجيج العشوائي عبر اتجاهات الانحناء المحلية.
3. اكتشاف الأنظمة المعتمدة على المرحلة: الكشف عن أن الأسس الموجبة تفيد التدريب المبكر (التركيز على الأنماط القوية)، بينما تحسن الأسس السالبة الطفيفة (التي تم التغاضي عنها سابقًا) التحسين في المرحلة المتأخرة من خلال التركيز على الأنمار المسطحة التي تحتفظ بإشارة متبقية مفيدة.
4. خوارزمية DynMuon: اقتراح خوارزمية تشكيل طيفي ديناميكية وفعالة تقوم بجدولة $p$ من الموجب إلى السالب الطفيف، محققة تحسينات متسقة على Muon الثابتة مع تكلفة حاسوبية ضئيلة.

النتائج التجريبية

قيم المؤلفون DynMuon عبر أحجام نماذج مختلفة (من 127 مليون إلى 1.1 مليار معلمة)، وببنيات متنوعة (بأسلوب GPT وأسلوب Qwen)، وإعدادات تدريب مختلفة (مجموعات بيانات FineWeb و FineWeb-Edu).

• الأداء: تحقق DynMuon باستمرار خسارة تحقق (validation loss) أقل من Muon القياسية ($p=0$) ونماذج AdamW المرجعية.
• الكفاءة: للوصول إلى نفس هدف خسارة التحقق (المحدد بخسارة Muon عند 80% من التدريب)، تتطلب DynMuon خطوات تدريب أقل بنسبة 10.6% إلى 26.5%.
• التكاليف الإضافية (Overhead): التكلفة الزمنية لكل خطوة في DynMuon هي 1.003–1.025× فقط مقارنة بـ Muon، مما يؤكد كفاءة التشكيل الطيفي المعتمد على تقريب تايلور.
• المتانة:
  • البنية: تنتقل الفوائد إلى البنيات من نوع Qwen.
  • ميزانية التدريب: تستمر التحسينات عبر ميزانيات الرموز (tokens) من 2.5 مليار إلى 20 مليار.
  • معدل التعلم: تظهر DynMuon حساسية أقل تجاه اختيارات معدل التعلم مقارنة بـ Muon.
  • أهداف الخسارة: تستمر فائدة التشكيل السالب الطفيف عبر عائلة من عمليات استكمال خسارة CE-Brier، مما يشير إلى أن الآلية قوية تجاه أنواع مختلفة من خسائر فضاء الاحتمالات.
• الدراسات الاستقصائية (Ablations): تؤكد التجارب أن الانتقال اللوجستي السلس يتفوق على التبديل المفاجئ أو الجداول الثابتة السالبة. وقد وُجد أن $p_{min}$ الأمثل هو $-0.25$؛ حيث تؤدي القيم السالبة الأكثر عدوانية (مثل$-0.5$) إلى تدهور الأداء بسبب تضخيم الضجيج.

الأهمية والادعاءات

يدعي البحث أن DynMuon يثبت أن "أفضل" انحياز طيفي ليس ثابتًا بل يتطور أثناء التدريب. ومن خلال نقل التركيز ديناميكيًا من اتجاهات الانحناء العالي إلى الاتجاهات المسطحة، تلتقط DynMuon ديناميكيات التحسين التي تغفلها التحويلات الثابتة مثل Muon.

يضع المؤلفون هذا العمل كخطوة نحو محسنات أكثر تكيفًا. ويشيرون بتواضع إلى أنه بينما يتفوق جدولهم اللوجستي على الخيارات الثابتة، فقد لا يكون هو الكلمة الأخيرة؛ إذ قد يعتمد $p$ الأمثل على إحصائيات التحسين في الوقت الفعلي. ويقترحون أن العمل المستقبلي يمكن أن يركز على التقدير عبر الإنترنت (online estimation) لـ $p$، ربما باستخدام إشارات أكثر تكلفة تُطبق بشكل غير متكرر، نظرًا لأن النطاق المفيد لـ $p$ يبدو صغيرًا نسبيًا. تُقدم الطريقة كتحسين عام للأداء والتحسين لتدريب النماذج اللغوية الكبيرة دون تكلفة حاسوبية كبيرة.