ملخص تقني: OrScale – التحسين المتعامد مع قياس نسبة الثقة لكل طبقة

1. بيان المشكلة

برز مُحسّن Muon كأداة عملية للتدريب واسع النطاق، حيث يستخدم التحديثات المتعامدة لتثبيت اتجاه الخطوات ذات القيم المصفوفية عبر تكرارات Newton–Schulz (التي تقرب العامل القطبي). ومع ذلك، يعاني Muon من قصور حرج: فبينما يقوم بتحسين اتجاه التحديثات، فإنه يترك المقدار تحت تحكم معدل تعلم عالمي واحد، وهو أمر غير مثالي جوهرياً.

هذا القياس العالمي غير مثالي لأن الطبقات المختلفة (مثل إسقاطات الانتباه، وإسقاطات MLP صعوداً وهبوطاً، والتمثيلات - embeddings) تُظهر توزيعات تدرج ومنحنيات فعالة متباينة تماماً. وبينما قدمت نسخة Moonlight عاملاً ثابتاً لكل شكل لتوحيد جذر متوسط المربعات (RMS) لكل عنصر، إلا أنها لا تستطيع التكيف مع الانجراف الديناميكي لمقاييس الطبقات أثناء التدريب.

فشلت المحاولات السابقة لنقل خصائص LARS (قياس معدل التعلم لكل طبقة) و LAMB (قياس العزم لكل طبقة) — اللذين نجحا في فصل أحجام الخطوات عن معدلات التعلم العالمية في SGD و Adam — إلى Muon. وتحدد الورقة أن عمليات النقل الساذجة تفشل بسبب ثلاثة أسباب هيكلية محددة:

1. المقامات المتدهورة: استخدام معيار Frobenius للاتجاه المتعامد ($\|Q_\ell\|_F$) كمقام لنسبة الثقة يفشل لأنه يكون شبه ثابت محدد بشكل المصفوفة (الرتبة)، وليس بمقدار التحديث.
2. عدم تطابق الوحدات وتشبع القص: استخدام معيار الزخم الخام ($\|\tilde{M}_\ell\|_F$) يؤدي إلى عدم تطابق في الوحدات (وحدات التدرج مقابل وحدات الأوزان)، مما يتسبب في وصول نسبة الثقة إلى حد القص العلوي ($r_{max}$) بشكل شبه عالمي، مما يجعل التكيف غير فعال.
3. انفلات اضمحلال الوزن المنفصل: الجمع بين المقامات المعايرة واضمحلال الوزن المنفصل يخلق حلقة تغذية راجعة إيجابية حيث تنمو معايير الأوزان بشكل غير منضبط (10-50 ضعفاً)، مما يؤدي إلى زعزعة استقرار التدريب.

2. المنهجية

يقترح المؤلفون OrScale، وهو إطار عمل مبني على مبدأ تصميم واحد: يجب أن يقيس مقام نسبة الثقة لكل طبقة معيار Frobenius لاتجاه التحديث الحقيقي الذي سيطرحه المُحسّن من المعلمات.

المبدأ الأساسي

ليكن $D_{\ell,t}$ هو اتجاه المعلمات الفعلي الذي يُطرح من الأوزان $W_{\ell,t}$ قبل تطبيق معدل التعلم العالمي. تُعرف نسبة الثقة كما يلي:
$$r_{\ell,t} = \frac{\|W_{\ell,t}\|_F}{\|D_{\ell,t}\|_F + \epsilon}$$
من الضروري أن يتضمن $D_{\ell,t}$ كلاً من حد اضمحلال الوزن والاتجاه المتعامد.

نسختان

ينتج الإطار نسختين محددتين:

1. OrScale (الافتراضي للرؤية العامة):

   • اتجاه التحديث: $D_{\ell,t} = \lambda W_{\ell,t} + Q_{\ell,t}$ (حيث $\lambda$ هو اضمحلال الوزن و $Q$ هو الاتجاه المتعامد).
   • عامل الشكل: $s_\ell = 1$ (لا يوجد قياس ثابت).
   • المعايرة: لا يوجد.
   • اضمحلال الوزن: مدمج مباشرة في خطوة التحديث المقاسة بنسبة الثقة.

2. OrScale-LM (الافتراضي للنماذج اللغوية الكبيرة LLM):

   • اتجاه التحديث: $D_{\ell,t} = \lambda W_{\ell,t} + s_\ell Q_{\ell,t}$.
   • عامل الشكل: يتبنى عامل Moonlight الثابت $s_\ell = 0.2\sqrt{\max(m_\ell, n_\ell)}$ لمطابقة RMS لكل عنصر في AdamW.
   • المعايرة: يقدم ثابت معايرة كسول لكل طبقة ($c_{\text{denom}, \ell}$) يتم حسابه مرة واحدة عند التهيئة. هذا يثبت نسبة الثقة الأولية عند الرقم 1 تماماً ($r_{\ell,0}=1$).
   • أهمية المعايرة: يسمح هذا لـ OrScale-LM بوراثة المعلمات الفائقة لمعدل التعلم واضمحلال الوزن التي تم ضبطها لـ Moonlight (وبالتبعية لـ AdamW) دون الحاجة إلى مسح جديد للمعلمات الفائقة. كما يضمن ثبات عرض النموذج عند التهيئة.

التفاصيل الخوارزمية

• اضمحلال الوزن المقترن: يتم دمج اضمحلال الوزن في حساب نسبة الثقة ($\lambda W$ جزء من المقام) بدلاً من تطبيقه كعملية سحب منفصلة. هذا يمنع حلقة التغذية الراجعة الإيجابية التي لوحظت في النسخ المنفصلة.
• الكفاءة: تضيف الطريقة عبئاً ضئيلاً جداً (أقل من 1% من وقت التشغيل)، حيث تتطلب فقط مقداراً عددياً إضافياً واحداً لكل طبقة مصفوفية وعمليتي حساب معيار Frobenius لكل خطوة، وهي عمليات يهيمن عليها بالفعل تكرارات Newton–Schulz.

3. المساهمات الرئيسية

• الخوارزمية: وصفة موحدة وخفيفة المعلمات (الخوارزمية 1) تنجح في دمج قياس نسبة الثقة لكل طبقة في Muon. حدد المؤلفون "الركن القابل للعمل" الفريد في فضاء التصميم (المقام لاتجاه التحديث الحقيقي + اضمحلال الوزن المقترن).
• تحليل الفشل: رسم خريطة دقيقة لنموذج فشل تصميم نسبة الثقة في Muon (الجدول 1) والتي تشخص تحليلياً وتجريبياً ثلاثة أنماط للفشل (المقام المتدهور، تشبع القص، وانفلات نمو وزن الأوزان)، موضحة سبب فشلها ولماذا ينجح الحل المقترح.
• النظرية:
  • التقارب: يثبت ضمان التقارب غير المتصل بمعيار النواة (nuclear-norm) بمعدل $O(1/\sqrt{T})$.
  • الكسب المتكيف: يثبت وجود ثابت هبوط متكيف للطبقة $\kappa_{\text{eff}} > 1$ في ظل وجود تباين في الطبقات، مما يحسن بشكل صارم من ثابت Muon المتجانس.
  • الانفصال: يثبت انفصالاً صارماً عن MuTrust/MuScale في حالات تشبع القص.
  • المعايرة: يثبت أن OrScale-LM يحافظ على نقل معدل التعلم بأسلوب $\mu$P عند التهيئة.
• التجارب: تقييم شامل عبر مهام نماذج الرؤية واللغة الكبيرة.

4. النتائج التجريبية

الرؤية (CIFAR-10 / DavidNet)

• الأداء: حقق OrScale دقة تحقق (validation top-1) بلغت 94.05% $\pm$ 0.08، محتلاً المرتبة الأولى بين خمسة نماذج أساسية.
• التحسن: يمثل هذا تحسناً قدره +0.35 نقطة عن Muon القياسي (93.70%) و +0.30 عن Muon+Moonlight (93.75%).
• الاستقرار: أظهر OrScale نافذة معدل تعلم مستقرة أوسع مقارنة بـ Muon، وهو ما يتوافق مع التوقعات النظرية للمكاسب المتكيفة للطبقات.
• الدراسة الاستقصائية (Ablation): أكدت دراسة استقصائية لأنماط الفشل أن المتغيرات التي تقابل أنماط الفشل المحددة (مثل استخدام $\|Q_\ell\|_F$ أو الزخم الخام) أظهرت الأعراض المتوقعة (مثل تشبع القص بنسبة 99.5-100% أو انفلات نمو وزن الأوزان) وفشلت في مطابقة أداء OrScale.

النماذج اللغوية الكبيرة (Pre-training لـ FineWeb-Edu)

• التوسع: تم التقييم عبر أربعة أحجام للنماذج (من 125 مليون إلى 1.1 مليار معلمة).
• المقارنة: تفوق OrScale-LM على Muon+Moonlight في ثلاثة من أصل أربعة أحجام (125M، 545M، 1.1B) وهزم AdamW في كل الأحجام.
• تقليل الخسارة: عند مقياس 1.1B، حقق OrScale-LM تقاطعاً نهائياً للتحقق (validation cross-entropy) قدره 2.6251، مقارنة بـ 2.6360 لـ Muon+Moonlight و 2.7304 لـ AdamW.
• الكفاءة: تم الحفاظ على الميزة عبر نطاق الحوسبة، حيث أظهر OrScale-LM تفوقاً واضحاً في النطاق الذي تبرز فيه أهمية الحوسبة للنماذج اللغوية الكبيرة.

5. الأهمية والادعاءات

تدعي الورقة أن OrScale ينجح في سد الفجوة بين الهندسة الطيفية لـ Muon والتكيف لكل طبقة لـ LARS/LAMB. وتكمن أهميته الأساسية في:

1. حل مشكلة المقدار: يوفر أول تحكم في المقدار لكل طبقة ومتغير زمنياً لـ Muon يكون قوياً ضد أنماط الفشل الهيكلية.
2. القابلية للنقل العملي: من خلال نسخة OrScale-LM والمعايرة الكسولة، فإنه يسمح للممارسين بنقل معدلات التعلم التي تم ضبطها لـ AdamW أو Moonlight مباشرة إلى OrScale-LM دون الحاجة لإعادة الضبط.
3. الأساس النظري: يقدم تبريراً نظرياً صارماً لسبب فشل المحاولات الهجينة السابقة، ويثبت أن الطريقة المقترحة تعطي ثوابت تقارب أفضل بشكل صارم في ظل التباين.
4. التحقق التجريبي: يثبت أن هذه التحسينات النظرية تترجم إلى مكاسب ملموسة في كل من مهام الرؤية صغيرة النطاق وتدريب النماذج اللغوية الكبيرة، مما يرسخ OrScale كمُحسّن متطور للطبقات ذات القيم المصفوفية.

يحافظ المؤلفون على التواضع فيما يتعلق بنتائج النماذج اللغوية الكبيرة، مشيرين إلى أن التفوق عند مقياس 1.1B يقارب ضجيج البذرة الواحدة (single-seed noise) في المقاييس الأصغر، وبالتالي يجب النظر إلى النتائج كأدلة توجيهية لفعالية الطريقة بدلاً من كونها تفوقاً إحصائياً حاسماً في جميع النطاقات. ومع ذلك، فإن التحسن المستمر عبر المقاييس والنجاح في استقصاء أنماط الفشل يدعم بقوة مبدأ التصميم المقترح.