ملخص تقني: مبدأ التوافق مع التماثل لتصميم المحسنات

1. بيان المشكلة

ثمة تباين هندسي جوهري في ممارسات التعلم العميق الحديثة. فبينما تمتلك بنيات الشبكات العصبية (التمثيلات، رؤوس نماذج اللغة، وحدات SwiGLU MLP، وموجهات MoE) خصائص غنية من التماثل والتماثل التبايني (equivariance)، تعمل طرق التحسين السائدة مثل Adam وAdamW وRMSprop بطريقة إحداثية لكل عنصر على حدء (coordinate-wise). تتعامل هذه الطرق مع معاملات المصفوفات كمتجهات مسطحة من الإحداثيات المستقلة، مما يؤدي إلى تجاهل بنية المصفوفة وكسر التماثل التبايني الطبيعي.

هذا النهج "الأعمى هندسياً" يفشل في التمييز بين الهندسات المختلفة لأنواع الطبقات المتباينة. وبناءً عليه، قد تتجاهل المحسنات الشائعة البنية الطيفية (spectral structure)، وتسبب هندسات غير متوافقة، وتفشل في احترام هياكل الثبات والتماثل التبايني المتأصلة في كتل بارامترية محددة (مثل ثبات التبديل في المفردات أو قابلية تبادل الخبراء في نماذج MoE). لا يزال الفهم النظري والمقارنات التجريبية بين طرق التكيف الإحداثية والمحسنات الطيفية محدودة، وغالباً ما تعتمد على اختبارات قياسية واسعة النطاق دون تحليل عميق للسلوك الهندسي.

2. المنهجية: مبدأ التوافق مع التماثل

تقترح الورقة البحثية مبدأ التوافق مع التماثل على مستوى الطبقات لتصميم المحسنات. الجوهر هو أن قاعدة تحديث المحسن $\mathcal{U}$ لكتلة بارامترية $W$ يجب أن تكون متماثلة تباينياً (equivariant) تحت تأثير مجموعة التماثل $G$ التي تؤثر على تلك الكتلة تحديداً.

2.1 الإطار النظري

لتكن $W \in \mathbb{R}^{m \times n}$ مصفوفة بارامترات. إذا تم تحويل إحداثيات فضاءات المدخلات والمخرجات بواسطة مصفوفات قابلة للعكس $P$ و$Q$، فإن الخريطة الخطية تتحول كـ $\tilde{W} = P W Q^{-1}$. يتحول التدرج (gradient) بشكل متقابل (contravariantly/covariantly) وفقاً لذلك. يجب أن تحقق خريطة تحديث المحسن $\mathcal{U}$ ما يلي:
$$\mathcal{U}(g \cdot D) = g \cdot \mathcal{U}(D)$$
حيث $D$ هو اتجاه التحديث (مثل التدرج أو الزخم/momentum) و$g$ هو عنصر من مجموعة التماثل.

تستنتج الورقة فئات محددة من المحسنات بناءً على مجموعات التماثل لأنواع الطبقات المختلفة:

1. طبقات المصفوفات العادية (Linear/Attention):

   • التماثل: ثنائي التناظر (Bi-orthogonal) ($O_m \times O_n$).
   • فئة المحسن: المحسنات الطيفية (Spectral Optimizers). يجب أن يكون التحديث عبارة عن مؤثر طيفي يعمل على القيم المفردة (singular values) مع الحفاظ على المتجهات المفردة (singular vectors). هذا يوحد طرق مثل Stochastic Spectral Descent (SSD)، وMuon، وScion، وطرق Polar Gradient. يكون التحديث عادةً هو العامل القطبي المتعامد (orthogonal polar factor) لاتجاه الزخم.

2. التمثيلات (Embeddings) ورؤوس نماذج اللغة (LM Heads):

   • التماثل: تبديل يساري ($P_v$) وتعامد يميني ($O_d$). الصفوف تفهرس عناصر المفردات (تبديل منفصل)، والأعمدة تفهرس الميزات الخفية (دوران مستمر).
   • فئة المحسن: تحديثات متوافقة مع التماثل التبدلي اليساري-الدوراني اليميني (LPRO Equivariant).
     • الطيفي اليميني: يعمل عالمياً عبر مصفوفة غرام اليمنى ($D^\top D$).
     • معيار الصف (Row-Norm): يعمل محلياً على معايير الصفوف (عناصر المفردات).
     • الهجين: تركيبات من تحديثات معيار الصف والتحديث الطيفي اليميني.

3. إسقاطات SwiGLU MLP:

   • التماثل: تبديل الخلايا العصبية المتوسطة ($P_{d_{ff}}$). عمليات إسقاط البوابة (gate) والارتفاع (up) تمتلك صفوفاً تقابل الخلاções العصبية المتوسطة؛ بينما عملية الإسقاط للأسفل (down) تمتلك أعمدة تقابلها.
   • فئة المحسن: متغيرات واعية بالصفوف والأعمدة. تستخدم إسقاطات البوابة/الارتفاع تحديثات متوافقة مع LPRO (معيار الصف/الطيفي اليميني)؛ بينما تستخدم إسقاطات الأسفل الهندسة المنقولة (transposed geometry).

4. موجهات MoE (Routers):

   • التماثل: تبديل الخبراء ($P_e$) وثبات إزاحة اللوجيت المشترك (إضافة ثابت لجميع اللوجيتات لا يغير توزيع softmax).
   • فئة المحسن: تحديثات متوافقة مع الموجه (Router-compatible). تعمل هذه التحديثات على الاتجاه المركزي $D_c = \Pi^\perp D$ (إزالة الإزاحة المشتركة).
     • الطيفي اليساري المركزي: يعمل على مصفوفة غرام للخبراء المركزية.
     • معيار الصف المركزي: يعمل على معايير صفوف الخبراء المركزية.

2.2 التنفيذ العملي

تجسد المؤلفة هذه المبادئ في محسنات عملية تعتمد على الزخم:

• RightPolarGradM / LeftPolarGradM: تحديثات طيفية أحادية الجانب باستخدام تكرارات Newton-Schulz لجذور مربعات المصفوفات العكسية.
• RowNormM: تحديثات تطبيع الصفوف.
• HybridPolarGradM: تركيبات من خطوات معيار الصف والخطوات الطيفية أحادية الجانب.
• التمركز (Centering): بالنسبة لموجهات MoE، يتم تطبيق التحديثات على الزخم المركزي $M_{k,c} = \Pi^\perp M_k$.

3. المساهمات الرئيسية

1. مبدأ التوافق مع التماثل: حجة رسمية بأن المحسنات الإحداثية غير متوافقة هندسياً مع معاملات المصفوفات. توضح الورقة أن قواعد التحديث يجب أن تطابق مجموعة التماثل للكتلة البارامترية.
2. رؤية موحدة للمحسنات الطيفية: تقديم تفسير قائم على التماثل للمحسنات الطيفية (مثل Muon وSSD) كفئة فريدة من خرائط التحديث المتماثلة تباينياً ثنائية التناظر.
3. فئات جديدة من المحسنات المتوافقة تباينياً: اشتقاق قواعد تحديث محددة للطبقات ذات التماثلات غير القياسية:
   • تحديثات متوافقة مع LPRO للتمثيلات ورؤوس نماذج اللغة.
   • تحديثات واعية بالصفوف والأعمدة لـ SwiGLU MLPs.
   • تحديثات مركزية لتبديل الخبراء في MoE.
4. أدلة التدريب المسبق من الطرف إلى الطرف: بناء حزمة محسنات كاملة على مستوى الطبقات حيث تتلقى كل فئة مصفوفات رئيسية تحديثاً متوافقاً مع تماثلها. تم تقييم ذلك على نماذج لغوية كثيفة ومتفرقة (Qwen3-0.6B، Gemma 3 1B، OLMoE-1B-7B، ونسخة مصغرة من gpt-oss).

4. النتائج التجريبية

أجرى المؤلفون تجارب تدريب مسبق على مجموعات من 10 مليارات توكن من FineWeb-Edu عبر أربع بنيات.

• النماذج الكثيفة (Qwen3-0.6B, Gemma 3 1B):

  • استبدال AdamW في المصفوفات المفهرسة بالمفردات (التمثيلات/رؤوس نماذج اللغة) بـ RowNormM أو HybridPolarGradM أدى باستمرار إلى تحسين خسارة التحقق النهائية.
  • كانت المكاسب متواضلة في نموذج Qwen3 الأصغر، لكنها كانت أكثر وضوحاً في نموذج Gemma 3 الأكبر، مما يشير إلى أن التحديثات المدركة للهندسة تصبح أكثر أهمية مع نمو مصفوفات المفردات وزيادة تباين التدرجات (anisotropy).
  • استخدام HybridPolarGradM لإسقاطات SwiGLU MLP حسن الأداء بشكل أكبر، ويرجع ذلك على الأرجوة إلى تصحيح عدم توازن مقياس الصف في المصفوفات الطويلة والنحيفة (tall-skinny).

• نماذج MoE المتفرقة (OLMoE-1B-7B, downsized gpt-oss):

  • الإعدادات التي استخدمت تحديثات متوافقة مع التماثل للتمثيلات، والرؤوس، والموجهات (مثل RowNormM + LeftPolarGradM) تفوقت على الإعدادات التي استخدمت AdamW لهذه المكونات.
  • سجلت النسخة المرجعية الإحداثية بالكامل (AdamW في كل مكان) أسوأ أداء.
  • حسنت التحديثات المتوافقة مع تماثل الموجه من الأداء مقارنة بتحديثات الموجه الإحداثية، وفي بعض الحالات، قللت من طفرات (spikes) التدريب، مما يشير إلى استقرار أفضل.

• الاتجاه العام: عبر جميع النماذج، أدى استبدال AdamW في مصفوفات المفردات الكبيرة بمحسنات متوافقة مع التماثل إلى خفض خسارة التحقق النهائية باستمرار. واستمرت الفوائد عبر بنيات مختلفة ومستويات تشتت متفاوتة.

5. الأهمية والادعاءات

تدعي الورقة تقديم تحول مبدئي في تصميم المحسنات من منظور إحداثي "أعمى هندسياً" إلى منظور مصفوفي "واعٍ بالتماثل".

• التصميم المشترك بين البنية والمحسن: تجادل الورقة بأن تصميم المحسن يجب أن يكون مشكلة واعية بالبنية. فالطبقات المختلفة (التمثيلات، الموجهات، الطبقات الخطية) لها تماثلات طبيعية متميزة وتتطلب هندسات تحسين مختلفة.
• التأسيس النظري: توفر الورقة توصيفاً رياضياً دقيقاً (عبر التماثل التبايني) لسبب عمل المحسنات الطيفية للطبقات الخطية، وتوسع هذا المنطق لاشتقاق محسنات جديدة لطبقات أخرى.
• الفائدة العملية: تثبت النتائج أن تعيينات التوافق مع التماثل ليست سليمة نظرياً فحسب، بل هي مفيدة عملياً، حيث تحسن الخسارة النهائية وربما استقرار التدريب في التدريب المسبق واسع النطاق.
• التواضع: يصرح المؤلفون صراحة بأنهم لا يدعون أن المحسنات المتوافقة تباينياً تهيمن على الطرق الإحداثية في جميع الحالات. بدلاً من ذلك، يقدمون أدلة على أن مبدأ التوافق مع التماثل على مستوى الطبقات يؤدي إلى تعيينات تنافسية ومفيدة غالباً في إعدادات التدريب المسبق الممثلة. وهم ينظرون إلى النتائج كدليل على فائدة المبدأ وليس كاختبار شامل.

تخلص الورقة إلى أن إدخال التماثل والتماثل التبايني في تصميم المحسنات يفتح مساراً نحو تدريب مسبق أكثر استقراراً، واتساقاً مع المعلمات، وتأسيساً نظرياً لنماذج واسعة النطاق.