Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning

ملخص تقني: Muon-OGD

بيان المشكلة
التحدي المركزي الذي يعالجه هذا العمل هو النسيان الكارثي (catastrophic forgetting) في النماذج اللغوية الكبيرة (LLMs) أثناء التعلم المستمر. فعندما يتم ضبط النماذج اللغوية الكبيرة fine-tuning تسلسلياً على مهام جديدة، غالباً ما يتدهور أداؤها في المهام التي تعلمتها سابقاً بشكل سريع. تعمل طرق التعلم المستمر القائمة على الإسقاط (مثل OGD وGEM وO-LoRA) على التخفيف من حدة ذلك عبر تقييد تحديثات المعلمات (parameters) ضمن فضاءات فرعية متعامدة مع الاتجاهات المرتبطة بالمهام السابقة. ومع ذلك، تُصاغ هذه الطرق عادةً تحت هندسة المعلمات الإقليدية (Euclidean parameter geometry)، حيث تخضع مقادير التحديث والتعامد لـ معيار فروبينيوس (Frobenius norm).

حدد المؤلفون وجود عدم توافق جوهري: المحسنات الحديثة للمعلمات ذات القيم المصفوفية (matrix-valued parameters)، مثل محسن Muon المقترح مؤخراً، تعمل تحت هندسة المعيار الطيفي (spectral-norm/operator-norm geometry). يطبق Muon تحديثات مصفوفية متعامدة (يتم تقريبها عبر تكرارات Newton–Schulz) ويمكن تفسيره على أنه يقوم بعملية انحدار متدرج (steepest descent) تحت قيد المعيار الطيفي. وتجادل الورقة بأن الاعتماد على هندسة معيار فروبينيوس لفرض قيود التعلم المستمر هو أمر غير أمثل للمعلمات المصفوفية في النماذج اللغوية الكبيرة، لأنه لا يتوافق مع هندسة ديناميكيات التحسين الأساسية.

المنهجية: Muon-OGD
تقترح الورقة إطار عمل Muon-OGD (إسقاط التدرج المتعامد القائم على Muon مع المعيار الطيفي)، وهو إطار يدمج التحسين المدرك للمعيار الطيفي مع قيود التعلم المستمر القائمة على الإسقاط.

1. الصياغة: بدلاً من مشكلة معيار فروبينيوس المقيدة القياسية، تصيغ Muon-OGD التحديث $\Delta$ كمسألة تحسين مقيدة بالمعيار الطيفي:
   $$\min_{\Delta \in \mathbb{R}^{m \times n}} \langle G, \Delta \rangle \quad \text{s.t.} \quad \|\Delta\|_2 \leq \eta, \quad \langle C_i, \Delta \rangle = 0, \forall i=1,\dots,k$$
   حيث $G$ هي مصفوفة التدرج (أو الزخم)، و$\|\cdot\|_2$ هو المعيار الطيفي، و$\eta$ هو حجم الخطوة، و$\{C_i\}$ هي اتجاهات القيود (مثل تدرجات المهام السابقة) التي يجب أن تظل متعامدة مع التحديث.

2. التحسين المزدوج (Dual Optimization): نظراً لأن المسألة تفتقر إلى حل مغلق الصيغة (closed-form solution)، استنتج المؤلفون صيغة مزدوجة. تتضمن الدالة الهدف المزدوجة تقليل المعيار النووي (nuclear norm) لمصفوفة مزاحفة $H = G + \sum \lambda_i C_i$. ويتم استعادة التحديث الأمثل عبر دالة إشارة المصفوفة: $\Delta^* = -\eta \cdot \text{msgn}(H)$.

3. الخوارزمية: تحل الطريقة المسألة المزدوجة بشكل تكراري باستخدام انحدار شبه التدرج (subgradient descent) على المتغيرات المزدوجة $\lambda$.

   • الحلقة الداخلية: تُحدث $\lambda$ تكرارياً لفرض قيود التعامد.
   • تقريب إشارة المصفوفة: يتم تقريب دالة إشارة المصفوفة $\text{msgn}(H)$ بكفاءة باستخدام عدد قليل من تكرارات Newton–Schulz (تحديداً 5 تكرارات، يُرمز لها بـ $NS_5$)، مما يتجنى التكلفة الحسابية لعملية تفكيك القيم المفردة (SVD) الصريحة.
   • الاستنتاج منخفض الرتبة (Low-Rank Instantiation): من أجل الكفاءة، يقترح المؤلفون نموذجاً محدداً حيث تُشتق القيود من أعلى-$k$ من المتجهات المفردة للمهام السابقة، مما يسمح بتنظيم المتغيرات المزدوجة في مصفوفة منخفضة الرتبة $\Lambda$، مما يقلل من أبعاد المسألة المزدوجة.

المساهمات الرئيسية

1. هندسة المعيار الطيفي للتعلم المستمر: تصيغ الورقة التعلم المستمر القائم على الإسقاط تحت هندسة المعيار الطيفي، مما يربط قيود الاستقرار في التعلم المستمر بهندسة المعيار التشغيلي (operator-norm) للمحسنات الحديثة مثل Muon.
2. قاعدة تحديث عملية: تستنتج خوارزمية عملية (Muon-OGD) تجمع بين قيود تعامد المهام السابقة وتحديثات إشارة المصفوفة بأسلوب Muon، وتحل المسألة المقيدة بكفاءة عبر صيغة مزدوجة وتقريبات Newton–Schulz.
3. التحقق التجريبي: تم تطبيق الإطار للضبط الدقيق المستمر للنماذج اللغوية الكبيرة وتقييمه عبر معايب متنوعة، مما أظهر تحسينات متسقة مقارنة بنظيراتها القائمة على معيار فروبينيوس.

النتائج التجريبية
قيم المؤلفون Muon-OGD على:

• المعايب القياسية: معايب التعلم المستمر المكونة من 5 مهام و15 مهمة باستخدام نموذج T5-Large.
• معيار TRACE: معيار للنماذج اللغوية الضبطت تعليماتياً (باستخدام LLaMA-2-7B-Chat) يغطي مهارات متنوعة مثل البرمجة، الرياضيات، وفهم اللغات المتعددة.
• المناهج المتخصصة في المجالات: التعلم التسلسلي من البرمجة (BigCodeBench) $\leftarrow$ الرياضيات (GSM8K) $\leftarrow$ الطب (HuatuoGPT-o1) باستخدام نماذج Qwen2.5 وLlama3.2.

النتائج:

• الأداء: تفوقت Muon-OGD باستمرار على الضبط الدقيق التسلسلي (SeqFT) والأساليب المنافسة في التدرج العمودي (مثل O-LoRA وSculpting Subspaces وOSFT) من حيث متوسط الدقة (AA) والنقل الخلفي (BT).
  • في معيار T5-Large المكون من 15 مهمة، حققت Muon-OGD دقة متوسطة بلغت 72.0%، متفوقة على O-LoRA (69.6%) وOSFT (71.3%).
  • في معيار TRACE، حققت Muon-OGD أعلى متوسط دقة (AA) بنسبة 49.4% وأقل معدل نسيان (-4.7%) بين الطرق المقارنة.
• القابلية للتوسع: تظل الطريقة قابلة للتوسع حسابياً، مستفيدة من كفاءة تكرارات Newton–Schulz وتمثيلات القيود منخفضة الرتبة.
• الاستقلالية عن البنية (Architecture Agnosticism): أثبت النهج فعاليته عبر كل من بنيات Encoder-Decoder (مثل T5) وDecoder-only (مثل LLaMA وQwen).

الأهمية والادعاءات
تدعي الورقة أن هندسة التحديث المدركة للمعيار الطيفي توفر بديلاً عملياً وفعالاً لإسقاط معيار فروبينيوس للتعلم المستمر في النماذج اللغوية الكبيرة. ومن خلال سد الفجوة بين هندسة المحسنات الحديثة (مثل Muon) ومتطلبات الاستقرار في التعلم المستمر، تعمل Muon-OGD على تحسين الموازنة بين الاستقرار والمرونة (stability-plasticity trade-off). يشير المؤلفون إلى أن طرق الإسقاط الموجودة يمكن ترقيتها بشكل منهجي لتعمل تحت هندسة المعيار الطيفي للحفاظ بشكل أفضل على فوائد التكييف والاستقرار الملحوظة في Muon مع منع النسيان الكارثي. لا تدعي الورقة حل جميع تحديات التعلم المستمر، بل تقدم بديلاً هندسياً مبدئياً يحقق مكاسب تجريبية في الاحتفاظ والتكيف عبر مختلف المجالات ونطاقات النماذج.