ملخص تقني: قوانين التدرج الطيفي الناجمة عن المُحسِّن

بيان المشكلة

وضعت قوانين التدرج الكلاسيكية للنماذج اللغوية الكبيرة (LLMs) علاقات قوة متوقعة بين خسارة التحقق (validation loss) والموارد مثل حجم النموذج، وحجم البيانات، والحوسبة. ومع ذلك، تتعامل هذه الأطر عادةً مع المُحسِّن (optimizer) كتفصيل تدريبي ثابت، بافتراض أنه يؤثر فقط على سرعة التقارب أو يعمل كعامل كفاءة ضربي. تتحدى هذه الورقة هذا الافتراض، وتفترض أن المُحسِّن هو محور أساسي لتدرج التمثيل. وبشكل محدد، يبحث المؤلفون في مدى فعالية المُحسّنات المختلفة في تحويل عرض الشبكة الأمامية (FFN) المتزايد إلى سعة طيفية مستغلة — أي الأبعاد الفعالة للفضاء الكامن. ويتساءلون عما إذا كان تطابق خسارة التحقق يعني تطابق هندسة التمثيل الداخلي، أم أن المُحسّنات المختلفة تحقق نفس السعة المعمارية من خلال هياكل طيفية مختلفة جوهرياً.

المنهجية

تستخدم الدراسة إطار تحليل طيفي يرتكز على الأطياف الذاتية (eigenspectra) لتمثيلات الشبكات الأمامية (FFN) داخل بنى المحولات (Transformers).

• المقاييس الطيفية: يستخدم المؤلفون عائلة رتب ريني الفعالة (Rényi effective-rank) لقياس الانتشار الطيفي. وقد استندوا في تحليلهم إلى مقياسين رئيسيين:
  • الرتبة الناعمة ($R_1$): تقابل $\alpha=1$ (إنتروبيا شانون)، وتقيس الانتشار الطيفي الموزون بالإنتروبيا وتلتقط السعة المنتشرة.
  • الرتبة الصلبة ($R_2$): تقابل $\alpha=2$ (نسبة المشاركة)، وتقيس الأبعاد الفعالة الحساسة للتركيز وتلتقط سعة الأنماط المهيمنة.
  • اللاتماثل بين الصلب والناعم ($\Delta_{1,2}$): يُعرف بـ $\log R_1 - \log R_2$، ويقيس الفجوة بين السعة المنتشرة والسعة المهيمنة.
• الإعداد التجريبي: أُجريت التجارب على نماذج Transformer من نوع GPT (مفككة فقط) بحجم 160 مليون و350 مليون معلمة، تم تدريبها على مجموعة بيانات FineWeb-Edu. تم تغيير بُعد الشبكة الأمامية المخفي ($D$) لإنشاء قوانين تدرج ($R(D) \propto D^\beta$).
• مقارنة المُحسّنات: تقارن الدراسة بين AdamW القياسي، والمُحسّنات المدركة للمصفوفات (Muon, NorMuon)، والمتغيرات المقيدة بالرتبة (Dion مع نسب رتبة $r$ متفاوتة).
• الطبقية: لمعالنة التوزيع الزائفي (Zipfian) لبيانات اللغة، تم تقسيم تمثيلات الـ FFN حسب تكرار الرموز (tokens) إلى أنظمة: الرأس (HEAD - متكررة)، الوسط (MID)، والذيل (TAIL - نادرة).
• الضوابط المعمارية: قارن المؤلفون بين التحولات المستحثة بالمُحسّن مقابل التدخلات المعمارية، وتحديداً زيادة رتبة الانتباه لكل رأس (عن طريق تقليل عدد الرؤوس) وإزالة ترميز الموضع الدوار (RoPE).

النتوات الرئيسية

1. قوانين التدرج الطيفي المعتمدة على المُحسِّن

تُظهر نفس بنية الـ Transformer قوانين تدرج طيفي مختلفة تماماً اعتماداً على المُحسّن.

• تدرج الرتبة الصلبة: يُظهر AdamW تدرج رتبة صلبة ضعيفاً ($\beta_{hard} \approx 0.29$ إلى $0.44$)، خاصة في أنظمة الرموز النادرة (TAIL). في المقابل، يحقق Muon تدرجاً شبه خطي ($\beta_{hard} \approx 1.02$) في نفس الأنظمة. ويمثل هذا زيادة بمقدار 2.3 ضعف في أس التدرج.
• اللاتماثل بين الصلب والناعم: يُظهر AdamW لاتماثاً موجباً كبيراً ($\Delta_{1,2} \approx 0.37$)، مما يشير إلى أن عرض الـ FFN المضاف يوسع الكتلة الطيفية المنتشرة بدلاً من اتجاهات التمثيل المهيمنة. بينما يقلل Muon وNorMuon هذا اللتماثل إلى ما يقرب من الصفر ($\Delta_{1,2} \approx 0.14$)، مما يعني أن العرض المضاف يُحول بكفاءة إلى سعة النمط المهيمن.

2. تطابق الخسارة $\neq$ تطابق الهندسة

تثبت الورقة أن خسارة التحقق هي مؤشر غير كافٍ لبنية التمثيل.

• التدريب الممتد: سمح تدريب AdamW لخطوات ممتدة (12 ألف مقابل 6 آلاف) له بمطابقة إدراك (perplexity) نسخة Dion (1/16). ومع ذلك، ظلت الهندسة الطيفية متميزة: حيث تلاشى تدرج الرتبة الصلبة لـ AdamW تقريباً ($\beta_{hard} \to 0.03$)، بينما حافظت Dion على تدرج قانون القوة القوي.
• معدل التعلم: أكد مسح معدلات التعلم أن الفجوة الطيفية بين AdamW وMuon ليست نتاج بارامتر فائق (hyperparameter)؛ إذ ظل أدنى أس للرتبة الصلبة لـ Muon يتجاوز باستمرار أعلى أس لـ AdamW عبر المسح.

3. التبعيات للتردد والرتبة

• تكرار الرموز: يظهر تأثير المُحسِّن بشكل أوضح في أنظمة الرموز الوسطى (MID) والذيل (TAIL). يعاني AdamW في توسيع السعة الصلبة للرموز النادرة، بينما يدرج Muon بشكل خطي.
• رتبة التحديث: باستخدام Dion، عزل المؤلفون تأثير رتبة التحديث. أدى تقليل كسر الرتبة ($r$) من $1/2$ إلى $1/16$ إلى انخفاض تدرج الرتبة الصلبة من $\beta \approx 0.88$ إلى $\beta \approx 0.40$ (مقترباً من مستويات AdamW)، بينما تدهورت الرتبة الناعمة بشكل تدريجي أكثر. وهذا يشير إلى أن رتبة التحديث تعمل كمفتاح تحكم لتحويل العرض إلى سعة النمط المهيمن.

4. الهيمنة على التدخلات المعمارية

غالباً ما تتجاوز التحولات الطفيفة المستحثة بالمُحسّن أو تعيد تشكيل آثار التغييرات المعمارية:

• رتبة الانتباه: أنتجت زيادة رتبة الانتباه لكل رأس (عن طريق تقليل عدد الرؤوس) تحولات في تدرج طفيف أقل من تبديل المُحسّنات في 28 نظاماً من أصل 30 (بناءً على التردد والمقياس).
• الترميز الموضعي: أدى إزالة RoPE إلى إعادة توزيع معتمدة على المُحسّن. بالنسبة لـ Muon، زادت حالة "NoPE" (بدون RoPE) من تدرج الرتبة الصلبة في نظام HEAD ولكنها قللت من تدرج MID/TAIL؛ أما بالنسبة لـ NorMuon، فقد قللت التدرج في جميع الأنظمة. وهذا يوضح أن الإشارات المعمارية يتم التعبير عنها من خلال هندسة المُحسّن.

الأهمية والادعاءات

تجادل الورقة بأن التدريب (optimization) يجب أن يُعامل كمحور أول للتمثيل، جنباً إلى جنب مع حجم النموذج، والبيانات، والحوسبة.

• التصميم المشترك بين المعمارية والمُحسّن: السعة الطيفية المتحققة هي خاصية لـ الزوج (المعمارية-المُحسّن)، وليس المعمارية وحدها. التدخلات المعمارية (مثل تغيير رتبة الانتباه أو ترميزات الموضع) لا تُحدث تحولات ثابتة ومستقلة عن المُحسّن؛ بل يتم توسط آثارها من خلال هندسة المُحسّن.
• بنية التمثيل: يحدد اختيار المُحسّن كيفية هيكلة سعة النموذج عبر الأنماط الذاتية (eigenmodes) وكيفية تخصيصها عبر أنظمة تكرار الرموز. إنه ليس مجرد مفتاح كفاءة لسرعة التقارب.
• القيود: يشير المؤلفون إلى أن هذه النتائج تم إثباتها ضمن نظام تجريبي محكوم (نماذج GPT حتى 350 مليون معلمة). وبينما تكرر نتائج الـ 350 مليون أنماط الـ 160 مليون، فإن هناك حاجة لمزيد من التحقق عند مقاييس ضخمة (1 مليار+). بالإضافة إلى ذلك، بينما تقيس الرتب الطيفية استخدام السعة، فإنها لا تشخص بالكامل سلوك المهام اللاحقة.

ختاماً، تحفز هذه الدراسة التحول نحو التصميم المشترك بين المُحسّن والمعمارية، مما يشير إلى أن قوانين التدرج المستقبلية يجب أن تأخذ في الاعتبار الانحيازات الاستقرائية الضمنية للمُحسّن كمحدد رئيسي لكيفية تحقيق سعة النموذج.