Learning Rate Transfer in Normalized Transformers

إليك ملخص تقني مفصل لورقة البحث "Learning Rate Transfer in Normalized Transformers" من إعداد Shigida وHanin وGromov.

1. بيان المشكلة

تتناول الورقة تحدي نقل المعلمات الفائقة (Hyperparameter Transfer) في المحولات الموحدة (Normalized Transformers - nGPT)، وهي نسخة معدلة من بنية الـ Transformer قدمها Loshchilov وآخرون (2025).

• السياق: تحقق nGPT تسريعاً كبيراً في التدريب وتلغي الحاجة إلى اضمحلال الأوزان (weight decay) وفترة الإحماء لمعدل التعلم (learning rate warmup) من خلال توحيد الأوزان والتنشيطات بشكل مكثف (باستخدام معايير $\ell_2$ بدلاً من LayerNorm/RMSNorm).
• المشكلة: على الرغم من أن nGPT تمتلك معلمات فائقة تتناسب مع حجم النموذج، إلا أن المؤلفين لاحظوا أنها تفشل في إظهار خاصية نقل معدل التعلم (learning rate transfer) عبر عرض النموذج (البعد)، وعمقه (عدد الطبقات)، وأفق التوكنات (عدد دورات التدريب).
• قصور الطرق الحالية: تعتمد تقنيات النقل القياسية مثل $\mu$P (Maximal Update Parametrization) على فرضيات نظرية محددة حول توافق الأوزان والتنشيطات (تحديداً، ما إذا كانت متوافقة تماماً أو غير متوافقة بطرق معينة). وجد المؤلفون أن هذه الافتراضات لا تنطبق على nGPT، مما يؤدي إلى أداء دون المستوى عند التوسع في الحجم.

2. المنهجية

يقترح المؤلفون بارامترياً جديداً يسمى $\nu$GPT (nu-GPT). يجمع نهجهم بين التجارب العددية وإطار نظري رصين يعتمد على أسات المحاذاة (alignment exponents) (Everett وآخرون، 2024).

أ. الإطار النظري: أسات المحاذاة

بدلاً من افتراض نظام "المحاذاة الكاملة" ($\alpha=1$) أو نظام "عدم المحاذاة" ($\alpha=1/2$) المستخدم في $\mu$P، قام المؤلفون بقياس أسات المحاذاة ($\alpha, \omega, \nu$) تجريبياً، والتي تصف كيفية توسع تحديثات الأوزان والتنشيطات بالنسبة لبعد النموذج $d_{model}$.

• عرّفوا الأسات لكيفية توسع التغير في حاصل ضرب المصفوفة والمتجه: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$.
• النتيجة الرئيسية: في nGPT، لوحظ نظام "المحاذاة المتوسطة"، حيث $\max\{\alpha, \nu\} \approx 3/4$. وهذا يتناقض مع افتراض $\mu$P بأن $\max\{\alpha, \nu\} = 1$ (محاذاة كاملة) أو $1/2$ (لا محاذاة).

ب. بارامتري $\nu$GPT

بناءً على فرضية "المحاذاة المتوسطة" ($\max\{\alpha, \nu\} = 3/4$) وقوانين التوسع التجريبية، استنتج المؤلفون قواعد توسع محددة لمعدلات التعلم ($\eta$) ومعلمات التهيئة (initialization). لتكن $m_{width}$ و $m_{depth}$ و $m_{data}$ هي مضاعفات العرض والعمق وعدد التوكنات بالنسبة للنموذج الأساسي.

قواعد التوسع الرئيسية في $\nu$GPT:

1. معدل التعلم العالمي (Global Learning Rate): يتوسع كـ $m_{data}^{-1/3}$. هذا يصحح أفق التوكنات، ويختلف عن $m_{data}^{-1/2}$ المقترحة من بعض النظريات السابقة القائمة على المعادلات التفاضلية العشوائية (SDE).
2. أوزان التضمين (Embedding Weights - $\eta_{input}$): تتوسع كـ $m_{width}^{-1/2}$.
3. الأوزان المخفية/أوزان فك التضمين (Hidden/Unembedding Weights - $\eta_{hidden}, \eta_{output}$): تتوسع كـ $m_{width}^{-3/4}$. هذا هو الانحراف الحاسم عن $\mu$P (الذي يستخدم $m_{width}^{-1}$ أو $m_{width}^{-1/2}$ اعتماداً على النسخة).
4. تصحيحات العمق:
   • ناقلات إعادة التدرج القابلة للتدريب $\alpha_{A, init}$ و $\alpha_{M, init}$ يتم توسيعها بمقدار $m_{depth}^{-1}$.
   • على عكس "Depth-$\mu$P" (الذي يوسع معدلات التعلم المخفية بمقدار $m_{depth}^{-1/2}$)، وجد $\nu$GPT أن معدلات التعلم المخفية لا ينبغي توسيعها مع العمق في nGPT، حيث أن المكونات القابلة للتدريب تتولى معالجة استقرار العمق طبيعياً.
5. ثوابت التهيئة (Initialization Constants): تُستخدم ثوابت ثابتة (مثل 0s.03) لمعاملات المقياس ($\alpha_{scale}$) بدلاً من التوسع مع $d_{model}^{-1/2}$.

3. المساهمات الرئيسية

1. تحديد فشل $\mu$P في nGPT: إثبات أن افتراضات $\mu$P القياسية المتعلقة بمحاذاة الوزن والتنشيط غير صالحة للهياكل الموحدة، مما يؤدي إلى نقل سيئ لمعدل التعلم.
2. اقتراح $\nu$GPT: تقديم بارامتري جديد يستهدف صراحةً نظام "المحاذاة المتوسطة" ($\approx 3/4$) الملاحظ في nGPT.
3. توسع أفق التوكنات: إثبات أن معدل التعلم الأمثل في nGPT يتوسع مع عدد التوكنات كـ $T^{-1/3}$، مما يصقل التوقعات النظرية السابقة التي كانت $T^{-1/2}$.
4. رؤية نقل العمق: إظهار أنه بالنسبة للنماذج الموحدة ذات المكونات القابلة للتدريب، فإن التوسع الصريح لمعدل التعلم المخفي غير ضروري وقد يكون ضاراً؛ وبدلاً من ذلك، يكفي توسيع تهيئة تلك المكونات.

4. النتائج التجريبية

تحقق المؤلفون من صحة $\nu$GPT باستخدام مجموعة بيانات FineWeb-Edu مع استخدام مُجزئ (tokenizer) OLMo 2.

• نقل العرض (Width Transfer):
  • النموذج الأساسي nGPT: أظهر عدم وجود نقل لمعدل التعلم؛ حيث تدهور الأداء مع زيادة العرض.
  • تصحيحات نمط $\mu$P: أظهرت انحرافاً طفيفاً في معدلات التعلم المثلى.
  • $\nu$GPT: حقق نقلاً مثالياً لمعدل التعلم عبر العرض (من 0.26 مليار إلى 3.22 مليار معلمة) دون أي فقدان في خسارة التحقق (validation loss) مقارنة بالنموذج الأساسي الذي تم ضبطه.
• نقل العمق (Depth Transfer):
  • أظهر نموذج nGPT الأساسي نقلاً جيداً للعمق ولكنه أصبح غير مستقر عند الأعماق القصوى.
  • حافظ $\nu$GPT على الاستقرار والأداء عبر الأعماق (من 8 إلى 128 طبقة)، مظهرًا حساسية أقل تجاه خيارات معدل التعلم عند الأعماق الكبيرة.
• نقل أفق التوكنات (Token Horizon Transfer):
  • أكدت التجارب قانون التوسع $T^{-1/3}$ لمعدل التعلم الأمثل مع زيادة عدد دورات التدريب.
• التحقق من أسات المحاذاة:
  • أكدت القياسات التجريبية أن $\omega_{hidden} = \omega_{output} = 1/2$ وأن $\max\{\alpha, \nu\} \approx 0.75$ (المحاذاة المتوسطة)، مما يؤكد الأساس النظري لـ $\nu$GPT.

5. الأهمية

• الأثر العملي: يتيح $\nu$GPT للباحثين تدريب نماذج Transformer موحدة واسعة النطاق ببساطة عن طريق ضبط المعلمات الفائقة على نماذج صغيرة ونقلها مباشرة إلى أحجام ضخمة، مما يوفر موارد حوسبة كبيرة.
• التقدم النظري: تتحدى الورقة عالمية $\mu$P، حيث تثبت أن الخيارات المعمارية المختلفة (تحديداً مخططات التوحيد) تتطلب افتراضات محاذاة وقوانين توسع مختلفة.
• الكفاءة: من خلال إزالة الحاجة إلى اضمحلال الأوزان وفترة الإحماء مع تمكين التوسع القوي، يقدم $\nu$GPT مسار تدريب أكثر سلاسة وكفاءة للنماذج التأسيسية من الجيل القادم.

باختصار، تقدم الورقة حلاً صارماً ومبنياً على التجربة لمشكلة التوسع في المحولات الموحدة، مستبدلةً نهج $\mu$P الذي يحاول تطبيق "حل واحد للجميع" ببارامتري مخصص ($\nu$GPT) يحترم الديناميكيات الفريدة للهياكل الموحدة.