Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

ملخص تقني: لماذا يعمل Adam بشكل أفضل عندما تكون $\beta_1 = \beta_2$

بيان المشكلة
على الرغم من أن Adam هو المحسن الافتراضي لتدريب الشبكات العصبية واسعة النطاق منذ ما يقرب من عقد من الزمان، إلا أن ملاحظة تجريبية مستمرة تظل غير مفسرة: غالبًا ما تتحسن استقرار التدريب وأداء التحقق (validation performance) عندما يتم ضبط معلمات الزخم لتكون متساوية ($\beta_1 = \beta_2$). وبينما وثقت دراسات حديثة (مثل Orvieto و Gower [2025]) هذه الظاهرة عبر بنيات مختلفة، لم يكن هناك تفسير نظري صارم لسبب تحقيق هذا التكوين المحدد لسلوك أفضل أو كيفية ارتباطه بالديناميكيات الداخلية للمحسن. علاوة على ذلك، يتضمن توجه موازٍ في تصميم المحسنات الحديثة (مثل Lion و Muium و Scion) فرض صراحةً تحديثات قوية تجاه المقياس (scale-robust updates)، ومع ذلك ظل الارتباط بين هذه الطرق الجديدة ونظام "التوازن" في Adam غير واضح.

المنهجية
يقدم المؤلفون خاصية هيكلية تسمى ثبات مقياس التدرج (gradient scale invariance) لتحليل ديناميكيات Adam. لقد قاموا بصياغة هذا المفهوم كما يلي: يكون المحسن ثابتًا تجاه مقياس التدرج إذا كان إعادة قياس التدرج الحالي بمعامل موجب $\lambda$ (مع بقاء الحالة الداخلية ثابتة) يترك متجه التحديث دون تغيير جوهري.

للتحقيق في ذلك، يستخدم المؤلفون تحليل الحد الزمني المستمر (continuous-time limit) لخوارزمية Adam. لقد قاموا بنمذجة Adam كتقطعات زمنية لنظام ديناميكي محكوم بمعادلات تفاضلية عادية (ODEs). ومن خلال إدخال أزمنة استرخاء $\tau_1$ و $\tau_2$ المقابلة للمعلمات المنفصلة $\beta_1$ و $\beta_2$ (عبر $\beta_i = e^{-\Delta t/\tau_i}$)، اشتقوا تدفقًا زمنيًا مستمرًا للعزوم الأولى والثانية ($m(t)$ و $v(t)$).

يتضمن جوهر التحليل تفكيك متجه التحديث الموحد $R(t) = m(t)/\sqrt{v(t)}$ إلى مكونات تعتمد على الانجراف اللوغاريتمي للمقياس (logarithmic scale drift) للتدرج، والمعرف بـ $\delta(t) = \frac{d}{dt} \log |g(t)|$. أثبت المؤلفون أن التحديث يمكن تفكيكه إلى مكون يعتمد على إشارة ثابتة المقياس، ومصطلح "تأخر المقياس" (scale-lag) صريح يتناسب مع $(\tau_2 - \tau_1)\delta(t)$، ومصطلحات متبقية من رتب أعلى.

المساهمات الرئيسية

1. صياغة ثبات مقياس التدرج: حددت الورقة ثبات مقياس التدرج من الدرجة الأولى، حيث تتلاشى الاستجابة الخطية الصريحة للتغيرات في مقياس التدرج.
2. التوصيف النظري لـ Adam: أثبت المؤلفون أن Adam يحقق ثبات مقياس التدرج من الدرجة الأولى إذا وفقط إذا كانت $\beta_1 = \beta_2$ (أو بالتكافؤ $\tau_1 = \tau_2$).
   • عندما تكون $\beta_1 \neq \beta_2$، يحتوي التحديث على حد من الدرجة الأولى يتناسب مع انجراف مقياس التدرج، مما يجعل التحديث حساسًا للتقلبات في مقدار التدرج.
   • عندما تكون $\beta_1 = \beta_2$، يلغي هذا الحد من الدرجة الأولى تمامًا، مما يدفع الحساسية إلى الدرجة الثانية. وبناءً على ذلك، يتصرف التحديث بشكل يشبه الطرق القائمة على الإشارة (sign-based methods)، وهي بطبيعتها ثابتة المقياس.
3. التحقق الاصطناعي والتجريبي:
   • التجارب الاصطناعية: أظهرت تجارب محكومة مع إشارات تدرج أعيد قياسها أنه عندما تكون $\beta_1 = \beta_2$، يظل معيار متجه التحديث مستقرًا تحت تغيرات المقياس، بينما تؤدي $\beta_1 \neq \beta_2$ إلى انحرافات كبيرة من الدرجة الأولى.
   • التدريب في العالم الحقيقي: أظهرت التجارب المكثفة عبر مهام الرؤية (EfficientNet, ResNet, ViT) واللغة (NanoGPT, T5) أن تذبذب معيار التحديث ($\|R_k\|$) يقل إلى أدنى مستوياته عندما تكون $\beta_1 = \beta_2$. حدد المؤلفون مقياس تذبذب $\omega$ لقياس هذا الاستقرار، ووجدوا أن التكوينات القطرية تحقق مسارات تحديث أكثر سلاسة باستمرار.
   • الأهمية الإحصائية: يؤكد اختبار ثنائي الحد (binomial test) عبر عدة أزواج من النماذج والبيانات أن قيمة $\beta_2$ التي تقلل التذبذب في استقرار التحديث تتطابق مع $\beta_1$ بدلالة إحصائية عالية.

النتائج
تؤكد التجارب أن الإلغاء النظري لمصطلح تأخر المقياس يترجم مباشرة إلى ديناميكيات التدريب العملية.

• استقرار معيار التحديث: في جميع البنيات المختبرة (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5)، يظهر معيار التحديث $\|R_k\|$ تذبذبًا أقل بكثير عندما تكون $\beta_1 = \beta_2$ مقارنة بالإعدادات غير القطرية.
• تحليل التفكيك: يكشف تحليل تشخيصي لإعادة تشغيل تدرجات اختبار ثابتة أنه عندما تكون $\beta_1 \neq \beta_2$، فإن مصطلح تأخر المقياس الصريح يمثل حوالي 50% من إجمالي ميزانية التحديث الموحد. وعندما تكون $\beta_1 = \beta_2$، يتلاشى هذا المصطلح، ويصبح التحديث مهيمنًا على مكون الإشارة الثابت المقياس.
• المتانة: تسري النتائج عبر مختلف البذور العشوائية (random seeds)، وجداول معدل التعلم، والعائلات المعمارية، مما يشير إلى أن هذه الظاهرة هي خاصية أساسية لهيكل المحسن وليست نتاجًا لمعلمات فائقة محددة.

الأهمية والادعاءات
تدعي الورقة أنها تقدم تفسيرًا نظريًا متماسكًا للنجاح التجريبي لنظام التوازن ($\beta_1 = \beta_2$) في Adam. وتفترض أن هذا التكوين ليس مجرد وسيلة مساعدة ملائمة، بل هو محاذاة هيكلية تمنح Adam ثبات مقياس التدرج من الدرجة الأولى.

يجادل المؤلفون بأن هذه الخاصية تضع نظام Adam المتوازن في نفس الفئة المفاهيمية للمحسنات الحديثة ذات الأداء العالي (مثل Lion و Muon) التي تُصمم صراحةً من أجل المتانة تجاه المقياس. ومن خلال تحديد أن هذه الخاصية المرغوبة كامنة ضمن صيغة Adam القياسية، يعمل هذا العمل على جسر الفجوة بين الطرق التكيفية التقليدية والتصاميم الحديثة الثابتة المقياس.

تخلص الورقة إلى أن تقليل الحساسية تجاه مقياس التدرج هو مبدأ هيكلي للتحسين التكيفي المستقر. وبينما لا تقترح الورقة محسنًا جديدًا، إلا أنها تقدم مبدأً توجيهيًا لتصميم المحسنات وتقترح أن ضبط $\beta_1 = \beta_2$ هو خيار مبني على أسس لتحسين استقرار التدريب، خاصة في الأنظمة التي يتذبذب فيها مقدار التدرج. ويظل المؤلفون متواضعين، مشيرين إلى أن تحليلهم محلي ومعاملي (coordinate-wise)، وأن القيمة المثلى لـ $\beta$ المشتركة على القطر تظل مسألة مفتوحة تعتمد على ديناميكيات تدريب محددة.