📊 statistics

The Effect of Mini-Batch Noise on the Implicit Bias of Adam

تقدم هذه الورقة إطاراً نظرياً يوضح أن ضجيج الدفعات الصغيرة (mini-batch noise) يغير بشكل جوهري الانحياز الضمني لمعلمات الزخم في خوارزمية "آدم" (Adam)، كاشفةً أنه في حين أن التكوين القياسي $(\beta_1, 0.999)$ يكون مثالياً للدفعات الصغيرة، فإن الدفعات الأكبر تتطلب تعديل $\beta_1$ ليكون أقرب إلى $\beta_2$ لتجنب التنظيم العكسي (anti-regularization) وتحسين التعميم.

المؤلفون الأصليون: Matias D. Cattaneo, Boris Shigida

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matias D. Cattaneo, Boris Shigida

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب (نموذج ذكاء اصطناعي) كيفية حل لغز معقد. لديك أداتان رئيسيتان لمساعدته على التعلم:

أداة "الذاكرة" (الزخم - Momentum): هي بمثابة طالب يتذكر أخطاءه الماضية وينعم مسار تعلمه. إذا تعثر بالأمس، فإنه يعدل خطواته اليوم لتجنب التعثر مرة أخرى. في الورقة البحثية، يتم التحكم في هذا من خلال إعداد يسمى $\beta_1$ .
أداة "الضجيج" (حجم الدفعة - Mini-batch Size): هي بمثابة عدد المسائل التدريبية التي يراها الطالب في المرة الواحدة.
- الدفعة الصغيرة (ضجيج عالٍ): يرى الطالب بضع مسائل فقط في كل مرة. تكون التغذية الراجعة "صاخبة" أو متذبذبة لأنها تعتمد على عينة صغيرة وغير ممثلة للواقع.
- الدفعة الكبيرة (ضجيج منخفض): يرى آلاف المسائل دفعة واحدة. تكون التغذية الراجعة سلسة، واضحة، ودقيقة للغاية.

تبحث الورقة البحثية في أداة ثالثة، وهي $\beta_2$ ، والتي تتحكم في مدى ثقة الطالب في تاريخ أخطائه الأخير مقابل تاريخه البعيد.

الاكتشاف الكبير: مفتاح "غولديلوكس" (التوازن المثالي)

لسنوات، كانت النصيحة القياسية لتدريب الذكاء الاصطناعي هي ضبط "الذاكرة" ( $\beta_1$ ) عند 0.9 و"التاريخ الأخير" ( $\beta_2$ ) عند 0.999. وهذا يعني: "ثق في تاريخك الأخير أكثر بكثير من تاريخك القديم".

اكتشف مؤلفو هذه الورقة أن هذه النصيحة القياسية صحيحة جزئياً فقط. فهي تعتمد كلياً على مقدار "الضجيج" (مدى صغر حجم دفعتك).

1. سيناريو "الدفعة الصغيرة" (ضجيج عالٍ)

الموقف: أنت تعطي الطالب عدداً قليلاً جداً من المسائل التدريبية في كل مرة. التغذية الراجعة متذبذبة وفوضوية.
المشكلة: أداة "الذاكرة" (الإعداد الافتراضي) تجعل الأمور أسوأ بالفعل. فهي تتمسك بمعلومات قديمة وصاخبة تشتت الطالب، مما يجعله يعلق في "الزوايا الحادة" لمساحة الحل (الأماكن التي تكون فيها الإجابة هشة وتتغير بسهولة).
الحل: في هذه البيئة الصاخبة، تحتاج إلى زيادة $\beta_2$ (الثقة في التاريخ الأخير بشكل أكبر).
التشبيه: تخيل أنك تسير في غابة ضبابية مع خريطة مهتزة. إذا اعتمدت كثيراً على ذاكرتك لما كنت عليه قبل 10 دقائق (والذي قد يكون منعطفاً خاطئاً)، فستضيع. أنت بحاجة إلى الاعتماد بشدة على ما تراه تحت قدميك مباشرة الآن. تُظهر الورقة أنه في البيئات عالية الضجيج، يكون الإعداد القياسي ( $\beta_1 \ll \beta_2$ ) هو الصحيح لأن "الضجيج" يساعد في إلغاء الآثار السيئة للذاكرة.

2. سيناريو "الدفعة الكبيرة" (ضجيج منخفض)

الموقف: أنت تعطي الطالب آلاف المسائل التدريبية دفعة واحدة. التغذية الراجعة واضحة تماماً وسلسة.
المشكلة: الآن، تعمل أداة "الذاكرة" كعادة عنيدة. نظرًا لأن التغذية الراجعة واضحة جداً، فإن ذاكرة الطالب للخطوات الماضية تبدأ في دفعه نحو "الزوايا الحادة" مرة أخرى، ولكن هذه المرة، زيادة $\beta_2$ تجعل الأمر أسوأ.
الحل: في هذه البيئة الواضحة، يجب عليك جعل $\beta_1$ و $\beta_2$ متساويين (على سبيل المثال، كلاهما 0.9).
التشبيه: تخيل الآن أنك تسير في حقل مفتوح ومشمس مع خريطة مثالية. إذا اعتمدت كثيراً على خطواتك الأخيرة (نسبة $\beta_2$ عالية) مقارنة بخطواتك القديمة، فستبدأ في التعرج دون داعٍ. بدلاً من ذلك، تريد ذاكرة متوازنة حيث تعمل خطواتك الأخيرة وخطواتك القديمة في انسجام. تتنبأ الورقة أنه عندما تكون البيانات كبيرة ونقية، فإن ضبط $\beta_1 \approx \beta_2$ يؤدي إلى حل "أكثر تسطحاً" واستقراراً، مما يحسن القدرة على التعميم.

"نقطة التحول"

تحسب الورقة "نقطة تحول" محددة بناءً على حجم دفعة البيانات الخاصة بك.

أقل من نقطة التحول (الدفعات الصغيرة): تنطبق قواعد "الضجيج". حافظ على $\beta_1$ منخفضة و $\beta_2$ عالية (الإعداد الافتراضي).
فوق نقطة التحول (الدفعات الكبيرة): تنطبق قواعد "الوضوح". اجعل $\beta_1$ و $\beta_2$ متقاربين.

لماذا يهم هذا؟ "الحدة" مقابل "التسطح"

يستخدم المؤلفون استعارة التضاريس:

النهايات الصغرى الحادة (Sharp Minima): تخيل إبرة واقفة على رأسها. إنه حل يعمل بشكل مثالي للمسائل التدريبية المحددة التي رأيتها، ولكن إذا تغيرت المسألة قليلاً (مثل سؤال اختبار جديد)، ستسقط الإبرة. هذا أمر سيء للقدرة على التعميم.
النهايات الصغرى المسطحة (Flat Minima): تخيل وادياً واسعاً ومنبسطاً. يمكنك التجول فيه قليلاً، وستظل داخل الوادي. هذا الحل قوي ويعمل جيداً حتى عندما تتغير المسألة قليلاً.

تجادل الورقة بأن التفاعل بين إعدادات "الذاكرة" وحجم "الدفعة" يدفع الطالب سراً نحو الإبرة (الحادة) أو الوادي (المسطح).

في الدفعات الصغيرة، يدفعك الضجيج طبيعياً نحو الوادي، ولكن فقط إذا استخدمت الإعدادات القياسية.
في الدفعات الكبيرة، يعني غياب الضجيج أن إعدادات الذاكرة ستتولى السيطرة. إذا لم تقم بتعديلها (عن طريق جعل $\beta_1$ و $\beta_2$ متشابهين)، فإن الذاكرة ستدفعك للعودة نحو الإبرة.

ملخص ادعاءات الورقة

الافتراضي ليس عالمياً: الإعداد الشهير $\beta_1=0.9$ و $\beta_2=0.999$ رائع للدفعات الصغيرة ولكنه غير مثالي للدفعات الكبيرة جداً.
الانعكاس: مع زيادة حجم الدفعة، تنقلب العلاقة "الأفضل" بين $\beta_1$ $β_{1}$ و $\beta_2$ $β_{2}$ .
- الدفعة الصغيرة: حافظ على $\beta_1$ أصغر بكثير من $\beta_2$ .
- الدفعة الكبيرة: اجعل $\beta_1$ و $\beta_2$ متساويين تقريباً.
الدليل: لقد أثبتوا ذلك رياضياً من خلال تحليل كيفية تفاعل "الضجيج" في البيانات مع "ذاكرة" المحسن (optimizer). كما اختبروا ذلك على النماذج اللغوية (مثل Llama 3) ووجدوا أن أداء التحقق (مدى جودة أداء النموذج على بيانات جديدة) اتبع توقعاتهم: "أفضل" الإعدادات تغيرت مع نمو حجم الدفعة.

باختًا: إذا كنت تتدرب باستخدام قطع صغيرة من البيانات، فالتزم بالإعدادات الافتراضية. إذا كنت تتدرب باستخدام قطع ضخمة من البيانات، فيجب عليك تعديل إعداداتك لموازنة ذاكرتك بشكل أكثر توازناً.

بيان المشكلة
يُعد Adam وAdamW من المحسنات القياسية في التعلم العميق، ومع ذلك، فإن اختيار المعلمات الفائقة للزخم (momentum hyperparameters)، $\beta_1$ و $\beta_2$ ، غالبًا ما يفتقر إلى أساس مبدئي يتجاوز مجرد العرف (عادةً $\beta_1=0.9, \beta_2=0.999$ ). وبينما تقوم ممارسات التدريب واسعة النطاق مؤخرًا بخفض $\beta_2$ أحيانًا (مثل 0.95) لتحسين الاستقرار، فإن التفاعل بين هذه المعلمات الفائقة، وحجم الدفعة ( $b$ )، وما ينتج عن ذلك من انحياز ضمني نحو حدة مشهد الخسارة (loss landscape sharpness) لا يزال غير مفهوم بشكل كافٍ. وهذا أمر بالغ الأهمية لأن حدة الخسيرة تعمل كوكيل ميكانيكي للتعميم في التدريب متعدد الحقب (multi-epoch training)، وتؤثر على أداء ما بعد التدريب (مثل تدهور التكميم/quantization degradation والنسيان الكارثي/catastrophic forgetting) حتى في التدريب المسبق أحادي الحقبة. السؤال المركزي هو ما إذا كانت العلاقة المفضلة بين $\beta_1$ و $\beta_2$ وحجم الدفعة تتغير عبر أنظمة الضجيج المختلفة.

المنهجية
يطور المؤلفون إطارًا نظريًا لتحليل الانحياز الضمني لـ Adam من خلال عزل آثار ضجيج الدفعة المصغرة (mini-batch noise) والذاكرة. يتبع النهج ثلاث خطوات:

إزالة الذاكرة: باستخدام تقنية من Cattaneo وShigida [10]، يحول المؤلفون تكرار Adam المعتمد على الذاكرة إلى تكرار عديم الذاكرة مع حد تصحيح صريح. يسمح هذا بديناميكيات يمكن تقريبها كدالة للحالة الحالية فقط، مع حد خطأ عالمي قدره $O(\eta^2)$ .
توسيع الضجيج والمتوسط: يطبقون هذا الإطار على Adam الخاص بالدفعة المصغرة، مع توسيع حد التصحيح حتى الرتب الثانية من كثيرات الحدود في مشتقات الضجيج. ومن خلال حساب المتوسط لجميع تبديلات العينات (أخذ العينات بدون استبدال)، يشتقون حد تصحيح صريح يفصل تأثيرات الدفعة الكاملة عن تأثيرات ضجيج الدفعة المصغرة.
تفسير وكيل الحدة: يتم تفسير الحدود المهيمنة للنتيجة من خلال وكيل للحدة (sharpness proxy). وتحديدًا، يركز التحليل على كيفية اعتماد معاملات هذه الحدود على $\beta_1$ و $\beta_2$ و"مقياس الضجيج البسيط" $B_{simple}$ (المرتبط بحجم الدفعة الحرج). يحلل المؤلفون رتابة معامل انحياز الحدة $C_{total}$ كدالة للـ betas تحت نظامين: $\beta_1$ ثابت مع تغيير $\beta_2$ ، و $\beta_2$ ثابت مع تغيير $\beta_1$ .

المساهمات والنتائج الرئيسية
يقدم البحث أول تفسير نظري لانعكاس يعتمد على حجم الدفعة في الاختيار المفضل لـ betas الخاصة بـ Adam، مدفوعًا بآلية انحياز الحدة الضمنية:

انعكاس الرتابة: العلاقة بين $\beta_2$ $β_{2}$ وعقاب الحدة ليست رتيبة عبر جميع أحجام الدفعات.
- نظام الضجيج العالي، الدفعة الصغيرة ( $b \ll 2B_{simple}$ ): يعكس ضجيج الدفعة المصغرة الرتابة. في هذا النظام، يقوم $\beta_2$ الأكبر بتعويض حد الذاكرة المضاد للتنظيم (anti-regularizing memory term). وبناءً على ذلك، فإن الترتيب الافتراضي $\beta_1 \ll \beta_2$ (مثل 0.9 مقابل 0.999) مبرر نظريًا لتحسين التعميم وتقليل حساسية النموذج.
- نظام الضجيج المنخفض، الدفعة الكبيرة ( $b \gg 2B_{simple}$ ): زيادة $\beta_2$ تقوي التنظيم المضاد الناتج عن الذاكرة. هنا، يُتوقع أن يكون اختيار $\beta_1$ قريبًا من $\beta_2$ (مثل $\beta_1 = \beta_2 = 0.9$ ) متفوقًا من أجل التعميم.
التأثير المتماثل لـ $\beta_1$ : يحدث انعكاس مماثل عند مسح $\beta_1$ مع تثبيت $\beta_2$ عند 0.999. بالنسبة للدفعات الكبيرة، يُفضل $\beta_1$ الأكبر؛ وللدفعات الصغيرة، يُفضل $\beta_1$ الأصغر للحفاظ على هيكل $\beta_1 \ll \beta_2$ .
مقياس الانتقال: يحدث الانتقال بين هذه الأنظمة عند مقياس حجم دفعة محكوم بـ $2B_{simple}$ ، وهو مرتبط ارتباطًا وثيقًا بحجم الدفعة الحرج.
التحقق التجريبي: تدعم التجارب على نموذج Transformer صغير يفرط في التخصيص (overfitting) على WikiText-2، وعمل تدريب مسبق لنموذج Llama3 بـ 280 مليون معلمة على DCLM، هذه التنبؤات النوعية. تظهر النتائج أنه في إعدادات الدفعة الصغيرة، تؤدي زيادة $\beta_2$ إلى تقليل خسارة التحقق والحدة، بينما في إعدادات الدفعة الكبيرة، ينعكس هذا الاتجاه، حيث يعطي $\beta_2$ الأقل (أو $\beta_1 \approx \beta_2$ ) أداءً أفضل.

الأهمية
يدعي البحث أنه يقدم أول حجة نظرية قائمة على التعميم تشرح لماذا تعتمد العلاقة المثلى بين معلمات الزخم لـ Adam على حجم الدفعة. إنه يتحدى فكرة أن المعلمات الفائقة الافتراضية مثالية عالميًا، مقترحًا بدلاً من ذلك أن "النقطة المثالية" لـ $\beta_1$ و $\beta_2$ تتحدد من خلال التفاعل بين التنظيم المضاد الناجم عن الذاكرة وضجيج الدفعة المصغرة. تقدم النتائج قاعدة عملية للممارسين: استخدم الوضع الافتراضي $\beta_1 \ll \beta_2$ للدفعة الصغيرة، وفكر في $\beta_1 \approx \beta_2$ للدفعة الكبيرة جدًا لتحسين التعميم وحساسية النموذج. يتوافق النظرية مع العمل التجريبي الكبير ولكنه يوفر اشتقاقًا ميكانيكيًا متجذرًا في الانحياز الضمني وحدّة مشهد الخسارة.