Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

ملخص تقني: "هل تنسى الشبكات العميقة التهيئة؟ رؤية من منظور زمن النسيان للتحيز الاستقرائي العملي"

بيان المشكلة
تتميز الشبكات العصبية الحديثة بأنها مفرطة في التخصيص (overparameterized)، مما يعني أن قدرتها وحدها لا يمكنها تفسير التعميم. وبينما تقوم عملية التدريب (البنية، المحسن، التنظيم، إلخ) باختيار دالة محددة من فئة الفرضيات، يظل دور الأوزان العشوائية الأولية في تحديد المتنبئ النهائي غامضاً. تقدم الأدبيات الحالية وجهتي نظر متضاربتين:

1. التهيئة كمصدر للتحيز: تشير الأعمال النظرية إلى أن الشبكات العشوائية تمتلك "تحيزاً للبساطة" (prior over functions) متأصلاً قد يستمر أثناء التدريب ويدفع نحو التعميم.
2. التهيئة كآلية لقابلية التدريب: غالباً ما تعامل عمليات التدريب واسعة النطاق في الممارسة العملية التهيئة مجرد أداة لاستقرار انتشار الإشارة ومنع انفجار أو تلاشي التدرجات، بافتراض أن المتنبئ النهائي مستقل إلى حد كبير عن البذرة الأولية بمجرد تقارب التدريب.

يستقصي البحث سؤالاً فرعياً دقيقاً: إلى أي مدى يعتمد المتنبئ النهائي الذي تختاره عملية تدريب حديثة على مقياس التهيئة العشوائية؟ وتحديداً، هل "تنسى" عملية التدريب الحالة الأولية، أم أن التحيز الأولي يستمر في الحل النهائي؟

المنهجية
أجرى المؤلفون دراسة تجريبية مضبوطة باستخدام شبكات ResNet على مجموعة بيانات CIFAR-10. وقد استحدثوا مقياساً تشخيصياً يسمى "ذاكرة التهيئة" (Initialization Memory)، والذي يُعرف باعتماد المتنبئ المختار للتحقق من الصحة على مقياس التهيئة $\sigma_w$.

• التصميم التجريبي: قاموا بمسح المقياس العالمي $\sigma_w$ لتهيئة النواة العشوائية مع تثبيت جميع العوامل الأخرى (البنية، تقسيم البيانات، المحسن، حجم الدفعة، جدول معدل التعلم، وأفق التدريب).
• المقاييس:
  • انتشار دقة الاختبار (Test Accuracy Spread): الفرق بين أفضل وأسوأ دقة اختبار عبر قيم $\sigma_w$ المختلفة عند أفضل نقطة تحقق لفقدان التحقق.
  • حقبة الاستيفاء ($\tau_{interp}$): الحقبة التي تصل فيها دقة التدريب إلى 99.5%.
  • نورم فروبينيوس ($\|W\|_F$): يُستخدم لقياس "الذاكرة الشعاعية" (ما إذا كان نورم الوزن النهائي لا يزال مرتبطاً بالنورم الأولي).
  • فجوة الإصلاح (Repair Gap): التغير في دقة التحقق بين مرحلة الاستيفاء والنقطة النهائية.
• المتغيرات: درست الدراسة متغيرات مختلفة من المحسنات (SGD، SGD مع الزخم، Adam، AdamW، Muon)، وأحجام الدفعات ($b \in \{16, 32, 64, 128, 256\}$)، وأعماق الشبكة (ResNet-9, 56, 110)، والتنظيم الصريح (L2 weight decay).
• الإطار النظري: استخدم المؤلفون تحليل الخطأ العكسي (backward error analysis) لتفسير المحسنات المنفصلة كتدفقات تدرج على أهداف معدلة. واقترحوا "أزمنة نسيان" بناءً على القوة المتراكمة لآليات التنظيم بدلاً من مجرد عدد الحقبات.

النتائج الرئيسية

1. الاعتماد على المحسن:

   • SGD يتذكر: في ظل معدلات تعلم منخفضة، يحتفظ SGD التقليدي بذاكرة قوية للتهيئة. في ResNet-9 مع حجم دفعة $b=128$، تتباين دقة الاختبار بمقدار 26.5 نقطة مئوية عبر مقاييس التهيئة، رغم تحقيق دقة تدريب $\ge 99.5\%$. يظل نورم الوزن النهائي مرتبطاً بالنورم الأولي.
   • الطرق التكيفية تنسى: تمحو طرق Adam وAdamW وMuon بشكل كبير الاعتماد على مقياس التهيئة. تحت نفس الظروف، يكون انتشار دقة الاختبار ضئيلاً (على سبيل المثال، ~4.0 نقاط مئوية لـ Muon). وهي تتقارب نحو مقياس نورم نهائي مشترك بغض النظر عن المقياس الأولي.

2. الاعتماد على المعلمات الفائقة (Hyperparameters):

   • وقت التدريب غير كافٍ: إن تمديد SGD ذو معدل التعلم المنخفض إلى 5,000 حقبة لا يقلل بشكل كبير من انتشار التهيئة؛ فالذاكرة تستمر.
   • التنظيم ومعدل التعلم: يمكن جعل SGD ينسى التهيئة إذا تضمنت وصفة التدريب معدلات تعلم أكبر أو تنظيماً صريحاً لـ L2 (weight decay). على سبيل المثال، إضافة L2 decay مع $\eta=10^{-2}$ يقلل الانتشار إلى ما يقرب من الصفر.
   • حجم الدفعة: الأحجام الأكبر للدفعة تبطئ عملية النسيان لـ SGD، مما يزيد من الانتشار.

3. العمق والبنية:

   • في الشبكات الأعمق (ResNet-56, ResNet-110)، تظهر ديناميكيات النسيان السيئة بشكل مختلف: فبدلاً من مجرد الاستيفاء مع تعميم ضعيف، غالباً ما تفشل الشبكات في التدريب جيداً (تفشل في الاستيفاء) عند مقاييس التهيئة الكبيرة.

4. أزمنة النسيان:
   حدد المؤلفون أن النسيان محكوم بـ "ساعات" تراكمية بدلاً من عدد الحقبات:

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$: الزمن الخاص بآثار الخطوات المحدودة العشوائية (ضجيج الدفعة الصغيرة). يتميز SGD ذو معدل التعلم المنخفض بـ $T_{SGD}$ صغير جداً، مما يؤدي إلى الاحتفاظ بالذاكرة.
   • $T_{L2} = \lambda \sum \eta_k$: الزمن الخاص بتلاشي النورم الصريح.
   • $T_{adapt} = \sum \eta_k$: الزمن الخاص بالمعالجة المسبقة التكيفية.
     تعمل الطرق التكيفية على مقياس $T_{adapt}$، وهو أكبر بكثير (نسيان أسرع) من مقياس $T_{SGD}$ الخاص بـ SGD ذو معدل التعلم المنخفض.

الأهمية والادعاءات
يزعم البحث أن "التحيز الاستقرائي العملي" للشبكة المدربة ليس مجرد الأولوية المعمارية الموجودة عند التهيئة، بل هو الأولوية المعمارية التي تمت تصفيتها بواسطة ديناميكيات النسيان لعملية التدريب.

• حل التناقض: يحل المؤلفون التناقض الظاهري بين نظريات "التحيز للبساطة" والتدريب العملي المستقر. ويجادلون بأن الآليات التي تحسن التعميم (مثل weight decay، والمحسنات التكيفية، ومعدلات التعلم الأكبر) هي بالضبط تلك التي تمحو ذاكرة التهيئة.
• دور التهيئة: في مسارات التدريب الحديثة الغنية بالتنظيم، تعمل التهيئة في المقام الأول كوسيلة لقابلية التدريب (استقرار التحسين، تمكين العمق) بدلاً من كونها مصدراً مستمراً للتحيز الاستقرائي. إن "نصل أوكام" (Occam's razor) الذي يهم في الممارسة العملية هو الذي تفرضه المنظمات المتراكمة على طول المسار، وليس خريطة المعلمات الأولية.
• القيود: يقر المؤلفون بأن نتائجهم تستند إلى شبكات BatchNorm ResNets على CIFAR-10. كما أن تعبيرات الزمن المقترحة هي مبادئ تنظيمية مشتقة من حجج خطية وثابتة المقياس، وليست نظريات عالمية لشبكات BatchNorm غير الخطية. ومع ذلك، فإن التسلسل الهرمي التجريبي الملاحظ (SGD يتذكر، الطرق التكيفية تنسى، التنظيم يمحو الذاكرة) يتوافق مع هذه الساعات النظرية.

باختاً، يوضح البحث أن الشبكات العميقة لا تنسى التهيئة تلقائياً؛ بل تنساها فقط عندما توفر ديناميكيات التدريب المحددة (العشوائية، التكيف، أو التنظيم الصريح) "زمن نسيان" كافياً لإعادة كتابة التحيزات الهندسية الأولية.