Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

ملخص تقني: نحو فهم ديناميكيات تدفق التدرج للشبكات العصبية المتجانسة لما بعد نقطة الأصل

بيان المشكلة
تُظهر الشبكات العصبية العميقة الحديثة التي يتم تدريبها عبر طرق تعتمد على التدرج قدرة قوية على التعميم رغم فرط المعلمات، وهي ظاهرة تُعزى إلى التنظيم الضمني الذي تفرضه خوارزمية التدريب. وبينما تم إحراز تقدم كبير في فهم ديناميكيات التدريب في نظام "نواة التانغنت العصبية" (NTK) (التهيؤ الكبير)، وفي المراحل المتأخرة من التدريب، إلا أن نظام "التهيؤ الصغير" لا يزال أقل فهماً. في هذا النظام، تعمل الشبكات في وضع تعلم الميزات (feature-learning mode)، ومع ذلك فإن التطور غير الخطي للغاية للأوزان يفرض تحديات تحليلية.

لقد أثبتت الأعمال السابقة (على سبيل المثال، Maennel et al., 2018; Kumar and Haupt, 2024, 2025) أنه بالنسبة للشبكات العصبية المتجانسة ذات التهيؤ الصغير، تظل الأوزان قريبة من نقطة الأصل لفترة طويلة. خلال هذه المرحلة، تتقارب الأوزان في اتجاهها نحو نقطة كاراتوش-كون-توكر (KKT) لدالة ارتباط عصبي (NCF)، وهي ظاهرة تُعرف باسم "التقارب الاتجاهي المبكر". علاوة على ذلك، غالباً ما تُظهر نقاط KKT في هذه المراحل المبكرة تشتتاً (sparsity). ومع ذلك، لم يتم توصيف سلوك تدفق التدرج بعد خروج الأوزان من نقطة الأصل والحفاظ على هيكل التشتت الناشئ خلال هذا الانتقال بشكل كامل. تعالج هذه الورقة هذه الفجوة من خلال تحليل ديناميكيات تدفق التدرج للشبكات العصبية المتجانسة فور خروجها من نقطة الأصل، وصولاً إلى أول نقطة سرج (saddle point) يتم مواجهتها.

المنهجية والإعداد
تدرس الورقة الشبكات العصبية المتجانسة $H(x; w)$ التي تكون متجانسة موجبياً بمقدار $L$ ($L \ge 2$)، مما يعني أن $H(x; cw) = c^L H(x; w)$ لكل $c \ge 0$. يفترض التحليل أن الشبكة تمتلك تدرجات ليبشيتز محلية، وهو ما يشمل الشبكات الخطية العميقة والشبكات ذات تنشيطات كثيرات الحدود ($p \ge 2$)، لكنه يستبعد صراحةً شبكات ReLU القياسية ($p=1$) بسبب عدم القابلية للاشتقاق عند نقطة الأصل، وإن كانت النتائج التجريبية تشير إلى إمكانية التوسع لتشملها.

هدف التدريب هو تقليل دالة الخسارة $\mathcal{L}(w)$ عبر تدفق التدرج:
$$\dot{w} = -\nabla \mathcal{L}(w)$$
يبني المؤلفون عملهم على مفهوم دالة الارتباط العصبي (NCF)، المعرفة بـ $N(u) = \bar{e}_y^\top H(X; u)$، حيث $\bar{e}_y = -\ell'(0, y)$. ويقومون بتحليل التحسين المقيد لـ $N(u)$ على الكرة الوحدة.

تتضمن المنهجية الجوهرية ما يلي:

1. بناء المسار المحدود: تعريف حل محدود $p(t)$ يمثل مسار تدفق التدرج بعد الخروج من نقطة الأصل. ويتم تحقيق ذلك عن طريق إزاحة زمنية للحل $\psi(t, \delta w_0)$ (حيث $\delta$ هو مقياس التهيؤ) بمقدار يعتمد على $\ln(1/\delta)$ وأخذ النهاية عندما $\delta \to 0$.
2. تحليل الاستقرار: الاستفادة من خصائص نقاط KKT الموجبة من الدرجة الثانية $\Delta$ لـ NCF المقيدة. يفترض المؤلفون أن الاتجاه الأولي للأوزان يقع في المجموعة المستقرة لنقطة KKT من هذا النوع.
3. المجموعات الحافظة للصفر: تقديم مفهوم "المجموعة الحافظة للصفر" للأوزان—وهي الأوزان التي تبدأ عند الصفر وتظل صفراً طوال التدريب تحت تدفق التدرج. يُستخدم هذا لتحليل الحفاظ على التشتت.

المساهمات والنتائج الرئيسية

1. ديناميكيات تدفق التدرج بعد الخروج من الأصل (النظرية 4 و10)
تثبت الورقة أنه بالنسبة للتهيؤ الصغير بما يكفي، فإن مسار تدفق التدرج بعد الخروج من نقطة الأصل يتبع بدقة مساراً محدوداً محدداً $p(t)$، بغض النظر عن المقياس الصغير المحدد للتهيؤ $\delta$، بشرط أن يتوافق الاتجاه الأولي مع مجموعة مستقرة لنقطة KKT موجبة من الدرجة الثانية لـ NCF.

• الشبكات ثنائية التجانس ($L=2$): تُظهر النظرية 4 أنه بعد إزاحة زمنية بمقدار $O(\ln(1/\delta))$، يتقارب المسار $\psi(t, \delta w_0)$ نحو $p(t)$ مع حد خطأ قدره $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$.
• الشبكات المتجانسة العميقة ($L > 2$): توسع النظرية 10 هذا المفهوم لشبكات $L$-متجانسة. يبلغ وقت الخروج مقداره $O(\delta^{-(L-2)})$، ويتقارب المسار بشكل مشابه نحو مسار محدود $p(t)$ مع حد خطأ محدد.
• الاستنتاج: يتحدد سلوك تدفق التدرج مباشرة بعد الخروج من نقطة الأصل بشكل أساسي من خلال نقطة KKT لـ NCF التي اقتربت منها الأوزان أثناء وجودها بالقرب من الأصل.

2. توصيف أول نقطة سرج (الاستنتاجات 5، 6، 11، 12)
يوضح المؤلفون أن المسار المحدود $p(t)$ يتقارب نحو نقطة استقرار (نقطة سرج) لدالة خسارة التدريب. وبناءً على ذلك، بالنسبة للتهيؤ الصغير بما يكفي، فإن مسار تدفق التدرج الفعلي $\psi(t, \delta w_0)$ سيقترب من نفس نقطة السرج هذه بعد الخروج من الأصل.

• تميز الورقة بين الحالات التي تكون فيها نقطة السرج محدودة (مسار محدود) والحالات التي تكون فيها عند اللانهاية (مسار غير محدود، وهو أمر شائع مع خسارة لوجستية).
• تشير النتائج إلى أن تدفق التدرج يتبع مسار "من السرج إلى السرج"، حيث يحدد تحديداً أول نقطة سرج يتم مواجهتها بعد الأصل.

3. الحفاظ على التشتت في الشبكات التغذية الأمامية (القسم 4 والنظرية 18)
تتمثل إحدى المساهمات الحاسمة في إثبات أن هيكل التشتت الناشئ خلال مرحلة "القرب من الأصل" يتم الحفاظ عليه بعد الخروج من الأصل، وصولاً إلى أول نقطة سرج.

• المجموعات الحافظة للصفر: يثبت المؤلفون أنه بالنسبة لشبكات التغذية الأمامية المتجانسة، فإن صفوف وأعمدة مصفوفات الأوزان المقابلة لمدخلات ذات مقدار صفري في نقطة KKT لـ NCF تشكل "مجموعة حافظة للصفر". إذا تم تهيئة هذه الأوزان عند الصفر، فإنها تظل صفراً طوال التدريب.
• الحفاظ على التشتت: بما أن تدفق التدرج مع التهيؤ الصغير يتقارب في الاتجاه نحو نقطة KKT ذات تشتت محدد (حيث تكون بعض الأوزان صفراً)، وبما أن هذه الأوزان الصفرية تشكل مجموعة حافظة للصفر، فإن هيكل التشتت يتم الحفاظ عليه بينما تخرج الشبكة من الأصل وتقترب من أول نقطة سرج.
• النظرية 18: توضح رسمياً أنه لكل من شبكات $L=2$ و $L>2$، يظل مقدار الأوزان في المجموعة الحافظة للصفر ضئيلاً ($O(\delta^{\text{exponent}})$) حتى بعد وقت الخروج، مما يحافظ فعلياً على نمط التشتت.

التحقق التجريبي
تقدم الورقة تجارب عددية (الأشكال 1، 4، 5، 6) باستخدام دوال تنشيط مربعة ($L=2$) وتنشيطات ReLU متعددة الحدود.

• التنشيط المربع: تؤكد التجارب أن الأوزان تصبح مشتتة قبل الخروج من الأصل، وأن هذا التشتت يتم الحفاظ عليه عند نقطة السرج التالية.
• تنشيط ReLU: على الرغم من أن الإطار النظري يستبعد ReLU القياسية ($L=1$)، إلا أن التجارب على شبكات ReLU تُظهر أنه بينما لا تصبح الأوزان مشتتة تماماً (وجود مدخلات غير صفرية أكثر من حالة كثيرات الحدود)، فإن هيكل التشتت النسبي (حيث تظل الأوزات الصغيرة صغيرة) يتم الحفاظ عليه. يشير هذا إلى أن النتائج قد تمتد إلى شبكات ReLU تجريبياً، رغم عدم وجود تدرجات ليبشيتز محلية عند الأصل.

الأهمية والادعاءات
تدعي الورقة أنها تقدم توصيفاً دقيقاً لجزء محدد من ديناميكيات التدريب: الانتقال من مرحلة "القرب من الأصل" إلى أول نقطة سرج.

• آلية التنظيم الضمني: تربط الورقة بين التنظيم الضمني الملاحظ في أنظمة التهيؤ الصغير وبين هندسة NCF ونقاط KKT المحددة التي تتقارب إليها الشبكة.
• استقرار التشتت: تقدم تفسيراً نظرياً لسبب استمرار أنماط التشتت الملاحظة في المراحل المبكرة من التدريب، وعزو ذلك إلى الطبيعة "الحافظة للصفر" لمجموعات معينة من الأوزان في بنيات التغذية الأمامية.
• القيود: يذكر المؤلفون صراحةً تواضع نطاق بحثهم. تقتصر النتائج على:
  1. الشبكات المتجانسة ذات التدرجات ليبشيتز المحلية (باستثناء ReLU القياسية).
  2. الديناميكيات فقط حتى أول نقطة سرج يتم مواجهتها بعد الخروج من الأصل. السلوك بعد هذه النقطة (مثل الخروج من السرج نحو الحد الأدنى العالمي) غير مغطى ويُعد توجهاً للعمل المستقبلي.
  3. افتراض أن الاتجاه الأولي يقع في المجموعة المستقرة لنقطة KKT موجبة من الدرجة الثانية.

باختصار، تسد هذه الورقة الفجوة بين التقارب الاتجاهي في المرحلة المبكرة ومرحلة التدريب اللاحقة، مظهرةً أن الخصائص الهيكلية (وتحديداً التشتت) التي تتأسس أثناء القرب من الأصل هي التي تملي مسار واستقرار الشبكة بينما تبدأ في تعلم الميزات وتقترب من أول نقطة سرج.