Correlation flow governs learning at criticality

ملخص تقني: تدفق الارتباط يحكم التعلم عند نقطة الحرجة

بيان المشكلة
يعد تهيئة الشبكات العصبية العميقة أمراً حاسماً في تحديد ما إذا كانت المعلومات والتدرجات (gradients) يمكن أن تنتشر عبر العمق. وبينما دفع النجاح التجريبي نحو توسيع حجم الشبكة، لا يزال هناك نقص في وجود نظرية موحدة تربط بين خصائص التهيئة وديناميكيات التعلم. وتحديداً، هناك نقص في الفهم المتعلق بكيفية تأثر التفاعل بين انتشار الارتباط (correlation propagation)، وطيف اليعقوبي (Jacobian spectrum) النهائي، ونواة التانغنت العصبية (Neural Tangent Kernel - NTK) باختيارات التهيئة (Gaussian مقابل Orthogonal) في حد العرض اللانهائي والعمق اللانهائي. لقد أثبتت الأعمال السابقة أن "الحرجة" (نقطة محددة في مستوى تباين الوزن والانحياز) تسمح بانتشار ارتباط جبري بدلاً من التلاشي الأسي، لكن العلاقة الدقيقة بين تدفق الارتباط هذا وديناميكيات التعلم الناتجة (التي تحكمها الـ NTK) لم يتم توصيفها بالكامل بعد. علاوة على ذلك، فإن دور التهيئة المتعامدة (Orthogonal initialization) في التحكم في تصحيحات الحجم المحدود (finite-size corrections) في هذا الحد يتطلب تأصيلاً نظرياً صارماً.

المنهجية
يستخدم المؤلفون مزيجاً من نظرية المجال المتوسط (mean-field theory) ونظرية المصفوفات العشوائية (random matrix theory) لتحليل الشبكات العصبية كاملة الاتصال في الحد المتسلسل (sequential limit)، حيث يتم أخذ العرض $N$ إلى اللانهاية قبل العمق $L$ ($N \to \infty$ متبوعاً بـ $L \to \infty$).

1. الإطار النظري:

   • نظام المجال المتوسط: يحلل المؤلفون علاقات التكرار الحتمية للتباين والارتباط للنشاطات المسبقة (pre-activations) مع زيادة العمق. ويحددون ثلاثة أنظمة: النظام المرتب (الارتباط $\to 1$)، والنظام الفوضوي (الارتباط $\to$ ثابت $<1$)، وطور التباين المتلاشي (المكتشف حديثاً، حيث التباين $\to 0$).
   • النقطة الحرجة: يحددون النقطة الحرجة عند تقاطع حدود طور التباين المتلاشي مع خط "حافة الفوضى" (edge of chaos)، المعرف بـ $\sigma_w = 1/\phi_1$ و $\sigma_b = 0$ (حيث $\phi_1$ هو معامل تايلور الأول لدالة التنشيط).
   • تحليل اليعقوبي: باستخدام نظرية الاحتمالية الحرة (free probability theory)، يحللون طيف القيم المفردة لليعقوبيات لكل طبقة وللإجمالي النهائي. ويستنتجون قوانين القياس لمتوسط وتباين طيف اليعقوبي تحت كل من التهيئة الغاوسية (Gaussian) والمتعامدة (Orthogonal).
   • اشتقاق الـ NTK: يعبرون عن الـ NTK كمجموع لنواة التباين المستدعاة بواسطة اليعقوبيات الجزئية. ومن خلال تحليل السلوك التقاربي لهذه الحدود عند النقطة الحرجة، يشتقون العلاقة بين الـ NTK والارتباط عند نقطة الثبات (fixed-point correlation).

2. تحليل الحجم المحدود:

   • يستنتج المؤلفون تصحيحات الحجم المحدود الرائدة ($O(L/N)$ للقيم المرتدة) للكنة التجريبية (empirical kernel). ويقومون بتفكيك هذه التقلبات إلى "عيوب ويك" (Wick defects) (الناجمة عن عدم غاوسية النشاطات المسبقة) وتأثيرات "عدم تعامد الأوزان".
   • يقارنون كيف تتراكم هذه الأخطاء تحت التهيئة الغاوسية مقابل التهيئة المتعامدة.

3. التحقق العددي:

   • تم التحقق من التنبؤات النظرية باستخدام شبكات كاملة الاتصال مع دالة تنشيط الجيب (sine) (وبعض دوال tanh). وتتبع التجارب انتشار المانيفولد (manifold propagation)، وتدفق الارتباط، وأطياف اليعقوبي، وتكييف الـ NTK عبر أعماق وعروض مختلفة.

المساهمات والنتائج الرئيسية

1. الحرجة ضرورية لانتشار الارتباط:
   يثبت المؤلفون أن انتشار الارتباط غير البديهي إلى عمق لانهائي ممكن فقط عند النقطة الحرجة. في جميع الأنظمة الأخرى، إما أن تنهار الارتباطات إلى 1 (مرتب)، أو إلى ثابت مستقل عن المدخلات (فوضوي)، أو يتلاشى التباين أسياً مما يؤدي إلى انهيار عددي. عند النقطة الحرجة، يتقارب الارتباط جبرياً، مما يحافظ على الاعتماد على المدخلات.

2. التلاشي الجبري لليعقوبي الإجمالي:
   على عكس الأمل في أن الحرجة قد تمكن "التماثل الديناميكي" (dynamical isometry) (حيث يتركز طيف اليعقوبي بالقرب من الواحد الصحيح)، يثبت المؤلفون أنه عند النقطة الحرجة، يتلاشى اليعقوبي الإجمالي جبرياً مع العمق ($\Xi \propto 1/L$). يحدث هذا حتى مع التهيئة المتعامدة. وبالتالي، فإن التماثل الديناميكي غائب في الحد المتسلسل عند النقطة الحرجة.

3. تكافؤ الـ NTK وارتباط المخرجات:
   النتيجة النظرية المركزية للورقة هي الإثبات أنه في حد العمق اللانهائي عند النقطة الحرجة، تصبح الـ NTK متناسبة تماماً مع مصفوفة ارتباط نقطة الثبات (تحديداً، $\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$). وهذا يثبط رابطاً مباشراً بين انتشار المعلومات (الارتباط) وديناميكيات التعلم (طيف NTK). هذا التكافؤ يظل قائماً بغض النظر عن تلاشي اليعقوبي، حيث يتم تعويض التلاشي في اليعقوبيات المتداخلة المعاد قياسها المستخدمة في تعريف الـ NTK.

4. دور التهيئة المتعامدة (Orthogonal Initialization):
   بينما لا تستطيع التهيئة المتعامدة استعادة التماثل الديناميكي، إلا أنها تلعب دوراً حاسماً في التحكم في تأثيرات الحجم المحدود.

   • تحت التهيئة الغاوسية، تزداد تقلبات الحجم المحدود في الارتباط والـ NTK بمقدار $O(\sqrt{L/N})$، وتتراكم مع العمق مما يؤدي إلى أطياف سيئة التكييف.
   • تحت التهيئة المتعامدة، يتم كبح التقلبات الرائدة الناجمة عن عدم تعامد الأوزان. أما التقلبات المتبقية (عيوب ويك) فتتدرج بمقدار $O(1/\sqrt{N})$ وتكون مستقلة عن العمق. وهذا يسمح لتنبؤات الحد المتسلسل بأن تظل صالحة لشبكات أكثر عمقاً بكثير.

5. قيود دالة التنشيط:
   يوضح المؤلفون أنه لكي تنتقل المعلومات دون الانهيار إلى نقطة ثبات تافهة، يجب أن تحقق دالة التنشيط الشرط $\phi_2 = 0$ (أي يجب أن تكون دالة فردية عند أدنى رتبة). إذا كان $\phi_2 \neq 0$، فإن الارتباطات تنهار بغض النظر عن التهيئة.

الأهمية والادعاءات
تدعي الورقة أنها توفر إطاراً موحداً يربط بين انتشار المعلومات، والتحكم في التدرج، وديناميكيات التعلم في الشبكات العميقة. وتكمن أهميتها الأساسية في:

• توحيد الارتباط والتعلم: توضح أن طيف الـ NTK، الذي يحدد سرعة واتجاه التعلم، يتحدد تقاربياً بهيكل ارتباط المدخلات عند النقطة الحرجة. وهذا يفسر لماذا يعد الحفاظ على تشابه المدخلات عبر الشبكة أمراً ضرورياً للتدريب.
• تبرير التهيئة الحرجة: توفر تبريراً نظرياً صارماً للتهيئة عند النقطة الحرجة، مظهرة أنها الخيار الوحيد الذي يحافظ على ارتباطات المدخلات مع الحفاظ على هيكل يعقوبي محدد (وإن كان متلاشياً).
• توضيح التهيئة المتعامدة: تحل الورقة التوتر بين الأنظمة "المتجمدة" (الخطية) وأنظمة "تعلم الميزات" من خلال إظهار أن التهيئة المتعامدة هي الشرط الضروري لكبح النمو غير المنضبط لتقلبات الحجم المحدود التي قد تدمر القدرة التنبؤية للـ NTK في الشبكات العميقة.
• الآثار العملية: تشير النتائج إلى أن التهيئة الحرجة مع الأوزان المتعامدة هي النهج المنهجي للشبكات شديدة العمق (مثل SIRENs، والتمثيلات العصبية الضمنية) لضمان ديناميكيات تدريب مستقرة وتحيز طيفي محكوم، حيث تتعلم الشبكة على طول الأنماط الرئيسية لهيكل ارتباط مجموعة بيانات المدخلات.

يشير المؤلفون إلى أن هذه النتائج تعتمد على الحد المتسلسل وافتراضات دالة تنشيط محددة (محدودة، قابلة للاشتقاق، $\phi_2=0$)، ويقرون بأن توسيع هذه النتائج لتشمل الحد المشترك ($L/N \to c$) أو دوال التنشيط غير المحدودة (مثل ReLU) يظل مجالاً مفتوحاً للعمل المستقبلي.