Deep Network Trainability via Persistent Subspace Orthogonality

ملخص تقني: قابلية تدريب الشبكات العميقة عبر التعامد الجزئي المستمر للمتجهات الفرعية

1. بيان المشكلة

إن تدريب الشبكات العصبية العميقة عبر الانتشار العكسي (backpropagation) محدود جوهرياً باستقرار انتشار التدرج (gradient propagation). فمع زيادة عمق الشبكات، غالباً ما تعاني التدرجات من التلاشي (الاقتراب من الصفر) أو الانفجار (النمو بشكل غير منضبط)، مما يجعل عملية التحسين (optimization) صعبة أو مستحيلة.

بينما تعمل الحلول الحالية مثل الشبكات المتبقية (ResNets) والتماثل الديناميكي (Dynamical Isometry) (حيث تتركز القيم المفردة لمصفوفة جاكوبي الشبكة حول الواحد) على التخفيف من هذه المشكلات، إلا أنها غالباً ما تفرض متطلبات صارمة. فعلى سبيل المثال، لا يمكن لشبكات ReLU ذات التغذية الأمامية القياسية تحقيق تماثل ديناميكي كامل. لذا، هناك حاجة إلى شرط أكثر مرونة، ومع ذلك يكون دقيقاً رياضياً، يسمح بتدفق مستقر للتدرج في بنيات أكثر شمولاً وعملية.

2. المنهجية

يتناول المؤلفون المشكلة من خلال تحليل مصفوفة جاكوبي (Jacobian matrix) لطبقات الشبكة. وينتقلون من المتطلب الصارم لـ "تعامد جاكوبي الدقيق" إلى مفهوم أكثر مرونة يسمى التعامد الجزئي المستمر للمتجهات الفرعية (Persistent Subspace Orthogonality - PSO).

• تعامد جاكوبي الدقيق: يحلل البحث أولاً فئة من الشبكات التي تكون فيها مصفوفة جاكوبي متعامدة في كل مكان تقريباً (a.e.). ويثبتون أنه لكي تمتلك الشبكة جاكوبي متعامداً، يجب أن تكون خطية مجزأة (piece-wise affine)، ويجب أن تمتلك دوال التنشيط منحدرات محددة ومتحكم بها (مثل متغيرات معينة من LeakyReLU).
• تعامد المتجهات الفرعية: يخفف المؤلفون هذا الشرط عبر اشتراط أن يكون جاكوبي متماثلاً (isometry) (أي يحافظ على المعيار/Norm) فقط على متجه فرعي غير بديهي $V_x$ بدلاً من الفضاء بأكره $\mathbb{R}^n$.
• التعامد الجزئي المستمر للمتجهات الفرعية (PSO): حدد المؤلفون أن تعامد المتجهات الفرعية على مستوى الطبقة الواحدة غير كافٍ، لأن المتجهات الفرعية قد "تدور" عند كل طبقة، مما يؤدي إلى جعل تقاطع هذه المتجهات الفرعية تافهاً (صفر الأبعاد) عبر العمق. تم تقديم مفهوم الـ PSO كشرط يضمن وجود متجه فرعي مشترك ومستمر عبر جميع الطبقات. وهذا يضمن الحفاظ على جزء غير بديهي من إشارة التدرج طوال عملية الانتشار العكسي بأكملها.

استراتيجيات التهيئة المقترحة:

1. المنهج الأول (المتساوي/المشترك): استخدام مصفوفات متعامدة مشتركة عبر الطبقات لضمان بقاء جاكوبي متماثلاً على متجه فرعي مشترك.
2. المنهج الثاني (الهيكلي الكتلي): بناء طبقات تُنظم فيها الأوزان في كتل بحيث يتم تضمين متجه فرعي متماثل بشكل صريح (على سبيل المثال، الكتلة الفرعية العلوية اليسرى تكون متعامدة، بينما تكون بقية الكتلة صفراً).

3. المساهمات الرئيسية

• الإطار النظري: توصيف موحد للشبكات ذات مصفوفات جاكوبي المتعامدة والتقديم الرسمي لمفهوم الـ PSO.
• بنيات جديدة: اشتقاق "الشبكات المتبقية المعدلة" (Modified ResNet) و"التغذية الأمامية المعدلة" (Modified Feedforward) التي تضمن رياضياً استقرارها عند التهيئة.
• القيود المخففة: إثبات أنه ليس من الضروري أن يكون كامل مصفوفة جاكوبي متماثلاً؛ إذ يكفي الحفاظ على بُعد واحد (متجه فرعي أحادي البعد) لتدريب شبكات عميقة للغاية.
• آليات عملية: توفير مخططات تهيئة ملموسة (هيكلية كتليّة ومتعامدة مشتركة) يسهل تنفيذها في أطر التعلم العميق القياسية.

4. النتائج

تحقق المؤلفون من صحة نظريتهم من خلال تجارب مكثفة على مجموعات بيانات MNIST وFashion-MNIST وCIFAR-10:

• قوة العمق: بينما تفشل التهيئة القياسية (Kaiming initialization) والتهيئة المتعامدة المستقلة مع زيادة العمق (حيث تنخفض الدقة إلى مستويات قريبة من العشوائية عند $L=100$ أو $L=200$)، فإن النماذج المتوافقة مع الـ PSO (تحديداً متغيرات "Orth-shared" و"ResNet Orth-2") تحافظ على دقة اختبار عالية حتى عند $L=200$.
• بُعد المتجه الفرعي: أظهرت التجارب أنه حتى عندما يتم تقليل المتجه الفرعي المتماثل إلى بُعد واحد ($k = n-1$)، تظل النماذج الهيكلية الكتلية قابلة للتدريب بدرجة عالية.
• مرونة التنشيط: أثبتوا أن النظرية تنطبق على مجموعة واسعة من دوال التنشيط الخطية المجزأة (مثل $\text{ReLU}_3$ و$\sigma_3$)، مما يؤكد أن شكل اللاخطية (nonlinearity) أقل أهمية من خصائص المنحدر الخاص بها.
• استقرار التحسين: وُجد أن النماذج المهيأة بأسلوب الـ PSO أكثر متانة تجاه معدلات التعلم المتغيرة مقارنة بتهيئة Kaiming القياسية.

5. الأهمية

يوفر هذا البحث جسراً رياضياً بين نظرية التماثل الديناميكي والواقع العملي للتعلم العميم القائم على ReLU. ومن خلال إثبات أن التماثل "المثالي" ليس ضرورياً للاستقرار، يقدم المؤلفون مخططاً لتصميم بنيات أكثر عمقاً بكثير. إن مفهوم التعامد الجزئي المستمر للمتجهات الفرعية (PSO) يقدم عدسة جديدة يمكن من خلالها رؤية تدفق التدرج، مما يشير إلى أن الاستقرار هو مسألة الحفاظ على "مسار محمي" للإشارة، وليس اشتراط أن يكون التحول بأكمله حافظاً للحجم. ولهذا الأمر تداعيات على تصميم البنيات المستقبلية، بما في ذلك نماذج المحولات (Transformers) والشبكات العصبية الرسومية (Graph Neural Networks).