Competing nonlinearities, criticality, and order-to-chaos transition in deep networks

ملخص تقني: التنافس بين اللاخطيات، والحرجة، والانتقال من النظام إلى الفوضى في الشبكات العميقة

بيان المشكلة
تعتمد الشبكات العصبية العميقة على دوال التنشيط اللاخطية لتحقيق القدرة التعبيرية، ومع ذلك، فإن انتشار الإشارات والتدرجات عبر البنى العميقة محكوم باختيار هذه التنشيطات. في حد العرض اللانهائي، يتبع تباين ما قبل التنشيط (preactivations) عملية تكرار حتمية. هذا التكرار يقسم دوال التنشيط إلى "فئات عالمية" متميزة بناءً على استقرار نقاطها الثابتة ($K_\star$):

1. ثابتة المقياس (مثل ReLU): حيث $K_\star = 0$ هي نقطة ثابتة مع تكرار خطي دقيق للـ kernel، مما يضمن الحرجة (تباين مستقل عن العمق) لأي تهيئة. ومع ذلك، فإن ReLU غير سلسة (غير قابلة للاشتقاق عند $z=0$)، مما يجعلها غير مناسبة للمحسنات القائمة على الانحناء (curvature-based optimizers)، أو الشبكات المستنيرة بالفيزياء، أو الحالات الكمومية للشبكات العصبية التي تتطلب هيسيان (Hessian) محددًا جيدًا.
2. نصف مستقرة (مثل Swish، GELU): حيث $K_\star = 0$ غير مستقرة، ويتدفق التباين إلى نقطة ثابتة مستقرة ذات قيمة $K_\star > 0$. ورغم أنها سلسة، إلا أنها تقدم مقياس طول مميز وتكون حساسة للتهيئة.
3. مستقرة (مثل Tanh، Sin): حيث $K_\star = 0$ هي نقطة ثابتة مستقرة، مما يؤدي إلى اضمحلال التباين جبريًا ($K^{(l)} \sim 1/l$) مع العمق، مما يتسبب في تلاشي الإشارة.

المشكلة المفتوحة المركزية التي يعالجها البحث هي ما إذا كان يمكن جسر هذه الفئات العالمية المنفصلة بشكل مستمر. تحديدًا، هل يمكن ضبط معلمة واحدة للانتقال بين طور التباين المنهار وطور تضخم التباين لتحقيق نقطة حرجة تكون ثابتة المقياس وسلسة في آن واحد؟

المنهجية
يقترح المؤلفون إطار عمل يعتمد على المزيج الإحصائي لدوال التنشيط. بخلاف المزيج الحتمي حيث يطبق كل عصب مجموعًا مرجحًا لـ $\sigma(z) = p\sigma_1(z) + (1-p)\sigma_2(z)$، فإن هذا النهج يخصص لكل عصب بشكل مستقل وعشوائي إما دالة تنشيط واحدة من $\sigma_1$ أو $\sigma_2$ باحتمالات $p$ و $1-p$. هذا التخصيص هو "مقيد" (quenched) (أي ثابت عند التهيئة).

في حد العرض اللانهائي، يضمن التوسط الذاتي (self-averaging) أن دالة الـ kernel الفعالة $g(K)$ تصبح استكمالًا خطيًا صارمًا لـ kernels المكونات النقية:
$$g^{(mix)}(K) = p g^{(\sigma_1)}(K) + (1-p) g^{(\sigma_2)}(K)$$
هذه الخطية تسمح لكسر المزج $p$ بأن يعمل كمعلمة تحكم شفافة تحليليًا. يشتق المؤلفون معامل الاستقرار $a_1$ (الذي يحكم الاقتراب من النقطة الثابتة) للمزيج ويحددون كسر المزج الحرج $p_c$ حيث $a_1^{(mix)}(p_c) = 0$. تقابل هذه الحالة انتقال طوري حيث تصبح الشبكة ثابتة المقياس إحصائيًا.

تركز الدراسة على اقتران محدد: Tanh (الفئة المستقرة، $a_1 < 0$) و Swish (الفئة نصف المستقرة، $a_1 > 0$). يتنبأ المؤلفون تحليليًا بـ $p_c$ في حد التباين الصغير، ويقومون بالتحليل الاضطرابي لتباين المدخلات المحدود. كما يؤكدون توقعاتهم باستخدام ثلاثة تشخيصات عددية:

1. انتشار التباين: تتبع تطور تباين ما قبل التنشيط $K^{(l)}$ مع العمق.
2. الحساسيات (Susceptibilities): قياس الحساسيات المتوازية ($\chi_\parallel$) والمتعامدة ($\chi_\perp$) للكشف عن الحفاظ على مقياس الإشارة والحساسية لاضطرابات المدخلات.
3. أسات أس ليابونوف (Lyapunov Exponents): حساب أقصى أس ليابونوف $\lambda$ لتشخيص الانتقال من النظام إلى الفوضى ($\lambda < 0$ للنظام، $\lambda > 0$ للفوضى، $\lambda = 0$ للحرج).

النتائج الرئيسية

1. التنبؤ التحليلي: بالنسبة لمزيج Tanh/Swish، يتم اشتقاق كسر المزج الحرج كـ $p_c = \frac{g_2^{(Tanh)}}{g_2^{(Tanh)} - g_2^{(Swish)}}$. في حد التباين الصغير، يعطي هذا $p_c \approx 0.91$. يظهر التحليل الاضطرابي أن تباين المدخلات المحدود يزيح هذه القيمة للأسفل.
2. الانتقال الطوري: تؤكد المحاكاة العددية وجود انتقال طوري حاد عند $p_c \approx 0.83$ (لتباين مدخلات وحدة).
   • عندما يكون $p < p_c$، تكون الشبكة في طور انهيار التباين (يهيمن عليه Tanh)، حيث يضمحل $K^{(l)}$ جبريًا.
   • عندما يكون $p > p_c$، تكون الشبكة في طور تضخم التباين (يهيمن عليه Swish)، حيث ينمو $K^{(l)}$.
   • عند $p \approx p_c$، تظهر الشبكة ثبات مقياس إحصائي ناشئ: يظل التباين مستقلًا عن العمق، محاكيًا سلوك ReLU، ولكنه مكون بالكامل من عصبونات سلسة وقابلة للاشتقاق.
3. تدرج الحجم المحدود: تزداد حدة الانتقال مع عمق الشبكة $L$، مظهرة تدرج حجم محدود مع أس حرج $\nu = 1$، وهو ما يتوافق مع انتقال طوري مستمر في مجال متوسط (mean-field).
4. أداء التعلم: يكشف تدريب الشبكات متعددة الطبقات (MLPs) على MNIST و Fashion-MNIST عن أداء اختبار غير رتيب كدالة لـ $p$. يحدث أفضل دقة اختبار بالقرب من $p_c$ المتوقع نظريًا، مما يثبت أن الانتقال على مستوى التهيئة يؤثر مباشرة على التمثيلات المتعلمة. شبكات Tanh النقية و Swish النقية تحقق أداءً أقل مقارنة بالمزيج الحرج.
5. التنظيم الضمني: في الشبكات ذات المعلمات الزائدة (overparameterized) مع التسميات الفاسدة، يعمل الاضطراب المقيد كمنظم ضمني. يثبط المزيج حفظ الضجيج (الذي تفضله حالة التشبع في Tanh) مع الحفاظ على القدرة على تعلم البنية الحقيقية (التي يفضلها تدفق التدرج في Swish). هذا يكسر تناظر التبديل الذي تستغله الشبكات المتجانسة لحفظ الارتباطات الزائفة.

الأهمية والادعاءات
يؤسس هذا البحث المزيج الإحصائي للتنشيط كأداة محكومة وقابلة للتحليل كأداة للتنقل في مخطط الطور لفئات العالمية للشبكات العميقة. تكمن أهميته الأساسية في حل التوتر طويل الأمد: تحقيق انتشار ثابت المقياس (الحرجة) دون التضحية بالسلاسة.

• المساهمة النظرية: يثبت أن الفئات العالمية، التي كانت تُعت see كعلامات منفصلة، متصلة بواسطة عائلة مستمرة من المزيج الإحصائي. يشبه هذا الانتقال انتقالات الطور المستحثة بالقياس (MIPTs) في الدوائر الكمومية، والتي تقودها عمليات محلية متنافسة ذات توجهات متضادة.
• الفائدة العملية: يوفر الإطار بروتوكولًا لا يتطلب تسميات ويعتمد فقط على التمرير الأمامي (forward-pass-only) لاختيار بنى التنشيط. من خلال تقدير $p_c$ عبر ملف التباين الأكثر تسطحًا أو الصيغ التحليلية، يمكن للممارسين تجنب عمليات البحث المكلفة عن المعلمات الفائقة.
• قابلية التطبيق في المجالات: إن القدرة على بناء شبكة حرجة وسلسة من فئة $C^\infty$ هي أمر قابل للتطبيق الفوري في المجالات التي تتطلب مشتقات من رتب عليا، مثل المحسنات ذات التدرج الطبيعي (natural-gradient optimizers)، والشبكات المستنيرة بالفيزياء (حل المعادلات التفاضلية الجزئية)، والحالات الكمومية للشبكات العصبية، حيث لا تعد ReLU مناسبة.

يخلص المؤلفون إلى أن هذا النهج يوفر آلية جديدة لانتقالات النظام إلى الفوضى، حيث يعمل "الاضطراب المقيد" لتوزيع التنشيط كمنظم هيكلي ووسيلة لهندسة الحرجة.