A new initialisation to Control Gradients in Sinusoidal Neural network

ملخص تقني: تهيئة جديدة للتحكم في التدرجات في الشبكات العصبية الجيبية

بيان المشكلة
تعد التمثيلات العصبية الضمنية (INRs)، ولا سيما تلك التي تستخدم دوال التنشيط الجيبية (SIREN)، فعالة في تقريب الإشارات عالية التردد في تطبيقات مثل إعادة بناء الصور، وتشفير الإشارات، وحل المعادلات التفاضلية الجزئية (PDEs). ومع ذلك، تواجه بنيات SIREN القياسية مقايضة حرجة: فبينما تقلل من التحيز الطيفي لشبكات MLP القياسية عبر تعلم الترددات العالية، فإن زيادة عمق الشبكة غالبًا ما تؤدي إلى ظهور عيوب ترددية عالية زائفة. هذه الظاهرة تضعف القدرة على التعميم وتسبب انفجار التدرج (gradient explosion). وعلى العكس من ذلك، فإن مخططات التهيئة القياسية (مثل Xavier أو Kaiming) أو تهيئة SIREN الأصلية تفشل في توفير ضمانات نظرية لاستقرار التدرج في الشبكات الدورية العميقة، مما يؤدي غالبًا إلى تلاشي أو انفجار التدرجات، وهو ما يعيق ديناميكيات التدريب.

المنهجية
يقترح المؤلفون مخطط تهيئة جديدًا مشتقًا تحليليًا لشبكات SIREN مصمم للعمل عند "حافة الفوضى" (Edge of Chaos - EOC). يضمن هذا النظام بقاء تباينات ما قبل التنشيط (pre-activation variances) مستقرة، بحيث لا تتلاشى التدرجات ولا تنفجر مع زيادة عمق الشبكة.

تعتمد المنهجية على تحليل نظري في حد اللانهاية للعرض ($N \to \infty$) والعمق ($L \to \infty$):

1. توزيع ما قبل التنشيط: اشتق المؤلفون تعبيرًا مغلقًا للنقطة الثابتة لتباين ما قبل التنشيط ($\sigma_a^2$) باستخدام دالة لامبرت $W$. وقد أظهروا أن التباين يتقارب نحو نقطة ثابتة تحددها معلمة قياس الأوزان $c_w$ وتباين الانحياز $c_b$.
2. استقرار التدرج: من خلال تحليل جاكوبي (Jacobian) للتحويل من طبقة إلى أخرى، اشتق المؤلفون شرط استقرار التدرج. لقد حددوا تباين التدرج المعاد قياسه $\sigma_g$ وفرضوا أن $\sigma_g = 1$ لمنع انفجار أو تلاشي التدرج. يحدد هذا القيد علاقة محددة بين $c_w$ و $c_b$.
3. التحكم الطيفي: حدد المؤلفون حلين محددين على منحنى الاستقرار:
   • $\sigma_a = 1$: يتوافق مع حدس SIREN الأصلي (حيث تتبع ما قبل التنشيط التوزيع الطبيعي $N(0,1)$)، والتي أظهر المؤلفون أنها تؤدي إلى توسع طيفي وظهور ظاهرة التعرج (aliasing) في الشبكات العميقة.
   • $\sigma_a = 0$ (المقترح): يضبط تباين ما قبل التنشيط عند الصفر. في هذا النظام، تتصرف الطبقات العميقة بشكل خطي تقريبًا ($\sin(z) \approx z$)، مما يؤدي فعليًا إلى كبح توسع طيف فوريه ومنع ظهور ترددات تتجاوز حد نايكويست (Nyquist limit).
4. تحليل نواة تانغنت العصبية (NTK): يبحث البحث في تأثير التهيئة على الـ NTK. وقد أثبتوا أن التهيئة المقترحة ($\sigma_a=0$) تؤدي إلى قيم ذاتية لـ NTK تتناسب خطيًا مع العمق، بينما تظل تدرجات المدخلات طبيعية. وهذا يتناقض مع تهيئة SIREN الأصلية، حيث تنفجر القيم الذاتية لـ NTK والتدرجات أسيًا مع العمق.

المساهمات الرئيسية

• تهيئة ذات صيغة مغلقة: اشتقاق مخطط تهيئة صريح لـ SIREN يضمن توزيعات تدرج ثابتة عبر الطبقات وطيف فوريه مستقل عن العمق.
• التبرير النظري لـ $\sigma_a = 0$: تحديد أن ضبط تباين ما قبل التنشيط إلى الصفر هو الأمثل للتحكم في الطيف الترددي، ومنع التعرج، وضمان ديناميكيات تدريب مستقرة في البنيات العميقة.
• ديناميكيات NTK: إثبات أن التحكم في انتشار التدرج عند التهيئة يشكل مباشرة القيم الذاتية لـ NTK، مما يحدد سرعة تعلم مكونات التردد المختلفة ويتجنب التحيز الطيفي المتأصل في تكوينات الشبكات العميقة الأخرى.

النتائج
تم اختبار التهيئة المقترحة ($\sigma_a = 0$) مقابل مخطط SIREN الأصلي، والمتغير $\sigma_a = 1$، وغيرها من البنيات المتطورة (مثل FINER و WIRE و Tanh مع ميزات فوريه و ReLU مع الترميز الموضعي) عبر مهام متنوعة:

• تقريب الدوال: في تقريب الدوال متعددة المقاييس في 1D و 2D و 3D، حققت الطريقة المقترحة باستمرار خطأ تعميم أقل مقارنة بالنماذج المرجعية، خاصة مع زيادة عمق الشبكة.
• إعادة بناء الصور والفيديو: في مهام ملاءمة الصور وإعادة بناء الفيديو (باستخدام مجموعة بيانات ERA-5 الجوية)، أنتجت الطريقة المقترحة ملامح أكثر حدة وأقل بكثير في العيوب الترددية العالية مقارم SIREN الأصلي والطرق الأخرى.
• الشبكات العصبية المستوحاة من الفيزياء (PINNs): تم اختبار الطريقة لحل معادلة بورغرزز (Burgers equation) في 1D، ومعادلات نافيير-ستوكس المستقرة في 2D، والمعادلة الحرارية في هندسات معقدة. قدمت التهيئة المقترحة حلولاً مستقرة، بينما أنتجت تهيئة SIREN الأصلية نتائج ضوضائية وغير مستقرة في مهام نافيير-ستوكس والمعادلة الحرارية بسبب المكونات الترددية العالية غير المتحكم بها.
• إزالة الضجيج: في تجارب إزالة الضجيج من الصور، عملت التهيئة المقترحة كمنظم ضمني فعال، حيث أعادت بناء الإشارات النظيفة مع تجاهل الضوضاء عالية التردد، على عكس الطرق الأخرى التي مالت إلى الإفراط في ملاءمة الضوضاء (overfitting).

الأهمية
يزعم البحث أن هذا العمل يوفر فهمًا نظريًا أعمق لتهيئة INR، منتقلًا من مجرد الضبط التجريبي إلى نهج قائم على مبادئ نظرية الأنظمة الديناميكية. من خلال تثبيت انتشار التدرج والتحكم في الطيف الترددي عند التهيئة، تسمح الطريقة المقترحة للشبكات الجيبية العميقة بتعلم التفاصيل عالية التردد دون إدخال عيوب زائفة. وهذا يتيح ديناميكيات تدريب مستقرة مع معدلات تعلم تتناسب خطيًا مع العمق، مما يجعل بنيات SIREN أكثر قوة وقابلية للتطبيق في المشكلات المعقدة وعالية الأبعاد مثل الحوسبة العلمية وإعادة بناء الإشارات متعددة المقاييس. ويشير المؤلفون إلى أنه على الرغم من أن الدافع ينبع من INRs، إلا أن التهيئة ذات الصيغة المغلقة قابلة للتطبيق على أي بنية عميقة تستخدم تنشيطات دورية حيث تكون استقرار التدرج والتحكم في التردد مطلوبين.