ملخص تقني: ArcGate: تنشيط البوابة الظلّية التكيفي (Adaptive Arctangent Gated Activation)

بيان المشكلة

تعد دوال التنشيط (Activation functions) حجر الزاوية في الشبكات العصبية العميقة، حيث تتحكم في اللاخطية، وتعلم الميزات، والتقارب، والمتانة. وبينما عانت الدوال التاريخية مثل "Sigmoid" و"Tanh" من مشكلة تلاشي التدرج (vanishing gradients)، وتوفر الدوال الحديثة ذات الشكل الثابت مثل ReLU وGELU وSiLU كفاءة حسابية، إلا أنها تفتقر إلى المرونة الهيكلية. هذه التنشيطات التقليدية لا تتكيف مع المتطلبات المحددة لمختلف طبقات الشبكة أو توزيعات البيانات. علاوة على ذلك، غالبًا ما تظهر الدوال الثابتة قيودًا مثل مشكلة "موت ReLU" (تلاشي التدرجات للقيم السالبة) أو "النتوءات" غير القابلة للاشتقاق عند نقطة الأصل، مما قد يؤدي إلى زعزعة استقرار التدريب في البنى العميقة. وفي سياق الاستشعار عن بُعد، حيث تتميز البيانات غالبًا بنطاقات ديناميكية عالية وتكون عرضة لضوضاء المستشعرات والاضطرابات الجوية، فإن جمود دوال التنشيط القياسية قد يعيق الأداء الأمثل والمرونة.

المنهجية

يقترح البحث ArcGate (تنشيط البوابة الظلّية التكيفي)، وهو دالة تنشيط بارامترية مرنة مصممة لتحسين اللاخطية الخاصة بها ذاتيًا. يتم بناء ArcGate عبر تحويل لاخطي ثلاثي المراحل يتضمن سبعة معاملات قابلة للتعلم لكل طبقة: $a, c, p, \alpha, \beta, \gamma, \delta$.

تسير الصيغة الرياضية كما يلي:

1. الانتقال الرتيب (Monotonic Transition): تقوم دالة انتقال سلسة $u(x; a, c)$ برسم المدخلات إلى النطاق $(0, 1)$ باستخدام دالة الظل العكسي (arctangent). يتحكم المعامل $a$ في درجة الانحدار، بينما يحدد $c$ مركز الانتقال.
2. التمدد اللاخطي (البوابة): يتم اشتقاق دالة بوابة تكيفية $v(x; p)$ عن طريق تطبيق تحويل "الفرصة" (odds transformation) على $u(x)$، ورفعها للقوة $p$، ثم رسمها مرة أخرى في النطاق $(0, 1)$ عبر دالة الظل العكسي. يتحكم المعامل $p$ في حدة البوابة، مما يسمح بانتقالات تتراوح من سلوك شبيه بـ "Sigmoid" إلى سلوك قريب من الخطية الجزئية.
3. التركيب الأفيني (Affine Combination): تجمع دالة التنشيط النهائية $F(x)$ بين دالة البوابة والحدود الخطية والثنائية الخطية:
   $$F(x; \alpha, \beta, \gamma, \delta) = (\alpha x + \beta)v(x; p) + (\gamma x + \delta)$$
   هنا، ينظم $\alpha$ الميل في المنطقة النشطة، ويتحكم $\beta$ في المساهمة اللاخطية، ويقدم $\gamma$ مسارًا خطيًا (تسريب/leakage)، بينما يوفر $\delta$ إزاحة ثابتة.

الخصائص الرياضية

• التعميم: تشكل ArcGate مجموعة وظيفية فائقة قادرة على محاكاة التنشيطات الكلاسيكية (ReLU, Sigmoid, Tanh, SiLU, GELU, Leaky ReLU) كحالات خاصة أو تقريبات وثيقة من خلال ضبط معاملاتها.
• الاستمرارية والقابلية للاشتقاق: على عكس ReLU، فإن ArcGate هي دالة $C^\infty$ (قابلة للاشتقاق لعدد لا نهائي من المرات) في كل مكان بسبب تركيب دالتي الظل العكسي ودالة القوة، مما يضمن عملية انتشار خلفي (backpropagation) مستقرة.
• الاستقرار العددي: استخدام الظل العكسي كآلية ضغط (squashing mechanism) يمنع مشاكل تجاوز السعة (overflow) الشائعة في الدوال القائمة على الأسس (مثل Sigmoid) أثناء التدريب بدقة نصف الطول (half-precision).
• التحيز القابل للتعلم: تسمح المعاملات $c$ و$\delta$ للدالة بتعلم تحيز داخلي مستقل عن طبقات الأوزان، بما يتناسب مع إحصائيات البيانات المحددة.

الإعداد التجريبي

قيم المؤلفون ArcGate باستخدام بنيتي ResNet-50 وVision Transformer (ViT-B/16) على ثلاثة معايير للاستشعار عن بعد:

• PatternNet: مجموعة بيانات تغطية أرضية عالية الدقة.
• UC Merced Land Use: مجموعة بيانات قياسية لاستخدامات الأراضي.
• EuroSAT MSI: مجموعة بيانات متعددة الأطياف مكونة من 13 قناة.

بالنسبة للمدخلات متعددة الأطياف (EuroSAT)، تم تكييف النماذج لتشمل 13 قناة. تم استخدام مُحسن AdamW للتدريب على مدار 50 حقبة (epochs). تم تهيئة معاملات ArcGate بتهيئة "Soft ReLU" ($a=5.0, p=1.0$، إلخ) لضمان تدريب مبكر مستقر.

النتائج الرئيسية

1. دقة التصنيف

تفوق ArcGate باستمرار على النماذج المرجعية القياسية (ReLU, Leaky-ReLU, SiLU, GELU, إلخ) عبر جميع مجموعات البيانات والبنيات.

• PatternNet: حققت ذروة في الدقة الإجمالية (OA) بلغت 99.67% مع ResNet-50، متجاوزةً نموذج ReLU المرجعي (99.57%) وSiLU (99.01%).
• UC Merced: حققت 98.15% (ResNet-50) و98.33% (ViT-B/16)، متفوقة على ReLU وSiLU.
• EuroSAT: أظهرت أداءً تنافسيًا، حيث حققت Res-Net-50 دقة إجمالية قدرها 98.47%.

2. المتانة تجاه الضوضاء

كشف اختبار الضغط باستخدام الضوضاء الغاوسية ($\sigma \in [0, 0.2]$) على مجموعة بيانات PatternNet عن مرونة هيكلية فائقة لـ ArcGate.

• تحت تأثير ضوضاء متوسطة ($\sigma = 0.1$)، انخفضت دقة النموذج القائم على ReLU بشكل حاد إلى 39.34%.
• حافظ نموذج ArcGate على دقة بلغت 65.99%، مما يمثل تحسنًا مطلقًا قدره 26.65% عن نموذج ReLU المرجعي.
• تُعزى هذه المتانة إلى الطبيعة السلسة والقابلة للاشتقاق لـ ArcGate، والتي تعمل طبيعيًا على تنظيم الاستجابة والحد من تضخيم الضوضاء مقارنة بالانقطاع الحاد في ReLU.

3. التكيف على مستوى الطبقة والدراسة الاستئصالية (Ablation)

• التطور المعتمد على العمق: أظهر تحليل المعاملات المتعلمة أن ميل البوابة ($\alpha$) يزدير مع عمق الشبكة (من 0.99 في الطبقات الضحلة إلى 1.12 في الطبقات العميقة). يشير هذا إلى أن الشبكة تتعلم ذاتيًا تضخيم شدة الإشارة في الطبقات العميقة لمواجهة التضاؤل وتعزيز بروز الميزات.
• درجة التفصيل: أكدت الدراسة الاستئصالية أن المعاملات المتعلمة على مستوى الطبقة (إجمالي 343 معاملًا إضافيًا) تفوقت على المعاملات المشتركة عالميًا بنسبة 0.42% وعلى المعاملات الثابتة بنسبة 0.66%. كانت التكلفة الحسابية ضئيلة جدًا (أقل من 0.002% من إجمالي المعاملات).
• التهيئة: أدت التهيئة باستخدام تكوين "Soft-ReLU" إلى تقارب أسرع ونتائج قريبة من المثالية مقارنة بالتهيئة العشوائية أو تهيئة المحايدة (identity initialization).

الأهمية والادعاءات

يفترض البحث أن ArcGate هي دالة تنشيط عقدة قوية وتكيفية مفيدة بشكل خاص لمهام المراقبة الأرضية عالية الدقة. تكمن أهميتها الأساسية في:

1. التكيف الذاتي: على عكس التنشيطات الثابتة، تسمح ArcGate للشبكة بتشكيل اللاخطية الخاصة بها وفقًا للتسلسل الهرمي للميزات وتوزيع البيانات، وهو ما ثبت من خلال تطور المعاملات المعتمد على العمق.
2. تعزيز المتانة: توفر الطبيعة السلسة والقابلة للاشتقاق للدالة مرونة كبيرة ضد اضطرابات الإشارة الشائعة في الاستشعار عن بعد (مثل ضوضاء المستشعرات)، متفوقة على ReLU بفارق كبير في ظروف الضوضاء.
3. إطار عمل موحد: توحد ArcGate سلوكيات التنشيط المختلفة (التقويمية، والتشبعية، والخطية، واللاخطية السلسة) في عائلة بارامترية واحدة، مما يثبت أن الدوال الكلاسيكية هي حالات خاصة من هذه الصيغة الأوسع.

يخلص المؤلفون إلى أنه بينما تظهر ArcGate إمكانات واعدة لتحليل صور SAR والصور البصرية، فإن العمل المستقبلي سيستكشف تطبيقها في البنيات خفيفة الوزن والشبكات ذات القيم المركبة.