Activation Function Design Sustains Plasticity in Continual Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "تصميم دالة التنشيط يحافظ على اللدونة في التعلم المستمر" (ICLR 2026).

1. بيان المشكلة

يتطلب التعلم المستمر (Continual Learning) من الشبكات العصبية تعلم مهام جديدة بالتتابع دون محو المعرفة المكتسبة سابقاً. وبينما تمت دراسة النسيان الكارثي (فقدان المعرفة القديمة) بشكل جيد، تركز هذه الورقة على فقدان اللدونة (Loss of Plasticity): وهي ظاهرة حيث تحتفظ النماذج بقدراتها الماضية ولكنها تفقد تدريجياً القدرة على التكيف مع البيانات الجديدة أو تغيرات التوزيع.

يجادل المؤلفون بأنه بينما تُعامل دوال التنشيط غالباً كمعلمات فائقة (hyperparameters) ثانوية في بيئات البيانات المستقلة والمتماثلة توزيعياً (i.i.d.)، إلا أنها تلعب دوراً أساسياً ومستقلاً عن البنية في الحد من فقدان اللدونة في البيئات غير المستقرة (سواء في التعلم الخاضع للإشراف أو التعلم التعزيزي). تعاني دوال التنشيط القياسية مثل ReLU من "الوحدات الميتة" (تلاشي التدرجات)، بينما تعاني الدوال التي تشبع (مثل Sigmoid و Tanh) من تلاشي التدرجات، وكلاهما يعيق القدرة على التكيف عند تغير توزيعات البيانات.

2. المنهجية والتحليل

أجرى المؤلفون تحليلاً منهجياً قائماً على الخصائص لدوال التنشيط لتحديد الخصائص الهندسية التي تحافظ على اللدونة. تضمنت منهجيتهم ما يلي:

• دراسة حالة 1: "منطقة غولديلوكس" (Goldilocks Zone) للميول السالبة.

  • قاموا بمسح الميول في الجانب السالب ($\bar{s}$) عبر عائلات تنشيط مختلفة (Leaky-ReLU, RReLU, PReLU, Swish, GeLU, إلخ).
  • النتيجة: توجد نطاق مثالي للاستجابة في الجانب السالب، يُسمى "منطقة غولديلوكس" ($0.6 \lesssim \bar{s} \lesssim 0.9$).
  • أنماط الفشل:
    • إذا كان $\bar{s} \to 0$: نسبة عالية من "الوحدات الميتة" (تجويع التدرج).
    • إذا كان $\bar{s} \to 1$ (أو أعلى): عدم استقرار في التحسين، يتميز بقمم حادة في الانحناء الرئيسي ($\lambda_{max}$) وانخفاض الرتبة الفعلية لمصفوفة جرام التدرج.
  • القدرة على التكيف: غالباً ما تنحرف الميول القابلة للتعلم (مثل PReLU) خارج هذا النطاق الأمثل أثناء التدريب ما لم يتم تقييدها.

• دراسة حالة 2: ديناميكيات إزالة التشبع تحت الصدمات.

  • قدم المؤلفون بروتوكول إجهاد يتضمن "صدمات القياس" (ضرب المدخلات قبل التنشيط بمعاملات $\gamma \in \{0.25, 0.5, 1.5, 2.0\}$) لمحاكاة تغيرات التوزيع.
  • المقياس الرئيسي: عرض النطاق الميت (Dead-Band Width - DBW)، ويُعرف بأنه كسر نطاق المدخلات حيث يكون المشتق $|\phi'(x)| < 10^{-3}$.
  • النتائج:
    • وجود حد أدنى غير صفري للمشتق (مثل Leaky-ReLU, RReLU) أمر بالغ الأهمية لسرعة إزالة التشبع والتعافي.
    • التشبع من جانبين (Sigmoid, Tanh) يؤدي إلى أعلى معدلات الفشل في التعافي.
    • النعومة مقابل الزوايا الحادة: بينما يُفضل عموماً وجود انتقالات سلسة (C1)، فإن وجود حد أدنى صارم غير صفري هو الأكثر أهمية لضمان نجاح التعافي (تجنب التشبع الدائم) أكثر من سرعة التعافي نفسها.

3. الحلول المقترحة

بناءً على التحليل، يقترح المؤلفون دالتي تنشيط جديدتين يمكن استخدامهما مباشرة (drop-in) صُممتا لتلبية المعايير المحددة:

1. حد أدنى صارم للمشتق غير الصفري: يضمن عدم تلاشي التدرجات تماماً في الفرع السالب.
2. تسرب سالب معتدل: يستهدف "منطقة غولديلوكس" ($0.6-0.9$).
3. نعومة من الدرجة الأولى (C1 Smoothness): استمرارية المشتق الأول عند نقطة الأصل لتقليل عدم استقرار التحسين.

دوال التنشيط الجديدة:

• Smooth-Leaky: بديل من الدرجة $C^1$ لـ Leaky-ReLU. يحافظ على الهوية الخطية لـ $x>0$ وتسرب خطي لـ $x \ll 0$، متصلاً بانتقال سلس يعتمد على دالة السيجمويد.
  $$f(x) = \alpha x + (1 - \alpha) x \cdot \sigma\left(\frac{cx}{p}\right)$$
• Randomized Smooth-Leaky: نسخة متغيرة حيث يتم أخذ عينة من معامل التسرب $\alpha$ من توزيع منتظم $U(l, u)$ أثناء التمرير الأمامي (ويتم تثبيته عند المتوسط أثناء الاستنتاج). هذا يضيف عشوائية خفيفة لتحسين المتانة ضد النهايات المحلية الخاصة بالمهمة.

4. النتائج التجريبية

أ. التعلم المستمر الخاضع للإشراف

تم التقييم على خمسة معايير (Permuted MNIST, Random Label MN/CIFAR, CIFAR 5+1, Continual ImageNet).

• الأداء: حققت Randomized Smooth-Leaky باستمرار أعلى متوسط دقة للمهام عبر الإنترنت (Total Average Online Task Accuracy)، متفوقة بشكل كبير على ReLU و Sigmoid و Tanh وحتى النماذج القوية مثل Swish و Deep Fourier Features.
• التحقق من منطقة غولديلوكس: تجمعت أفضل التكوينات أداءً (بما في ذلك RReLU و PReLU) حول النطاق المحدد للميل السالب $[0.6, 0.9]$.
• المتانة: حافظت الدوال المقترحة على أداء عالٍ حتى عند دمجها مع تقنيات تنظيم CL القياسية (L2-Init, SNR, EWC)، مما يشير إلى أن تصميم التنشيط بحد ذاته هو رافعة أساسية لللدونة.

ب. التعلم المستمر التعزيزي (RL)

تم التقييم باستخدام تسلسل MuJoCo غير مستقر (HalfCheetah $\to$ Hopper $\to$ Walker2d $\to$ Ant $\to$ تكرار) باستخدام خوارزمية PPO.

• المقاييس: استخدمت درجة اللدونة (متوسط الربيع المعياري للعوائد) و فجوة التعميم ($\Delta$ بين أداء التدريب والاختبار).
• النتائج:
  • حققت Randomized Smooth-Leaky أعلى درجة لدونة ($0.3875$)، متفوقة على Swish و PReLU و Sigmoid.
  • أظهرت قدرة عالية على التدريب (القدرة على التعلم من البيانات الحالية) مع الحفاظ على فجوة تعميم منخفضة في البيئات المستقرة (Ant, HalfCheetah)، مما يش indicat أنها لا تكتفي بمجرد الإفراط في التخصيص (overfitting) للبيانات الأخيرة.
  • بينما وفرت Sigmoid استقراراً في البيئات المتقلبة (Humanoid) بسبب المخرجات المحدودة، إلا أنها عانت من انخفاض في ذروة اللدونة.

5. المساهمات الرئيسية

1. التحليل على مستوى الخصائص: تحديد "منطقة غولديلوكس" للميول السالبة والأهمية الحاسمة للحد الأدنى للمشتق غير الصفري وعرض النطاق الميت المنخفض للحفاظ على اللدونة.
2. دوال تنشيط جديدة: تقديم Smooth-Leaky و Randomized Smooth-Lelety، اللتين توفران حلاً خفيف الوزن وعام النطاق لمعالة فقدان اللدونة دون الحاجة لتغييرات في البنية أو سعة إضافية.
3. بروتوكول الإجهاد: تطوير إطار تشخيصي (صدمات القياس، تحليل DBW) لربط شكل التنشيط مباشرة بالقدرة على التكيف تحت تغيرات التوزيع.
4. التحقق التجريبي: إثبات الأداء المتفوق عبر معايير متنوعة للتعلم المستمر الخاضع للإشراف والتعلم التعزيزي، مما يثبت أن تصميم التنشيط هو عامل أساسي في الحد من فقدان اللدونة.

6. الأهمية

تتحدى هذه الورقة الاعتقاد بأن دوال التنشيط هي مجرد مكونات قياسية يتم ضبطها جنباً إلى جنب مع المحسنات (optimizers). إنها تؤسس لفكرة أن هندسة التنشيط هي آلية أساسية للحفاظ على اللدونة. ومن خلال توفير بديل بسيط يمكن استخدامه مباشرة ولا يتطلب معاملات إضافية أو تنظيماً معقداً، توفر الطرق المقترحة مساراً عالي الكفاءة لبناء وكلاء تعلم مستمر أكثر متانة. تشير النتائج إلى أن أبحاث التعلم المستمر المستقبلية يجب أن تعطي الأولوية لتصميم التنشيط كأولوية من الدرجة الأولى، خاصة في بيئات التعلم التعزيزي غير المستقرة حيث تتطور توزيعات البيانات ديناميكياً.