ملخص تقني: دالة تنشيط مركبة لتعلم تمثيلات ثنائية مستقرة

بيان المشكلة

تعد دوال التنشيط أساسية لأداء الشبكات العصبية، حيث تؤثر على دقة التنبؤ، والمتانة، وقابلية التفسير. وبينما توفر دالة هيفيسيد (Heaviside) (حيث $x \mapsto \mathbb{I}(x \geq 0)$) مزايا كبيرة من حيث الكفاءة الحسابية، واستخدام الذاكرة، وقابلية التفسير — مما يجعلها مثالية للشبكات العصبية النبضية (SNNs)، والشبكات العصبية الثنائية (BNNs)، والشبكات العصبية العميقة ذات دالة هيفيسيد (DHNs) — إلا أنها غير قابلة للاشتقاق بطبيعتها. وهذا عدم القابلية للاشتقاق يمنع استخدام التحسين القائم على التدرج القياسي.

تواجه الحلول الحالية قيودًا حرجة:

1. التدرجات البديلة (مثل مُقدر المرور المباشر - STE): تقرب هذه الطرق التدرجات أثناء الانتشار الخلفي، لكنها تُدخل عدم تطابق بين ممر الأمام وممر الخلف، مما يؤدي غالبًا إلى تحسين متحيز وأداء دون المستوى الأمثل.
2. البدائل الناعمة (مثل Sigmoid): استبدال هيفيسيد بدوال ناعمة مثل السيجمويد يتيح التدرج المنحدر، ولكنه يعاني من تلاشي حاد في التدرج، خاصة عندما يتم جعل الدالة شديدة الانحدار لتقريب الخطوة الثنائية. يؤدي هذا إلى ديناميكيات تدريب غير مستقرة.

يتمثل التحدي الجوهري في تصميم دالة تنشيط تقرب دالة هيفيسيد عن كثب (لتمكين التمثيلات الثنائية) مع الحفاظ على تدفق تدرج مستقر وغير متلاشٍ مناسب لتدريب الشبكات العميقة.

المنهجية: دالة التنشيط ذات الذيول الثقيلة (HTAF)

يقترح المؤلفون دالة التنشيط ذات الذيول الثقيلة (HTAF)، وهي دالة مركبة ناعمة تُعرف بـ:
$$\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))$$
حيث $\sigma$ هي دالة السيجمويد، و$\psi$ هي دالة الظل الزائدي (hyperbolic tangent)، و$\alpha_0, \alpha_1 \in \mathbb{R}^+$ هما معلمتان فائقتان (hyperparameters).

الخصائص النظرية

يعالج تصميم HTAF المقايضة بين التقريب الثنائي واستقرار التدرج من خلال آليتين رئيسيتين:

1. التقريب الثنائي: يوضح التحليل النظري (الافتراض 3.1) أنه مع الاختيارات المناسبة لـ $\alpha_0$ و $\alpha_1$، تقرب HTAF دالة هيفيسيد بشكل موحد خارج جوار صغير للغاية من الأصل.
2. سلوك التدرج ذو الذيول الثقيلة:
   • بالقرب من الصفر: يتحدد التدرج عند $x=0$ من خلال حاصل الضرب $\alpha_0 \alpha_1$ (النظرية 3.2b)، مما يسمح بمقدار تدرج كبير لتسهيل التعلم بالقرب من حدود القرار.
   • في الذيول: بالنسبة لقيم $|x|$ الكبيرة، يتلاشى التدرج كـ $C(\alpha_0, \alpha_1)\exp(-2\alpha_0|x|)$ (النظرية 3.2a). والأهم من ذلك، أن اختيار $\alpha_0$ صغير يبطئ تلاشي التدرج في مناطق الذيول بشكل كبير مقارنة بدوال السيجمويد القياسية الموزونة، مما يمنع تلاشي التدرج المبكر.
   • التحكم في المعلمات: يوضح المؤلفون أن $\alpha_0$ يتحكم في معدل تلاشي الذيل، بينما تتحكم $\alpha_1$ في الميل عند الصفر. هذا الفصل يسمح للشبكة بالحفاظ على تدرج كبير عند الصفر مع ضمان عدم تلاشي التدرجات بسرعة كبيرة للمدخلات الكبيرة.

التطبيقات

يطبق البحث HTAF في مجالين أساسيين:

1. تدريب الشبكات العصبية باستخدام تنشيطات هيفيسيد: تستبدل HTAF دالة هيفيسيد أثناء التدريب لشبكات SNNs وBNNs وDHNs. وهذا يتيح التحسين النهائي (end-to-end) باستخدام التدرج المنحدر القياسي دون الحاجة لتدرجات بديلة. عند الاستنتاج، يتم استعادة HTAF إلى دالة هيفيسيد الدقيقة، مما ينتج تنشيطات منفصلة وفعالة في الذاكرة.
2. نماذج عنق الزجاجة المفاهيمية الضمنية (ICBMs): يقدم المؤلفون ICBMs، وهي امتداد لنماذج عنق الزجاجة المفاهيمية (CBMs). في نماذج ICBMs، تستخدم الطبقة الأخيرة من مستخرج الميزات دالة HTAF أثناء التدريب لاستحثاث تمثيلات كامنة منفصلة، شبه ثنائية (مفاهيم ضمنية). عند الاستنتاج، يتم تطبيق دالة هيفيسيد لإنتاج ميزات ثنائية دقيقة. وعلى عكس نماذج CBM التقليدية، لا تتطلب ICBMs تسميات مفاهيم محددة مسبقًا؛ بل تتعلم المفاهيم مباشرة من البيانات، والتي يتم تفسيرها لاحقًا بواسطة النماذج اللغوية الكبيرة (LLMs).

المساهمات الرئيسية

1. دالة تنشيط مبتكرة: تقديم HTAF، وهي تقريب ناعم لدالة هيفيسيد يحافظ على تدرجات كبيرة بالقرب من الصفر مع إظهار تلاشي تدرج بطيء في مناطق الذيول.
2. التبرير النظري: إثبات أن HTAF يمكنها تقريب دالة هيفيسيد بخطأ قدره $O(\epsilon)$ وتوضيح كيفية التحكم في تلاشي التدرج عبر ضبط المعلمات لتمكين التعلم العميق المستقر نظريًا.
3. تدريب خالٍ من البدائل: إثبات أن HTAF تتيح تدريبًا مستقرًا ومنتهيًا (end-to-end) يعتمد على التدرج لشبكات SNNs وBNNs وDHNs، متفوقة على الطرق الموجودة مثل STE وScaled Sigmoid (SS) في دقة التنبؤ والاستقرار.
4. نماذج قابلة للتفسير: اقتراح ICBMs، التي تستفيد من HTAF لتعلم مفاهيم ضمنية منفصلة وخاصة بالفئات دون تسميات بشرية، محققة أداءً تنافسيًا مع توفير قابلية التفسير.

النتائج التجريبية

أجرى المؤلفون تجارب مكثفة عبر بنيات ومجموعات بيانات متنوعة:

• تدريب شبكات هيفيسيد:
  • على مجموعتي CIFAR-10 وCIFAR-100، حققت شبكات SNN المدربة بـ HTAF أداءً منافسًا لـ STE (91.0% مقابل 91.2% على CIFAR-10).
  • بالنسبة لـ BNNs وDHNs، تفوقت HTAF باستمرار على كل من STE وScaled Sigmoid (SS). على سبيل المثال، في CIFAR-100، حققت BNNs المدربة بـ HTAF دقة 46.1% مقارنة بـ 45.2% (STE) و31.3% (SS). ويعزو المؤلفون الأداء الضعيم لـ SS إلى تلاشي التدرج.
• نماذج عنق الزجاجة المفاهيمية الضمنية (ICBMs):
  • لم يؤدِ استبدال التنشيط النهائي لمستخرجي الميزات (ResNet, WideResNet, ViT) بـ HTAF إلى تدهور أداء التنبؤ على CIFAR-10، CIFAR-100، CUB-200، وTiny-ImageNet. وفي بعض الحالات (مثل CIFAR-100 مع WideResNet)، تحسن الأداء.
  • الخصوصية الفئوية: أظهر التحليل أن المفاهيم الضمنية التي تعلمتها ICBMs هي عالية الخصوصية بالفئات، حيث تتركز قيم التنشيط بالقرب من 0 أو 1 لفئات محددة، على عكس النماذج القياسية.
  • قابلية التفسير: باستخدام نموذج لغوي كبير (LLM) لتفسير العقد الكامنة الثنائية، نجح المؤلفون في تحديد مفاهيم ذات معنى دلالي (مثل "Ecomorphological Niche"، "Bill Morphology") والتي تتماشى مع الخصائص البصرية للبيانات.
• النماذج اللغوية الكبيرة (LLMs):
  • أظهرت التجارب التي استبدلت دوال التنشيط في آخر $k$ طبقة من Llama-2-7b وQwen-3.5-9b بـ HTAF أن HTAF توفر بديلًا أكثر استقرارًا لـ STE، حيث تظهر انخفاضًا أقل في الأداء مع زيادة عدد الطبقات المستبدلة.

الأهمية والادعاءات

يزعم البحث أن HTAF توفر حلاً مبدئيًا للصعوبة طويلة الأمد المتمثلة في تدريب الشبكات العصبية ذات التنشيطات الثنائية. ومن خلال إثبات قدرة HTAF على الحفاظ على تدفق التدرج في مناطق الذيول وتقريب دالة هيفيسيد نظرًا وعمليًا، فإن المؤلفين يُمكّنون من:

• التحسين المستقر: تدريب الشبكات الثنائية العميقة دون التحيز الذي تفرضه التدرجات البديلة أو عدم الاستقرار في تقريبات السيجمويد الحادة.
• الكفاءة وقابلية التفسير: القدرة على نشر نماذج فعالة في الذاكرة ومنفصلة (SNNs, BNNs) ونماذج قابلة للتفسير (ICBMs) دون التضحية بدقة التنبؤ.
• المفاهيم المستمدة من البيانات: نموذج جديد لـ CBMs يتعلم المفاهيم مباشرة من البيانات، متجاوزًا تكلفة وعدم موثوقية التسميات اليدوية أو المولدة بالذكاء الاصطناعي.

يشير المؤلفون إلى أنه بينما تخفف HTAF من تلاشي التدرج من خلال ضبط المعلمات، إلا أنها لا تقضي عليه تمامًا، كما يظل تحديد العدد الأمثل للمفاهيم في ICBM مسارًا مفتوحًا للبحوث المستقبلية.