🤖 machine learning

Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

تقدم هذه الورقة عائلة دوال التنشيط Swish-T، التي تعزز دالة Swish الأصلية من خلال دمج انحياز التان هانت (Tanh) لإنشاء منحنيات أكثر سلاسة وغير رتيبة تُحسن تجريبيًا أداء الشبكات العصبية عبر مختلف النماذج ومجموعات البيانات المرجعية.

المؤلفون الأصليون: Youngmin Seo, Jinha Kim, Unsang Park

نُشر 2026-04-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Youngmin Seo, Jinha Kim, Unsang Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء آلة ضخمة ومعقدة (شبكة عصبية) تحتاج إلى تعلم كيفية التعرف على الأشياء، مثل التمييز بين قط وكلب أو قراءة لافتة شارع. لجعل هذه الآلة ذكية، يتعين عليك منح أجزائها الداخلية وسيلة لتقرر: "هل يجب أن أمرر هذه المعلومة، أم أتوقف؟"

في عالم الذكاء الاصطناعي، تُسمى هؤلاء صناع القرار بـ دوال التنشيط (Activation Functions).

المشكلة القديمة: "المنطقة الميتة"

لفترة طويلة، كان صانع القرار الأكثر شعبية يسمى ReLU. فكر في ReLU كحارس بوابة صارم في ملهى ليلي.

إذا كانت المدخلات موجبة (لديك بطاقة VIP)، يقول الحارس: "تفضل بالدخول!"
إذا كانت المدخلة صفرًا أو سالبة، يقول الحارس: "ممنوع الدخول"، ويغلق الباب تمامًا.

المشكلة؟ إذا أغلق الحارس الباب كثيرًا، فإن الأشخاص خلفه (الخلايا العصبية) يتوقفون عن التواصل مع بعضهم البعض. إنهم يغطون في النوم. وهذا ما يسمى بمشكلة "موت ReLU" (Dying ReLU). تتوقف الآلة عن التعلم لأن الكثير من أجزائها قد تجمدت.

الترقية السابقة: Swish

اخترع العلماء حارسًا أفضل يسمى Swish. بدلاً من الرفض القاطع، يشبه Swish مضيفًا مهذبًا. إذا كانت المدخلات سالبة، يقول Swish: "حسنًا، ربما يمكنك الدخول قليلًا"، مما يسمح بقدر ضئيل من المعلومات بالمرور. هذا يحافظ على استمرار المحادثة، حتى عندما لا تكون الأمور مثالية.

الابتكار الجديد: Swish-T

سأل مؤلفو هذه الورقة سؤالًا بسيطًا: "ماذا لو منحنا Swish دفعة إضافية بسيطة لتجعله أكثر مرونة؟"

لقد قدموا Swish-T. إليك التشبيه:

تخيل أن Swish هي سيارة تسير على طريق.

Swish هي سيارة تقود بسلاسة ولكنها تتردد أحيانًا عندما يصبح الطريق وعرًا (قيم سالبة).
Swish-T يضيف انحياز Tanh (Tanh Bias). فكر في هذا كـ نظام تعليق ذكي أو مساعد طيار.

هذا "المساعد" (دالة Tanh) ينظر إلى الطريق أمامه. إذا كانت السيارة على وشك الاصطدام بمطبات (قيمة سالبة)، فإن المساعد يدفع السيارة برفق للأمام، قائلاً: "لا تتوقف! فقط خفف السرعة واستمر في التحرك."

هذا يسمح للآلة بقبول القيم السالبة بسهولة أكبر خلال المراحل الأولى من التعلم، مما يمنع الخلايا العصبية من النوم. إنه يخلق مسارًا أكثر سلاسة وتسامحًا لانتقال البيانات.

عائلة المتغيرات

لا يقدم البحث "سيارة" واحدة جديدة فحسب؛ بل يقدم عائلة كاملة منها، مصممة لاحتياجات مختلفة:

Swish-T (النموذج القياسي): النسخة الكاملة مع المساعد الذكي. إنها دقيقة جدًا ولكنها تتطلب قدرًا أكبر من القدرة الحوسبية لحساب نصيحة المساعد.
Swish-TA (السيارة السريعة): هذه النسخة تبسط مهمة المساعد. فهي تزيل الحسابات المعقدة لجعل السيارة تسير بشكل أسرع. وهي رائعة إذا كنت بحاجة إلى السرعة ولا تملك حاسوبًا خارقًا.
Swich-TB (النموذج التكيفي): هذه النسخة تسمح للمساعد بالتعلم وتغيير رأيه أثناء قيادة السيارة. إنها مرنة للغاية وتتكيف مع الطرق المختلفة (مجموعات البيانات).
Swish-TC (البطل): هذا هو الفائز بـ "الميدالية الذهبية" في البحث. إنه يوازن بين السرعة والذكاء بشكل مثالي. يضمن بقاء السيارة مستقرة حتى لو أصبح الطريق غريبًا.

ماذا وجدوا؟

اختبر الباحثون هذه "السيارات" الجديدة على مسارات قيادة شهيرة (مجموعات بيانات مثل CIFAR-10 و CIFAR-100، وهي مجموعات تضم آلاف الصور).

النتيجة: عائلة Swish-T، وخاصة Swish-TC، قادت بشكل أسرع ووصلت إلى خط النهاية بدقة أعلى من الحراس القدامى (ReLU) وحتى من المضيفين المهذبين السابقين (Swish).
المفاجأة: وجدوا أنه حتى لو لم تسمح للمساعد بالتعلم (عن طريق تجميد إعداداته)، فإن السيارة لا تزال تقود بشكل رائع حقًا. هذا يعني أنه يمكنك استخدام Swish-T للحصول على أداء رفيع المستوى دون الحاجة إلى قدرة حوسبية إضافية لتدريب المساعد نفسه.

الخلاصة

يقدم البحث Swish-T، وهي طريقة جديدة لمساعدة أدمغة الذكاء الاصطناعي على البقاء مستيقظة والتعلم بشكل أفضل. من خلال إضافة "دفعة ذكية" (انحياز Tanh) إلى النظام الحالي، ابتكروا عائلة من الأدوات التي تجعل الشبكات العصبية أكثر ذكاءً، وسرعة، وموثوقية في التعرف على العالم من حولنا.

إنه يشبه ترقية محرك سيارة قياسي بشاحن توربيني ونظام ملاحة ذكي، مما يسمح لذكائك الاصطناعي بالسباق أمام المنافسين.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SWISH-T: تعزيز تنشيط Swish باستخدام انحياز Tanh لتحسين أداء الشبكات العصبية".

1. بيان المشكلة

تعد دوال التنشيط (Activation functions) أساسية في التعلم العميق لإدخال اللاخطية. وبينما تعد دالة ReLU فعالة، إلا أنها تعاني من مشكلة "موت ReLU" (تعطل الخلايا العصبية). وتعمل المتغيرات مثل Leaky ReLU و PReLU على معالجة ذلك، لكنها تُدخل عدم قابلية للاشتقاق عند الصفر. أما التقريبات السلسة مثل GELU و Swish و Mish فقد حسنت الأداء، لكنها لا تزال تواجه قيودًا في القدرة على التكيف والتحكم في تدفق التدرج (gradient flow).

حدد المؤلفون أن دوال التنشيط الحالية تفتقر إلى آلية لتعديل عتبة التنشيط (activation threshold) والانحياز (bias) ديناميكيًا بناءً على قيم المدخلات بطريقة سلسة ومحدودة. وبشكل محدد، يهدف البحث إلى:

تجاوز مشكلة "موت ReLU" من خلال السماح بقبول أوسع للقيم السالبة خلال التدريب الأولي.
توفير منحنى أكثر سلاسة وغير رتيب (non-monotonic) مقارنة بدالة Swish الأصلية.
تعزيز استقرار التدرج والقدرة على التكيف عبر بنيات الشبكات المتنوعة دون التضحية بالكفاءة الحسابية.

2. المنهجية: عائلة Swish-T

المقترح الجوهري هو عائلة Swish-T، التي تعزز دالة Swish القياسية ( $x \cdot \sigma(\beta x)$ ) بإضافة حد انحياز Tanh.

2.1 مبادئ التصميم الأساسية

تم اختيار دالة الانحياز بناءً على ثلاثة معايير:

متمركز حول الصفر (Zero-centered): للحفاظ على خاصية التمركز حول الصفر لدالة Swish الأصلية.
اللاخطية (Non-linearity): لتعديل الانحياز ديناميكيًا بناءً على المدخل $x$ .
محدودة (Bounded): لمنع الانحياز من إفساد خصائص الدالة الأصلية، وذلك عبر التدرج بمعامل $\alpha$ .

وجد المؤلفون أن الجمع بين Swish + $\alpha \tanh(x)$ حقق أفضل أداء (79.02% دقة Top-1 على مجموعة بيانات CIFAR-100 باستخدام ResNet-18).

2.2 المتغيرات

تقترح الورقة أربعة متغيرات محددة لموازنة الأداء، والسرعة الحسابية، والاستقرار:

Swish-T (الأساسية):
- الصيغة: $f(x) = x\sigma(\beta x) + \alpha \tanh(x)$
- المميزات: تضيف معاملًا قابلًا للتدريب $\beta$ ومعاملًا ثابتًا $\alpha$ . وهي تتقارب إلى $\pm\alpha$ في المناطق السالبة، مما يسم يسمح بالتعامل بسلاسة أكبر مع المدخلات السالبة.
Swish-TA (الكفاءة):
- الصيغة: $f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$
- المميزات: تبسط المعادلة الأساسية عبر توحيد المعاملات لتصبح 1. وهي لا تحتوي على معاملات قابلة للتدريب، مما يجعلها أسرع حسابيًا ومناسبة للسيناريوهات التي تكون فيها الكفاءة أمرًا بالغ الأهمية.
Swish-TB (القدرة على التكيف):
- الصيغة: $f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$
- المميزات: تعيد إدخال المعامل القابل للتدريب $\beta$ إلى Swish-TA. يعتمد الانحياز هنا على كل من $x$ و $\beta$ ، مما يسمح بالتكيف الديناميكي مع خصائص المدخلات المتنوعة.
Swish-TC (الاستقرار والتماثل):
- الصيغة: $f_C(x) = \sigma(\beta x)(x + \frac{2\alpha}{\beta}) - \frac{\alpha}{\beta}$
- المميزات: صُممت لضمان التماثل عند تغير إشارة $\beta$ . وهي تمنع التدرج الأقصى من الارتفاع السريع (وهي مشكلة محتملة في Swish-TB) وتوفر التدفق الأكثر استقرارًا للتدرج.

2.3 تحليل التدرج

اشتق المؤلفون تدرجات تحليلية لجميع المتغيرات. ومن الجدير بالذكر أن Swish-TC تتجنب الضرب المباشر لـ $\alpha$ و $\beta$ في حساب التدرج، مما يعمل على استقرار تدفق التدرج ويمنع انفجار التدرجات أثناء الانتشار العكسي (backpropagation).

3. المساهمات الرئيسية

عائلة تنشيط مبتكرة: تقديم عائلة Swish-T، التي تدمج انحياز Tanh لإنشاء منحنى تنشيط أكثر سلاسة وغير رتيبي يقبل القيم السالبة بفعالية أكبر من Swish.
تخصص المتغيرات: تطوير ثلاثة متغيرات متميزة (TA، TB، TC) مصممة لاحتياجات محددة: السرعة الحسابية (TA)، القدرة الديناميكية على التكيف (TB)، واستقرار التدرج (TC).
كفاءة غير معلمية (Non-Parametric Efficiency): إثبات أنه يمكن استخدام هذه الدوال كدوال غير معلمية (عبر تثبيت $\beta$ ) دون خسارة كبيرة في الأداء، مما يوفر سرعات تدريب أعلى واستهلاكًا أقل للذاكرة.
التحقق التجريبي الشامل: اختبار واسع النطاق عبر مجموعات بيانات وبنيات متعددة، مما يثبت التفوق على الدوال الحديثة مثل ReLU و GELU و Swish و Mish و SMU.

4. النتائج التجريبية

قيم المؤلفون عائلة Swish-T على مجموعات بيانات MNIST و Fashion MNIST و SVHN و CIFAR-10 و CIFAR-100 باستخدام بنيات تشمل ResNet-18 و ShuffleNetV2 و SENet-18 و EfficientNetB0 و MobileNetV2 و DenseNet-121.

أداء CIFAR-10:
- حققت Swish-TC دقة 94.27% (Top-1) باستخدام ShuffleNetV2 (2.x)، متفوقة على ReLU بنسبة 2.34%.
- على DenseNet-121، طابقت Swish-TC أعلى دقة لـ SMU (94.95%) ولكنها أظهرت أوقات تدريب أسرع.
أداء CIFAR-100:
- حققت Swish-TC دقة 79.06% (Top-1) باستخدام ResNet-18 (عند تثبيت $\beta$ عند 6.0)، متفوقة على ReLU بنسبة 4.12%.
- تفوقت متغيرات Swish-T باستمرار على ReLU و GELU و SiLU و Swish و Mish عبر معظم البنيات.
دراسة الاستئصال (تثبيت $\beta$ ):
- كشفت الدراسة أنه في بعض البنيات (مثل ResNet-18)، واجه المعامل $\beta$ القابل للتدريب صعوبة في التقارب نحو القيم المثلى أثناء التدريب.
- من خلال تثبيت $\beta$ عند 6.0 (وهو "الرقم السحري" المستمد من تحليل التقارب)، حققت النسخ غير المعلمية (Swish-TC-6 و Swish-TB-6) دقة أعلى من نظيراتها المعلمية مع تقليل العبء التدريبي.

5. الأهمية والخاتمة

تمثل عائلة Swish-T تقدمًا مهمًا في تصميم دوال التنشيط من خلال النجاح في دمج انحياز غير خطي ومحدود في دالة Swish.

الأداء: تتفوق باستمرار على دوال التنشيط التقليدية والحديثة عبر معايير متنوعة.
المرونة: توفر العائلة مقايضة بين السرعة (Swish-TA) والأداء (Swish-TC)، مما يسم يتيح للممارسين الاختيار بناءً على قيودهم الخاصة.
العملية: إن اكتشاف أن هذه الدوال تعمل بشكل استثنائي كدوال غير معلمية (بثبيت $\beta$ ) يعد أمرًا بالغ الأهمية. وهذا يعني إمكانية نشر Swish-T في النماذج الإنتاجية دون التكلفة الحسابية لتحديث معاملات التنشيط، مما يوفر تحسينًا بنظام "التوصيل والتشغيل" (plug-and-play) فوق ReLU أو Swish القياسية.

تخلص الورقة إلى أن عائلة Swish-T، وخاصة متغير Swish-TC، توفر بديلًا قويًا ومتعدد الاستخدامات وعالي الأداء لبنيات التعلم العميق الحديثة، حيث توازن بفعالية بين استقرار التدرج، وسرعة التعلم، ودقة النموذج.