📊 statistics

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

تُوصّف هذه الورقة فضاءات هيلبرت ذات النواة المستنسخة (RKHS) ونعومة مسار العينة لنواة التماس العصبي (NTK) والعمليات الجاوسية للشبكات العصبية (NNGP) لفئة واسعة من دوال التنشيط غير السلسة، كاشفةً كيف يحدد عدم سلاستها عند الصفر اعتماد النواة الناتجة على العمق.

المؤلفون الأصليون: David Holzmüller, Max Schölpple

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: David Holzmüller, Max Schölpple

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كيفية أداء أوركسترا ضخمة ومعقدة. لا يمكنك الاستماع إلى كل موسيقي بمفرده في آن واحد، لذا تنظر إلى "الصوت" الذي ينتجونه ككل.

في عالم الذكاء الاصطناعي، الشبكة العصبية (Neural Network) هي تلك الأوركسترا. الموسيقيون الأفراد هم "العصبونات"، و"الموسيقى" التي يعزفونها هي التنبؤ الذي يقدمه الذكاء الاصطناعي.

لفترة طويلة، حاول الرياضيون دراسة هذه الأوركسترات من خلال النظر إلى "النوتة الموسيقية" الخاصة بها—وهي مخطط رياضي يسمى "النواة" (Kernel). هذا المخطط يخبرنا كيف ستتصرف الأوركسترا كلما زاد حجمها.

المشكلة: احتكار الـ "ReLU"

حتى الآن، بُنيت معظم نظرياتنا الرياضية حول نوع محدد من الموسيقيين: موسيقي الـ "ReLU". الـ ReLU يشبه الموسيقي الذي يعزف فقط إذا كان مستوى الصوت فوق حد معين؛ إذا كان الصوت منخفضاً جداً، يظل صامتاً. ولأن الـ ReLU بسيط للغاية (لديه مفتاح تشغيل/إيقاف حاد)، فإن الرياضيات المتعلقة به سهلة.

لكن الذكاء الاصطناعي في العالم الحقيقي لا يستخدم ReLU فحسب. بل يستخدم "موسيقيين" أكثر تطوراً (دوال التنشيط) مثل SELU أو ELU أو GELU. هؤلاء الموسيقيون أكثر سلاسة ودقة، ولا ينتقلون فجأة من الصمت إلى الصوت، بل يتلاشون تدريجياً صعوداً وهبوطاً.

المشكلة؟ لأن هؤلاء الموسيقيين أكثر تعقيداً، فإن "النوتة الموسيقية" القديمة (الرياضيات) لم تعد تعمل معهم. كان الأمر أشبه بمحاولة استخدام مخطط لآلة طبول لفهم آلة الكمان.

الاختراق: قاعدة "السلاسة"

هذه الورقة البحثية، التي كتبها ديفيد هولزمولر وماكس ديفيد شولبلي، تقدم المخططات المفقودة. لقد اكتشفوا أن "صوت" الأوركسترا يعتمد بشكل أساسي على شيء واحد: ما مدى سلاسة الموسيقي؟

لقد صنفوا الموسيقيين حسب "درجة السلاسة" الخاصة بهم:

المفتاح الحاد (سلاسة منخفضة): مثل ReLU. لديهم قفزة مفاجئة وحادة من الصفر إلى الواحد. هذا يخلق نوعاً معيناً ومتقدراً من "الصوت" (يسمى رياضياً بـ فضاء سوبوليف - Sobolev Space).
المنزلق الناعم (سلاسة عالية): مثل Sigmoid أو Tanh. ينتقلون بسلاسة ورقيّ. هذا يخلق صوتاً أكثر دقة و"حريرية".
الرياضي (كثيرات الحدود - Polynomials): هؤلاء موسيقيون يعزفون فقط أنماطاً محددة ومتوقعة. "صوتهم" محدود للغاية ولا تزداد تعقيداً مهما أضفت من موسيقيين.

لماذا يهم هذا؟ (لغز "العمق")

أجاب الباحثون على سؤال كبير: هل إضافة المزيد من الطبقات (جعل الأوركسترا أكثر عمقاً) يغير الموسيقى حقاً؟

بالنسبة لمعظم الموسيقيين: وجدوا أنه بمجرد امتلاكك لبضع طبقات، فإن إضافة المزيد منها لا يغير فعلياً "نوع" الموسيقى التي تُعزف. إنه مثل إضافة المزيد من عازفي الكمان إلى قسم الكمان—"نسيج" الصوت يظل كما هو. وهذا يفسر لماذا تتصرف بعض نماذج الذكاء الاصطعي العميقة بشكل مشابه جداً للنماذج الأقل عمقاً.
بالنسبة للرياضيين: إذا كنت تستخدم موسيقيي كثيرات الحدود، فإن إضافة الطبقات تغير الموسيقى بالفعل. التعقيد ينمو بشكل أسي مع كل طبقة.

"سحر" العشوائية

أخيراً، نظروا إلى الأوركسترا في اللحظة التي يبدأون فيها العزف تماماً (عند "التهيئة" - initialization). وجدوا ظاهرة غريبة وجميلة: حتى لو كان الموسيقيون "خشنين" أو "حاديين"، فعندما تجمع آلافاً منهم معاً، يكون الصوت الناتج في الواقع أكثر سلاسة من أي موسيقي فردي.

إنه مثل ألف شخص يهمسون في وقت واحد؛ الهمسات الفردية قد تكون حادة ومتقطعة، لكن الصوت الجماعي هو همهمة مستمرة وسلسة.

الملخص باختاًصار

تقدم هذه الورقة البحثية للعلماء "شوك الرنانة" الرياضية التي يحتاجونها لدراسة الذكاء الاصطناعي الحديث والمعقد. بدلاً من مجرد فهم عالم الـ "تشغيل/إيقاف" الخاص بـ ReLU، يمكننا الآن التنبؤ رياضياً بكيفية تعلم وتعميم وسلوك عالم الذكاء الاصطناعي "الناعم والمنحني".

ملخص تقني: ما وراء ReLU: كيف تؤثر دوال التنشيط على النواة العصبية والشبكات واسعة النطاق عشوائياً

1. بيان المشكلة

غالبًا ما يعتمد الفهم النظري للتعلم العميق على "نظام النواة" (kernel regime)، حيث يتم نمذجة الشبكات العصبية ذات العرض اللانهائي باستخدام النواة المماسية العصبية (NTK) (التي تحكم ديناميكيات التدريب) والعملية الغاوسية العصبية (NNGP) (التي تحكم مرحلة التهيئة).

بينما تم إحراز تقدم كبير في توصيف هذه النواوات لـ ReLU (وقواها) ودوال التنشيط شديدة النعومة، إلا أن هناك فجوة هائلة فيما يتعلق بأكثر دوال التنشيط استخداماً في التعلم العميق الحديث، مثل SELU، وELU، وLeakyReLU، وGELU، وSiLU. هذه الدوال عادة ما تكون "شبه ناعمة" (semi-smooth)—أي أنها ناعمة تماماً في كل مكان باستثناء الصفر. يهدف المؤلفون إلى سد هذه الفجوة من خلال توصيف فضاءات ريجو (RKHS) ومدى نعومة الدوال الناتجة لهذه الفئة الأوسع من دوال التنشيط.

2. المنهجية

يستخدم المؤلفون إطاراً تحليلياً متطوراً لدراسة نواوات الضرب النقطي على الكرة الوحدة $\mathbb{S}^d$ . يتبع نهجهم الخطوات التقنية التالية:

تحليل التنشيط المزدوج: يستفيد المؤلفون من مفهوم "التنشيطات المزدوجة" $\hat{\phi}$ ، والتي تصف سلوك العرض اللانهائي لطبقة مخفية واحدة. يمكن التعبير عن نواة الشبكة العميقة بشكل تكراري من خلال هذه التنشيطات المزدوجة.
توصيف سلوك الحدود: يعتمد جوهر البرهان على تحليل السلوك التقاربي لدالة التنشيط المزدوجة $\hat{\phi}(t)$ عندما تقترب $t$ من $1 $(وهذا يقابل سلوك دالة التنشيط الأصلية$ \phi $بالقرب من نقطة عدم النعومة عند$ 0 $). لقد قدموا حساباً متخصصاً لفئات الدوال ($ Q_{\alpha, \beta}$) التي تتعامل مع مجموع القوى والحدود المتبقية المهملة.
تقارب القيم الذاتية: من خلال دراسة اضمحلال القيم الذاتية $\mu_l$ للمؤثر التكامل المرتبط بالنواة، يربطون خصائص النواة بـ فضاءات سوبوليف (Sobolev spaces) $H^s(\mathbb{S}^d)$ .
التفكيك التكراري: طوروا طريقة تكرارية لنشر النعومة/عدم النعومة عبر طبقات الشبكة، مع مراعاة مخططات التهيئة المختلفة (بدون انحياز، أو انحياز مهيأ للصفر، أو انحياز عشوائي).

3. المساهمات الرئيسية

التوصيف العام لـ RKHS: تقدم الورقة توصيفاً حاسماً (النظرية 9) لـ RKHS لكل من NTK وNNGP لأي دالة تنشيط تكون ناعمة لامتناهياً باستثناء الصفر.
نظرية موحدة للنعومة: يثبت المؤلفون أنه بالنسبة لفئة واسعة من دوال التنشيط، فإن RKHS يكافئ فضاء سوبوليف، حيث تعتمد رتبة الفضاء مباشرة على درجة عدم النعومة ( $s$ ) لدالة التنشيط.
تحليل التماثل والانحياز: حددوا "ظاهرة التماثل" (parity phenomenon) في الشبكات الخالية من الانحياز، حيث يحدد الجزء الزوجي/الفردي لدالة التنشيط ما إذا كانت النواة تحتوي فقط على الدوال الزوجية أو الفردية فقط.
نعومة المسارات العشوائية: استخلصوا نتائج (النظرية 14) تربط RKHS بالنعومة الفعلية للدوال التي يتم أخذ عينات منها من NNGP عند التهيئة.

4. النتائج الرئيسية

يمكن تلخيص النتائج من خلال "النعومة" $s$ لدالة التنشيط $\phi$ :

نوع التنشيط	النعومة ( $s$ )	RKHS الخاص بـ NNGP ( $H^s$ )	RKHS الخاص بـ NTK ( $H^s$ )
غير مستمرة (مثل Heaviside)	$s=0$	$H^{d/2 + 2^{1-L}}$	غير محدد بدقة
نعومة محدودة (مثل ReLU, ELU, SELU)	$1 \leq s < \infty$	$H^{d/2 + s + 1/2}$	$H^{d/2 + s - 1/2}$
شديدة النعومة (مثل GELU, Tanh)	$s = \infty$	متضمن في جميع $H^t$	متضمن في جميع $H^t$
متعددة الحدود (مثل $x^m$ )	$s = \infty$	ذو أبعاد محدودة (متعددات حدود)	ذو أبعاد محدودة (متعددات حدود)

النتائج الجوهرية:

استقلال العمق: بالنسبة لمعظم دوال التنشيط ذات النعومة المحدودة وغير متعددة الحدود (مثل ReLU أو ELU)، فإن RKHS متكافئ عبر الأعماق المختلفة ( $L \geq 3$ ). وهذا يشير إلى أنه في نظام النواة، لا يغير زيادة العمق فضاء الدوال الأساسي الذي يمكن للشبكة تمثيله.
استثناء متعدد الحدود: على عكس دوال التنشيط الأخرى، تنتج دوال التنشيط متعددة الحدود نواوات (RKHS) تعتمد بالفعل على العمق، حيث ينمو درجة كثيرات الحدود بشكل أسي مع عدد الطبقات.
اكتساب النعومة: يظهر المؤلفون أن مسارات عينات NNGP (الدوال عند التهيئة) هي في الواقع أكثر نعومة بنصف رتبة مما يوحي به RKHS، وهي ظاهرة تشبه كيفية تقارب الحركة العشوائية إلى حركة براونية.

5. الأهمية

تمثل هذه الورقة تقدماً نظرياً هاماً لأنها تنقل نظرية التعلم العميق بعيداً عن نموذج "ReLU فقط".

التكامل النظري: توفر لغة رياضية موحدة لمقارنة دوال التنشيط المختلفة، مما يسمح للباحثين بفهم كيف يؤثر اختيار SELU بدلاً من ReLU على تعقيد الدوال التي يمكن للشبكة تعلمها.
التعميم والتدريب: من خلال توصيف RKHS، توفر هذه الدراسة أدوات لدراسة حدود التعميم (generalization bounds) والانحياز الطيفي (spectral bias) (الميل لتعلم الدوال ذات التردد المنخفض أولاً) لمجموعة أوسع بكاء من البنى الهيكلية العملية.
تأسيس للعمل المستقبلي: توفر المنهجية المتبعة (التعامل مع عدم النعومة عند الصفر) خارطة طريق لتوسيع نظرية النواة لتشمل بنيات أكثر تعقيداً مثل الشبكات المتبقية (Residual Networks) والمحولات (Transformers).