💬 NLP

Polynomial, trigonometric, and tropical activations

تقدم هذه الورقة عائلة من دوال التنشيط متعددة الحدود، والمثلثية، والتروبية المشتقة من قواعد متعامدة، والتي عند دمجها مع تهيئة الحفاظ على التباين، تُمكّن من التدريب الناجح لنماذج عميقة مثل GPT-2 وConvNeXt مع التخفيف من عدم استقرار التدرج، وتوفير قابلية تفسير متعددة الحدود، وتسهيل الضبط الدقيق من خلال استكمال هيرميت.

المؤلفون الأصليون: Ismail Khalfaoui-Hassani, Stefan Kesselheim

نُشر 2026-03-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ismail Khalfaoui-Hassani, Stefan Kesselheim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تبني ناطحة سحاب ضخمة متعددة الطوابق (شبكة عصبية عميقة) لحل مشكلات معقدة مثل التعرف على القطط في الصور أو التنبؤ بالكلمة التالية في جملة ما.

في البناء التقليدي، يستخدم كل طابق نفس النوع تماماً من "الأبواب" للسماح للمعلومات بالمرور. في الذكاء الاصطناعي، تُسمى هذه الأبواب "دوال التنشيط" (activation functions). لسنوات، كان المعيار الصناعي هو باب يُسمى ReLU (أو قريبه المتطور GELU). إنه باب بسيط وموثوق يفتح فقط إذا كانت الإشارة موجبة. إنه يعمل بشكل جيد، لكنه يتسم ببعض الجمود.

تقترح هذه الورقة البحثية فكرة ثورية جديدة: ماذا لو استبدلنا تلك الأبواب القياسية بمجموعة أدوات من "الأبواب الخارقة" الرياضية القائمة على كثيرات الحدود، والموجات، والهندسة الاستوائية (Tropical Geometry)؟

إليك تفصيل اكتشافهم، مشروحاً عبر تشبيهات من الحياة اليومية.

1. المشكلة: "المصعد المتفجر"

في الشبكة العميقة، تنتقل المعلومات من الطابق الأرضي إلى الطابق العلوي. إذا كانت "الأبواب" في كل طابق عدوانية للغاية، فإن الإشارة ستتضخم حتى تنفجر (مثل صوت الصفير المرتفع في الميكروفون). وإذا كانت ضعيفة جداً، فإن الإشارة ستتلاشى قبل وصولها إلى الأعلى.

لفترة طويلة، اعتقد الناس أن الأبواب متعددة الحدود (الأبواب التي تستخدم صيغاً رياضية معقدة مثل $x^2$ أو $x^3$ ) خطيرة لأنها تميل إلى جعل الإشارات تنفجر. ولإصلاح ذلك، اضطر المهندسون عادةً إلى إضافة "مشابك" أو صمامات أمان (مثل ReLU) للحفاظ على الاستقرار.

رؤية الورقة البحثية: أدرك المؤلفون أن المشكلة لم تكن في نوع الباب، بل في كيفية تركيب هذه الأبواب. لقد وجدوا طريقة لتركيب هذه الأبواب متعددة الحدود المعقدة بحيث تظل الإشارة متوازنة تماماً، طابقاً تلو الآخر، دون الحاجة إلى مشابك أمان.

2. الحل: المخطط "المتعامد" (Orthonormal)

يقدم المؤلفون ثلاثة أنواع جديدة من الأبواب، تعتمد جميعها على عائلات رياضية خاصة تُسمى "القواعد المتعامدة" (orthogonal bases). فكر في هذه كآلات موسيقية مضبوطة بدقة ولا تتداخل مع بعضها البعض.

تنشيطات هيرميت (الباب "الغاوسي"):
- التشبيه: تخيل منحنى الجرس (شكل التوزيع الطبيعي). كثيرات حدود هيرميت تشبه مجموعة من النوابض المضبوطة بدقة والتي تهتز بالتزامن مع منحنى الجرس هذا.
- لماذا تنجح: لأنها "متعامدة" (مستقلة)، فإن الرياضيات الخاصة بحساب مقدار نمو الإشارة بسيطة للغاية. لقد وجد المؤلفون "وصفة" محددة للمعاملات (إعدادات الباب) تضمن بقاء حجم الإشارة كما هو أثناء مرورها.
تنشيطات فوريه (باب "الموجة"):
- التشبيه: فكر في موجات الصوت أو أمواج المحيط. تستخدم هذه الأبواب موجات الجيب وجيب التمام (sine and cosine).
- لماذا تنجح: إذا كانت بياناتك موزعة بشكل متساوٍ (مثل التوزيع المنتظم)، فإن هذه الموجات هي الملائمة تماماً. فهي تتذبذب بطريقة تحافظ على طاقة الإشارة، مما يمنعها من الموت أو الانفجار.
التنشيطات الاستوائية (باب "الليغو"):
- التشبيه: هذا هو النوع الأكثر غرابة. بدلاً من المنحنيات الناعمة، تخيل سطحاً مكوناً من كتل "ليغو" مسطحة ومستقيمة. في "الرياضيات الاستوائية"، يصبح الجمع هو "أخذ القيمة القصوى"، وتصبح الضرب عملية "إضافة".
- لماذا تنجح: هذا يخلق شكلاً يشبه سلسلة من المنحدرات المتصلة. إنها طريقة فعالة للغاية، "خطية مجزأة"، لمعالجة البيانات، تشبه طريقة عمل ReLU ولكن مع مرونة أكبر. إنها في الأساس نسخة "الحد الأقصى زائد" (max-plus) من كثيرات الحدود.

3. الخدعة السحرية: "التهيئة الحافظة للتباين"

لم يكتفِ المؤلفون باختراع أبواب جديدة؛ بل اخترعوا دليل تركيب جديداً.

عادةً، عندما تستخدم دوال رياضية معقدة، عليك تخمين الإعدادات الأولية. إذا أخطأت في التخمين، ينهار المبنى. استنبط المؤلفون صيغة رياضية (بناءً على خصائص هذه القواعد المحددة) تخبرك بالضبط كيفية ضبط مقابض الباب قبل أن تبدأ التدريب.

النتيجة: عندما تستخدم "وصفاتهم السحرية"، يكون حجم الإشارة الداخلة إلى الباب هو نفسه "حجم" (تباين) الإشارة الخارجة منه. وهذا يسمح لك ببناء شبكات عميقة للغاية (مثل GPT-2 للغة أو ConvNeXt للصور) دون أن تضيع الإشارة أو تصبح صاخبة.

4. الإثبات الواقعي: إنها تعمل بالفعل

لم يكتفِ المؤلفون بالرياضيات على السبورة البيضاء؛ بل بنوا ناطحات السحاب.

تصنيف الصور: قاموا باستبدال الأبواب القياسية في نموذج صور متطور (ConvNeXt) بأبوابهم متعددة الحدود الجديدة. وعلى مجموعة بيانات ImageNet الضخمة (ملايين صور القطط والكلاب والسيارات)، أدت هذه الأبواب الجديدة أداءً أفضل من الأبواب القياسية.
نمذجة اللغة: فعلوا الشيء نفسه لنموذج لغوي (GPT-2) يتنبأ بالكلمة التالية. ومرة أخرى، حسنت الأبواب الجديدة الأداء.

ميزة "الضبط الدقيق":
أحد أروع الميزات هو أنه يمكن "تشكيل" هذه الأبوة الجديدة لتبدو تماماً مثل الأبواب القياسية القديمة (مثل GELU) في البداية. تخيل أن لديك مبنىً مبنياً بالفعل بأبواب GELU. يمكنك استبدالها بأبواب متعددة الحدود الجديدة، ولكنك "تُشكل" الأبواب الجديدة لتبدو تماماً مثل القديمة في الثواني الأولى. هذا يسمح لك بترقية نموذج ذكاء اصطناعي موجود دون كسره، ثم ترك الأبواب الجديدة تتعلم لتصبح أفضل.

5. لماذا هذا مهم؟

البساطة: يثبت هذا أنك لست بحاجة إلى "مشابك أمان" معقدة (مثل ReLU) لتدريب الشبكات العميقة. أنت فقط بحاجة إلى الأساس الرياضي الصحيح.
القابلية للتفسير: يوضح المؤلفون أن الشبكة ذات الأبواب متعددة الحدود هي في الأساس معادلة ضخمة متعددة المتغيرات. هذا يجعل "الصندوق الأسود" للذكاء الاصطناعي أكثر شفافية، محولاً إياه إلى مسألة رياضية يمكننا تحليلها فعلياً.
الكفاءة: بينما قد تكون بعض هذه الأبواب أبطأ قليلاً في الحوسبة من ReLU، إلا أنها سريعة بشكل مدهش على الأجهزة الحديثة، وغالباً ما تفوق مكاسب الأداء تكلفة الحوسبة.

الملخص

هذه الورقة البحثية تشبه اكتشاف أنك لست بحاجة لاستخدام طوب قياسي صلب لبناء ناطحة سحاب. يمكنك استخدام نوابض مرنة ومثالية رياضياً (هيرميت)، أو موجات (فوريه)، أو منحدرات متداخلة (استوائية). وطالما أنك تتبع دليل التركيب الجديد (التهيئة الحافظة للتباين)، فإن هذه المواد المرنة تبني هياكل أطول وأقوى وأذكى من الهياكل التي بناها الطوب الصلب القديم.

لقد فتحوا فعلياً الباب لعصر جديد حيث يُنظر فيه إلى الشبكات العصبية ليس فقط كصناديق سوداء، بل كخرائط متعددة الحدود أنيقة وقابلة للتعلم.

إليك ملخص تقني مفصل لورقة البحث "المنشطات متعددة الحدود، والمثلثية، والتروبية" (Polynomial, Trigonometric, and Tropical Activations) من تأليف خالفوي-حسني وكسلهيم.

1. بيان المشكلة

تعتمد الشبكات العصبية العميقة (DNNs) تقليديًا على دالات تنشيط (activation functions) غير متعددة الحدود وثابتة (مثل ReLU، GELU، SiLU) لإدخال اللاخطية. ورغم نجاح هذه الدالات، إلا أن استخدام التنشيطات متعددة الحدود كان يُنصح بتجنبه تاريخيًا بسبب مبرهنة التقريب الشامل (Universal Approximation Theorem)، التي تشير إلى ضرورة وجود دالات غير متعددة الحدود لتحقيق التقريب الشامل. علاوة على ذلك، غالبًا ما تعاني الشبكات متعددة الحدود من:

انفجار أو تلاشي التنشيطات والتدرجات: بدون تهيئة دقيقة، يمكن أن تتباعد تباينات الإشارات والتدرجات عبر الطبقات، مما يؤدي إلى زعزعة استقرار التدريب.
الافتقار إلى التهيئة ذات الصيغة المغلقة: واجهت المحاولات السابقة لاستخدام دالات تنشيط عقلانية أو متعددة الحدود قابلة للتعلم (مثل Yang & Wang, 2025) صعوبة في اشتقاق تعبيرات مغلقة للحظات من الدرجة الثانية، مما يتطلب غالبًا ملاءمة استكشافية (heuristic fitting) للدالات الكلاسيكية.
القصور في الفهم النظري: لم يتم توصيف الخصائص الهيكلية للشبكات العميقة ذات التنشيطات متعددة الحدود بشكل كامل من حيث قدراتها على التمثيل (mapping capabilities).

تهدف الورقة إلى إثبات أن القواعد متعددة الحدود والمثلثية المتعامدة، مقترنة بـ تهيئة محددة حافظة للتباين، يمكنها تدريب النماذج العميقة بنجاح (مثل GPT-2 و ConvNeXt) دون الحاجة إلى آليات تثبيت مساعدة (مثل التقييد/clamping أو التطبيع/normalization).

2. المنهجية

تتمحور المنهجية الجوهرية حول ثلاثة ركائز: دوال القاعدة المتعامدة، التهيئة الحافظة للتباين، والهندسة التروبية (Tropical Geometry).

أ. التهيئة الحافظة للتباين (Variance-Preserving Initialization)

يوسع المؤلفون عمل He et al. (2015) لضمان بقاء تباين إشارة المخرجات وتباين التدرج ثابتًا (وحدويًا) عبر الطبقات.

كسب الأمام ( $\alpha$ ): يُعرف كـ $Var[x] \cdot E[F(x)^2]^{-1}$ .
كسب الخلف ( $\alpha'$ ): يُعرف كـ $Var[x] \cdot E[F'(x)^2]^{-1}$ .
الهدف: تهيئة المعاملات القابلة للتعلم بحيث يكون $\alpha = \alpha' = 1$ (أو عامل قياس ثابت)، مما يمنع انفجار أو تلاشي الإشارة.

ب. ثلاث عائلات مبتكرة من التنشيطات

تقترح الورقة ثلاث عائلات محددة من التنشيطات، كل منها مشتق من قاعدة متعامدة مناسبة لتوزيع مدخلات معين:

تنشيطات هيرميت (متعددة الحدود - Hermite Activations):
- القاعدة: كثيرات حدود هيرميت الاحتمالية ( $He_n$ ).
- توزيع المدخلات: التوزيع الطبيعي القياسي $N(0, 1)$ .
- التهيئة: يتم تهيئة المعاملات بحيث تكون $a_k = 1$ لـ $k \ge 1$ و $a_0 = \sqrt{1 - 1/n!}$ . في الحد الأقصى، يتم قياس المعاملات بـ $1/\sqrt{e}$ .
- الخاصية: تعامد كثيرات حدود هيرميت بالنسبة لدالة الوزن الغاوسية يسمح بحساب مغلق لللحظة الثانية $E[F(x)^2]$ .
تنشيطات فوريه (المثلثية - Fourier Activations):
- القاعدة: دالتا الجيب وجيب التمام (سلسلة فوريه).
- توزيع المدخلات: التوزيع المنتظم $U(-\pi, \pi)$ .
- التهيئة: تهيئة المعاملات لتكون 1، ومقاسة بـ $1/\sqrt{I_0(2)}$ (حيث $I_0$ هي دالة بيسل المعدلة) في الحد الأقصى.
- الخاصة: التعامد عبر الفترة المنتظمة يتيح حساب اللحظة بصيغة مغلقة. يستخدم التنفيذ صيغة "السعة-الطور" (Amplitude-Phase) من أجل الكفاءة.
التنشيطات التروبية (الحد الأقصى-الجمع - Tropical Activations):
- القاعدة: كثيرات الحدود التروبية المعرفة في شبه حلقة (max-plus semiring) $(\max, +)$ .
- التعريف: $F(x) = \max_{k} \{a_k + kx\}$ .
- التفسير: تعمل هذه كاقتران مترافق (convex conjugate) لـ دالة قابلة للتعلم، حيث تشفر الغلاف المحدب (convex hull) لغلافها العلوي (epigraph). وهي تعمم ReLU (التي تعد كثير حد تروبي من الدرجة 1).
- التهيئة: تهيئة المعاملات لتكون 1، مع عامل قياس $\sqrt{2/n}$ للحصول على كسب وحدوي.

ج. تفاصيل التنفيذ

المعاملات القابلة للتعلم: على عكس التنشيطات الثابتة، فإن المعاملات ( $a_k$ ) هي بارامترات قابلة للتعلم.
لا يوجد اضمحلال للوزن (Weight Decay): يتم تدريب المعاملات دون اضمحلال للوزن لمنع الانحياز نحو الصفر.
نواة فعالة (Efficient Kernels): طور المؤلفون نوى مخصصة بلغة PyTorch/CUDA. بالنسبة لهيرميت، يستخدمون علاقة تكرارية ( $He_{n+1} = x He_n - n He_{n-1}$ ) لتقليل التعقيد من $O(d^2)$ إلى $O(d)$ .
التهيئة عبر استكمال هيرميت: لضبط النماذج المدربة مسبقًا، يقترح المؤلفون ملاءمة التنشيطات الكلاسيكية (مثل GELU) باستخدام استكمال هيرميت (مطابقة قيم الدالة والمشتقة معًا) بدلاً من استكمال لاجرانج البسيط، مما يتجنب ظاهرة التعرج (aliasing) في المشتقات.

3. المساهمات الرئيسية

مخطط تهيئة مبتكر: تهيئة حافظة للتباين مشتقة رياضيًا لتنشيطات متعامدة قابلة للتعلم تضمن ديناميكيات تدريب مستقرة دون الحاجة للتقييد.
إثبات نظري للتمثيل متعدد الحدود: تثبت الورقة (الملحق F) أن الشبكات العصبية العميقة ذات التنشيطات متعددة الحدود مكافئة لـ خرائط متعددة الحدود متعددة المتغيرات. وهذا يتحدى فكرة أن كثيرات الحدود غير مناسبة للتعلم العميق ويوفر تفسيرًا هندسيًا (الأصناف الجبرية - algebraic varieties).
التفسير التروبي: توضح الورقة أن التنشيطات التروبية تشفر الغلاف المحدب لدالة غلافها العلوي، مما يربط الهندسة التروبية بحدود القرار في الشبكات العصبية.
التحقق التجريبي على نماذج واسعة النطاق: نجحت الورقة في تدريب ConvNeXt-T على ImageNet-1k و GPT-2 على OpenWebText باستخدام هذه التنشيطات، محققة أداءً مشابهًا أو أفضل من خطوط الأساس GELU/SiLU.
مكتبة مفتوحة المصالم: تم تنفيذ التنشيطات في مكتبة torchortho.

4. النتائج التجريبية

قيم المؤلفون التنشيطات في مهام تصنيف الصور ونمذجة اللغة:

ImageNet-1k (ConvNeXt-T):
- هيرميت (الدرجة 3): حققت 82.22% دقة Top-1 (مقابل 82.06% لـ GELU).
- التروبية (الدرجة 6): حققت 82.17% دقة Top-1.
- فوريه (الدرجة 6): حققت 81.64% دقة Top-1.
- الأهمية: تفوقت جميع التنشيطات المقترحة على خط أساس GELU مع دلالة إحصائية ( $p < 0.05$ ).
OpenWebText (GPT-2 124M):
- هيرميت (الدرجة 3): حققت 18.678 في Perplexity التدريبي و 18.821 في Perplexity التحققي (مقابل 19.003/19.319 لـ GELU).
- التروبية (الدرجة 6): حققت 18.840 في Perplexity التدريبي.
- فوريه (الدرجة 6): حققت 18.761 في Perplexity التدريبي.
- الأهمية: قللت جميع التنشيطات المقترحة من الـ Perplexity بشكل ملحوظ مقارنة بـ GELU و SiLU.
دراسات الاستئصال (Ablation Studies):
- الدرجة: الدرجات الأعلى حسنت الأداء عمومًا.
- القابلية للتعلم: جعل المعاملات قابلة للتعلم كان أمرًا حاسمًا؛ حيث أدت المعاملات الثابتة أداءً ضعيفًا.
- التهيئة: تفوقت التهيئة المقترحة الحافظة للتباين على التهيئة عبر الملاءمة لـ GELU.
- التقييد (Clamping): لم يؤدِ إزالة آليات التقييد إلى زعزعة استقرار التدريب، مما يؤكد فعالية التهيئة.
الكفاءة:
- التكاليف الإضافية للمعاملات ضئيلة جدًا (على سبيل المثال، يضيف هيرميت حوالي 0.0002% من المعاملات).
- التكلفة الحسابية تتناسب خطيًا مع الدرجة ( $O(d)$ ). على وحدات معالجة الرسوميات (GPUs)، تُظهر النسخ ذات الدرجات المنخفضة توسعًا يقارب الثبات بسبب التوجيه الشعاعي (vectorization).

5. الأهمية والعمل المستقبلي

تحول في النموذج الفكري: يتحدى هذا العمل الاعتقاد السائد بأن التنشيطات متعددة الحدود غير مستقرة بطبيعتها أو غير مناسبة للتعلم العميق. فهو يوضح أنه مع الإطار الرياضي الصحيح (القواعد المتعامدة + حفظ التباين)، فإنها فعالة للغاية.
القابلية للتفسير: من خلال صياغة الشبكات العصبية العميقة كخرائط متعددة الحدود، تفتح الورقة الباب لتحليل الشبكات العصبية من خلال عدسة الهندسة الجبرية (neuromanifolds و neurovarieties)، مما قد يحسن قابلية تفسير وتحديد النماذج.
الضبط الدقيق (Fine-Tuning): القدرة على تقريب التنشيطات الكلاسيكية عبر استكمال هيرميت توفر استراتيجية قوية لنقل المعرفة من النماذج المدربة مسبقًا إلى بنيات جديدة باستخدام التنشيطات القابلة للتعلم.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار ليشمل الموجات (wavelets) مثل (Hermitian و Morlet) واستكشاف الشبكات العصبية ذات القيم المركبة عبر الشكل المركب لتنشيطات فوريه.

في الختام، تقدم هذه الورقة أساسًا نظريًا وتجريبيًا صارمًا لاستبدال دالات التنشيط الثابتة بقواعد متعامدة وتروبية قابلة للتعلم، مما يمهد الطريق لنماذج تعلم عميق أكثر كفاءة وقابلية للتفسير واستقرارًا.