🤖 machine learning

Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models

تقدم هذه الورقة PolyNeXt، وهي عائلة من النماذج الرؤيوية الأساسية الخالية من دوال التنشيط التي تستبدل الدوال غير الخطية القياسية ببدائل متعددة الحدود باستخدام نواتج هادامارد ضمن بنيات من طراز MetaFormer، محققةً أداءً هو الأفضل في حالته في مهام التعرف على الصور والتقسيم مع تقليل التكاليف الحسابية.

المؤلفون الأصليون: Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

نُشر 2026-05-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء روبوت فائق الذكاء يمكنه النظر إلى صورة وإخبارك بدقة بما يراه. لسنوات طويلة، اعتمد المهندسون الذين يبنون هذه الروبوتات على مجموعة محددة من "المفاتيح السحرية" تسمى دوال التنشيط (activation functions) (مثل ReLU أو GELU). تعمل هذه المفاتيح كإشارات مرور أو بوابات؛ فهي تقرر أي المعلومات تمر عبر عقل الروبوت وأيها يتم حظره. وكان المعيار السائد في الصناعة هو أنه بدون هذه البوابات، لن يتمكن الروبوت من تعلم الأنماط المعقدة.

هذه الورقة البحثية، بعنوان "العمود الفقري الخالي من التنشيط للتعرف على الصور" (Activation-Free Backbones for Image Recognition)، تتحدى هذا الاعتقاد الراسخ. يقول المؤلفون، جيفري وانغ وزملاؤه: "في الواقع، لست بحاجة إلى تلك الإشارات المرورية المحددة. يمكنك بناء روبوت أكثر ذكاءً وكفاءة باستخدام نوع مختلف تماماً من الرياضيات."

إليك تحليل بسيط لما فعلوه ولما لماذا يهم ذلك، باستخدام تشبيهات من الحياة اليومية.

1. المشكلة: عنق زجاجة "إشارة المرور"

في الذكاء الاصطناعي الحديث، يتكون عقل الروبوت من طبقات. تتدفق المعلومات عبر هذه الطبقات، وعند كل خطوة، تصطدم بـ "إشارة مرور" (دالة تنشيط) تقوم بتشغيل الإشارة أو إطفائها أو تغيير شكلها.

الطريقة القديمة: يحسب الروبوت رقماً، ثم يصطدم بإشارة مرور، ثم ينتقل للمرحلة التالية.
المشكلة: يرى المؤلفون أن إشارات المرور هذه ليست الطريقة الوحيدة لخلق التعقيد. في الواقع، يمكن أن تكون غير فعالة وتعيق العمل أحياناً.

2. الحل: "الوصفة" بدلاً من "المفتاح"

بدلاً من استخدام إشارات المرور، استبدلها المؤلفون بـ كثيرات الحدود (polynomials).

التشبيه: تخيل أنك تخبز كعكة.
- الطريقة القديمة (التنشيط): تخلط المكونات، ثم تتوقف لتتحقق من قاعدة محددة (إشارة مرور) لترى ما إذا كان يجب عليك إضافة المزيد من السكر.
- الطريقة الجديدة (كثيرات الحدود): أنت فقط تخلط المكونات معاً في وصفة رياضية محددة. التعقيد يأتي من كيفية خلط المكونات، وليس من التوقف للتحقق من قاعدة ما.

تحديداً، استبدلوا خطوات "التوقف والتحقق" بـ حاصل ضرب هادامارد (Hadamard products).

ما هو ذلك؟ تخيل أن لديك قائمتين من الأرقام. بدلاً من جمعهما، تقوم بضربهما معاً، عنصراً بعنصر.
السحر: عندما تضرب قائمتين من الأرقام، فإنك تنشئ تلقائياً علاقة منحنية ومعقدة (كثيرة حدود) دون الحاجة إلى أي مفاتيح "إشارة مرور" خاصة. الأمر يشبه كيف أن خلط الطلاء الأحمر والأزرق ينتج اللون الأرجواني بشكل طبيعي، دون الحاجة إلى "مفتاح للون الأرجواني".

3. الأدوات الثلاث الجديدة

بنى الفريق ثلاث أدوات جديدة لاستبدال الأدوات القديمة في عقل الروبوت:

PolyMLP: يستبدل طبقة "التغذية الأمامية" القياسية (الجزء الذي يعالج المعلومات). بدلاً من البوابة، يقوم بضرب تدفقين من البيانات معاً.
PolyConv: يستبدل طبقة "الالتفاف" (الجزء الذي يبحث عن الأشكال مثل الحواف أو الأنسجة). يقوم بخلط وجهات نظر مختلفة للصورة باستخدام الضرب.
PolyAttn: يستبدل آلية "الانتباه" (الجزء الذي يقرر أجزاء الصورة المهمة). بدلاً من استخدام دالة رياضية أسية معقدة (مثل منحدر حاد)، يستخدم منحنى كثير حدود سلس.

4. التحدي: "تأثير كرة الثلج"

كانت هناك مشكلة كبيرة مع هذا النهج الجديد.

التشبيه: إذا ضربت رقمين كبيرين، ستحصل على رقم ضخم. إذا فعلت ذلك مرة أخرى في الطبقة التالية، ستحصل على رقم هائل. إذا استمررت في ذلك عبر 100 طبقة، ستصبح الأرقام كبيرة جداً لدرجة أنها ستنفجر (مثل كرة ثلج تتدحرج من فوق تلة وتصبح ثقيلة جداً لدرجة لا يمكن السيطرة عليها). تسبب هذا في انهيار تدريب الروبوت.

الإصلاح: ابتكر المؤلفون "وصفة استقرار" لمنع كرة الثلج من الانفجار:

Sigmoid-Scale: أضافوا "مفتاح تعتيم" صغيراً يخفض مستوى الصوت تلقائياً إذا أصبحت الأرقام صاخبة جداً.
المداخل المتعددة المتخطية (Multi-Input Skips): بنوا "طرقاً جانبية" تسم تسمح للمعلومات من خطوتين سابقتين بتجاوز طبقة معينة، مما يضمن عدم ضياع الإشارة أو تشوهها.
عميق وضيق: وجدوا أن جعل عقل الروبوت عميقاً جداً (طبقات كثيرة) ولكن ضيقاً (أقل عرضاً) يعمل بشكل أفضل من التصميم المعتاد الواسع والضحل.

5. النتائج: أسرع، أقوى، وأكثر متانة

اختبروا روبوتاتهم الجديدة "PolyNeXt" على مجموعة بيانات ضخمة من الصور (ImageNet).

الأداء: حققت روبوتات كثيرات الحدود أداءً يضاهي، أو حتى يتفوق على، أفضل الروبوتات التي تستخدم مفاتيح "إشارة المرور" القديمة.
الكفاءة: حققوا هذه النتائج بعدد أقل من المعلمات (كتلة دماغية أقل) وقدر أقل من قوة الحوسبة.
المتانة: عندما عرضوا على الروبوتات صوراً ضبابية، أو مشوشة، أو مرسومة بشكل غريب (بيانات خارج التوزيع)، كانت روبوتات كثيرات الحدود أفضل بشكل مدهش في التخمين الصحيح مقارنة بالروبوتات القديمة.
إمكانات الخصوصية: نظرًا لأنهم أزالوا الرياضيات الأسية المعقدة وخطوات القسمة، فإن هذه الروبوتات أقرب بكثير لأن تكون متوافقة مع التشفير المتماثل الكامل (Fully Homomorphic Encryption - FHE).
- ما هو FHE؟ هي طريقة لإجراء عمليات رياضية على البيانات المشفرة دون فك تشفيرها أبداً. هذا أمر ضخم بالنسبة للخصوصية. كانت مفاتيح "إشارة المرور" القديمة صعبة الاستخدام مع التشفير؛ أما مفاتيح كثيرات الحدود الجديدة فهي أكثر توافقاً معه.

6. الخلاصة

تثبت هذه الورقة أن دوال التنشيط ليست ضرورة أساسية لبناء ذكاء اصطناٍ للتعرف على الصور. إنها مجرد حل واحد لمشكلة هندسية. من خلال الانتقال إلى رياضيات كثيرات الحدود (الضرب بدلاً من البوابات) وإضافة بعض آليات السلامة للحفاظ على استقرار الرياضيات، أنشأ المؤلفون عائلة جديدة من نماذج الذكاء الاصطناعي التي تتميز بأنها:

بذكاء مماثل (أو أذكى) من النماذج الحالية.
أكثر كفاءة (أقل تكلفة في التشغيل).
أكثر متانة (أفضل في التعامل مع الصور الغريبة).
أكثر صداقة للخصوصية (أسهل في التشفير).

باختختصار: لقد أخرجوا "إشارات المرور" من عقل الروبوت، واستبدلوها بوصفة خلط ذكية، ووجدوا أن الروبوت يقود بالفعل بشكل أفضل.

ملخص تقني: الهياكل الأساسية الخالية من دوال التنشيط للتعرف على الصور

بيان المشكلة

تعتمد بنيات الرؤية الحديثة، بما في ذلك هياكل MetaFormer، بشكل كبير على دوال التنشيط النقطية (مثل ReLU وGELU وSiLU) والعمليات الأسية ضمن آلية انتباه softmax لإدخال اللاخطية. وبينما تمكن هذه المكونات الشبكات العصبية من تقريب الدوال المعقدة، إلا أنها ليست المصدر الوحيد للاخطية. تفترض الورقة أن هذه التنشيطات ليست ضرورية تماماً لتحقيق أداء تنافسي. علاوة على ذلك، فإن الاعتماد على العمليات غير متعددة الحدود (مثل الأسس والتنشيطات النقطية) يخلق عبئاً كبيباً على التشفير المتماثل الكامل (FHE)، وهو نموذج للحوسبة الحفاظة على الخصوصية حيث تتحمل الشبكات القياسية تكاليف باهظة بسبب طبيعتها غير متعددة الحدود. وقد أظهرت الشبكات متعددة الحدود الموجودة (مثل MONet وDTTN) إمكانات واعدة، لكنها غالباً ما تتطلب بنيات مخصصة ومترابطة بشدة، مما يحد من فائدتها العملية وتفشل في مضاهاة نظيراتها القائمة على التنشيط عند مقارنتها بالتكاليف الحسابية ذاتها.

المنهجية

يقترح المؤلفون إطار عمل لاستبدال اللاخطيات القياسية ببدائل متعددة الحدود مع الحفاظ على واجهات المدخلات والمخرجات لهياكل الرؤية النمطية الحالية. يسمح هذا النهج بدمج الوحدات متعددة الحدود في الأطر الراسخة مثل MetaFormer دون الحاجة إلى إعادة تصميم البنية بأكملها.

العناصر الأولية الأساسية

تقدم الورقة ثلاث وحدات خالية من التنشيط تستبدل اللاخطيات القياسية بضرب هادامارد (Hadamard product - الضرب العنصري) لإسقاطات خطية متعلمة:

PolyMLP (خلط القنوات): يستبدل التنشيط النقطي في شبكات التغذية الأمامية بضرب هادامارد لإسقاطين خطيين متوازيين: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$ . ينتج عن ذلك متعدد حدود من الدرجة الثانية في ميزات المدخلات.
PolyConv (الخلط المكاني): يستبدل التنشيط في الالتفافات القابلة للفصل عبر دمج فروع التفافية متوازية ذات مجالات استقبال مختلفة عبر الضرب العنصري. وتحديداً، يجمع بين فرع "خشن" (التفاف عميق موسع) وفرع "ناعم" (التفاف عميق قياسي)، مع تطبيق قلب للقنوات (channel-flip) على أحد الفروع قبل الدمج لفك الارتباط بين الميزات.
PolyAttn (الخلط المكاني العالمي): يستبدل الدالة الأسية في انتباه softmax بنواة متعددة الحدود: $A = (s \cdot QK^\top + 1)^p$ ، متبوعة بتطبيع $\ell_1$ . وهذا ينشئ آلية انتباه خالية من التنشيط تظل متوافقة مع المتغيرات الهيكلية مثل الانتباه النافذي (windowed attention).

تقنيات الاستقرار

حدد المؤلفون أن ضرب هادامارد يمكن أن يضخم القيم الكبيرة، مما يؤدي إلى عدم استقرار التدريب في الشبكات العميقة. ولتمكين التدريب المستقر لشبكات تصل إلى ~200 طبقة، قدموا ما يلي:

مقياس سيجمويد (Sigmoid-Scale): ثابت قابل للتعلم محصور بواسطة دالة سيجمويد ( $\sigma(\lambda)$ ) يقوم بمقياس مساهمات المتبقي (residual contributions) ( $y = x + \sigma(\lambda)f(x)$ )، مما يمنع النمو غير المحدود.
وصلات تخطي متعددة المدخلات: مستوحاة من NASNet، حيث تستقبل كل خلية مدخلات من الخليتين السابقتين ( $x_{t-1}$ و $x_{t-2}$ )، مما يحسن تدفق التدرج.
تصميم العمق مقابل العرض: يدعو المؤلفون إلى تكديس طبقات أضيق وأعمق بدلاً من استخدام تكوينات أعرض وأقل عمقاً. يستفيد هذا التصميم من حقيقة أن درجة متعدد الحدود تنمو أسياً مع العمق ( $2^L$ للعمق $L$ )، مما يعظم القدرة التمثيلية دون زيادة خطية في المعلمات.

البنية: PolyNeXt

يتم تجسيد هذه الوحدات ضمن بنية هرمية مكونة من أربع مراحل بأسلوب MetaFormer. تم اقتراح متغيرين:

CPolyNeXt: يستخدم PolyConv للخلط المكاني في جميع المراحل.
APolyNeX: تصميم هجين يستخدم PolyConv في مراحل الدقة العالية وPolyAttn في مراحل الدقة المنخفضة.

النتائج الرئيسية

تم تقييم النماذج على تصنيف ImageNet-1K، والمتانة خارج التوزيع (OOD)، وتقسيم الصور الدلالي ADE20K.

تصنيف ImageNet-1K: تطابق نماذج PolyNeXt أو تتفوق على النسخ القائمة على التنشيط من MetaFormer (مثل ConvFormer وCAFormer) عبر جميع أحجام النماذج (من Tiny إلى Large). على سبيل المثال، يحقق CPolyNeXt-S (بـ 26 مليون معلمة) دقة Top-1 تبلغ 83.9%، متفوقاً على ConvFormer-S18 (83.0%) وعلى الشبكات متعددة الحدود السابقة مثل DTTN-S (79.4%) بفوارق كبيرة (2-3 نقاط مئوية) مع تكلفة حسابية أقل.
المتانة: تظهر البنى الأساسية متعددة الحدود متانة فائقة في ImageNet-C (الفساد)، وImageNet-A (العدائية)، وImageNet-R (الرندرة)، وImageNet-Sketch. يتفوق CPolyNeXt-B (40 مليون معلمة) على ConvFormer-B36 (100 مليون معلمة) في العديد من اختبارات المتانة خارج التوزيع (OOD).
التنبؤ الكثيف: في تقسيم الصور الدلالي ADE20K، يتفوق CPolyNeXt-S على كل من ConvFormer-S18 وCAFormer-S18 بمقدار +2.0 و+1.7 mIoU على التوالي عند تساوي عدد المعلمات.
النسخ متعددة الحدود بالكامل: من خلال استبدال LayerNorm بـ BatchNorm متوافق مع متعددات الحدود (باستخدام الإحصائيات الجارية لتجنب القسمة)، أنشأ المؤلفون نماذج متعددة الحدود بالكامل. يحقق CPolyNeXt-S (BN) نسبة 82.7% على ImageNet، وهو تحسن قدره 5.0 نقاط عن أفضل نموذج متعدد الحدود سابق (MONet-T BN) ويتفوق على ConvNeXt-T القائم على التنشيط (82.1%).

رؤى الاستئصال (Ablation Insights)

التنشيطات ضارة: إن إعادة إدخال التنشيطات (مثل GELU) في الوحدات متعددة الحدود يؤدي باستمرار إلى تدهور الأداء. يعزو المؤلفون ذلك إلى تعطيل "اقتران التدرج المتبادل" المتأصل في ضرب هادامارد، حيث يتم قياس تدرج كل فرع بواسطة مخرج الفرع الآخر.
الاستقرار أمر بالغ الأهمية: يؤدي إزالة Sigmoid-Scale أو وصلات التخطي متعددة المدخلات إلى انخفاض كبير في الأداء أو انهيار التدريب.
حساسية الوصفة: تُعزى مكاسب الأداء إلى تصميم الوحدة وتقنيات الاستقرار بدلاً من وصفة تدريب فريدة، حيث تنتقل الوحدات بشكل جيد عند استبدالها في بنيات أخرى.

الأهمية والادعاءات

تدعي الورقة أن دوال التنشيط ليست ضرورة تمثيلية لبنيات الرؤية الحديثة، بل هي حل لتحديات التحسين. ومن خلال معالجة استقرار التدريب عبر آليات محددة (Sigmoid-Scale، والعمق مقابل العرض)، يمكن لالتفاعلات متعددة الحدود أن تعمل كمصادر فعالة للاخطية.

تتمثل المساهمات الرئيسية في:

البدائل متعددة الحدود: تقديم PolyMLP وPolyConv وPolyAttn، التي تستبدل التنشيطات القياسية بضرب هادامارد مع الحفاظ على التوافق مع التحسينات الهيكلية.
الدليل التجريبي: إثبات أن البنى الأساسية الخالية من التنشيط (PolyNeXt) يمكن أن تضاهي أو تتفوق على النظراء القائمين على التنشيط من حيث الدقة والمتانة عبر مختلف المقاييس.
وصفة الاستقرار: مجموعة خفيفة من التقنيات التي تمكن تدريب الشبكات متعددة الحدود العميقة (تصل إلى 200 طبقة).
التقدم في FHE: خطوة نحو الاستنتاج المتوافق مع التشفير المتماثل الكامل (FHE) من خلال إزالة العمليات غير متعددة الحدود، بما في ذلك نسخة متعددة الحدود بالكامل تتفوق على الشبكات متعددة الحدود السابقة وتقترب من النظراء القائمين على التنشيط.

يخلص المؤلفون إلى أنه بينما لا يعني عملهم فوائد فورية للسلامة أو العدالة، إلا أنه يفتح مساراً نحو الاستنتاج الحفاظ على الخصوصية ويقترح أن المجال يجب أن يعيد تقييم الضرورة الملحة لدوال التنشيط التقليدية في نماذج الرؤية العميقة.