🤖 machine learning

Neural network relief: a pruning algorithm based on neural activity

تقترح هذه الورقة خوارزمية تقليم تكرارية مستوحاة من الاتصال المتناثر في الدماغ البشري، والتي تستخدم مقياس أهمية قائم على النشاط العصبي لتحديد وإلغاء تنشيط الاتصالات غير المهمة، مما يحقق ضغطاً كبيراً في المعلمات مع الحفاظ على دقة مماثلة عبر مختلف بنيات الشبكات العصبية العميقة ومجموعات البيانات.

المؤلفون الأصليون: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

نُشر 2026-08-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز ضخم ومعقد. لديك صندوق هائل يحتوي على آلاف القطع، ولكن عندما تجلس فعليًا لبناء الصورة، لا تحتاج سوى إلى حفنة صغيرة منها فقط. البقية ليست سوى فوضى، تشغل مساحة وتجعل العثور على القطع الصحيحة أمرًا أكثر صعوبة. هذا هو بالضبط الوضع الذي تواجهه "الشبكات العصبية العميقة" (DNNs) الحديثة، وهي الأدمغة الحاسوبية فائقة الذكاء وراء أشياء مثل التعرف على الصور أو المساعدات الصوتية. تُبنى هذه الأدمغة الرقمية بملايين الاتصالات الصغيرة، لكن الباحثين لاحظوا أنه بالنسبة لأي مهمة واحدة، فإن معظم هذه الاتصالات تقبع هناك دون فعل أي شيء؛ إنها مثقلة بالعمل ومجهزة فوق الحاجة.

السؤال الكبير الذي يطرحه العلماء هو: كيف يمكننا تقليل "الدهون" دون قطع "العضلات"؟ نريد تصغير هذه الشبكات العملاقة لتعمل بشكل أسرع وتستهلك ذاكرة أقل، دون أن تجعلها تنسى كيفية حل اللغز. الورقة البحثية التي ستطالعها الآن تعالج هذا الأمر من خلال النظر في كيفية "تفكير" هذه الأدمغة الحاسوبية أثناء العمل. فبدلاً من مجرد التخمين حول أي الاتصالات عديمة الفائدة، يقترح المؤلفون طريقة جديدة للاستماع إلى نشاط الدماغ، وتحديد الأجزاء الأكثر هدوءًا، وإطفائها بلطف. الأمر يشبه عامل نظافة ذكي لا يقوم بكنس الغرفة بأكملها فحسب، بل يتحقق بعناية من المصابيح المنطفئة ويقوم بإطفائها للأبد، تاركًا المصابيح الساطعة والنشطة للقيام بالعمل الشاق.

استراتيجية "تخفيف الشبكة العصبية" (NNrelief)

تعرف على NNrelief، وهي خوارزمية تقليم (كلمة منمقة تعني "التقليم") تعمل مثل قائد أوركسترا شديد الانتباه. في الشبكة العصبية العميقة التقليدية، يعزف كل موسيقي (أو عصبون) حتى لو كان يهمس بصوت خافت. الهدف من NNrelief هو العثور على الموسيقيين الذين لا يساهمون حقًا في الأغنية وطلب استراحة منهم، كل ذلك مع الحفاظ على جودة الموسيقى لتكون مثالية.

الطريقة القديمة مقابل الطريقة الجديدة

لفترة طويلة، كانت الطريقة القياسية لتقليم هذه الشبكات تعتمد على المقدار (Magnitude). تخيل أن لديك مجموعة من الحبال تربط بين نقطتين. قالت الطريقة القديمة: "اقطع الحبال الأرفع!" كانت الفكرة هي أن الحبل الرفيع (رقم صغير، أو "وزن") لا يمكنه تحمل الكثير من الوزن، لذا لا بد أنه عديم الفائدة.

لكن مؤلفي هذه الورقة يجادلون بأن هذا يشبه الحكم على مساهمة شخص ما في فريق بناءً على مدى علو صراخه فقط. قد يمتلك الشخص مكبر صوت (وزن ضخم) لكنه يهمس (إشارة ضعيفة)، مما يعني أنه لا يساعد كثيرًا في الواقع. وعلى العكس من ذلك، قد يكون شخص آخر ذو صوت عادي ولكنه يصرخ بالكلمات الصحيحة في الوقت المناسب.

تغير NNrelief قواعد اللعبة. فبدلاً من مجرد النظر إلى حجم الحبل (الوزن)، فإنها تنظر إلى مقدار الإشارة التي تمر عبره بالفعل. هي تسأل: "كم مقدار المعلومات التي يحملها هذا الاتصال الآن؟" إذا كان الاتصال يحمل إشارة ضعيفة، حتى لو كان الحبل سميكًا، فسيتم استبعاده. أما إذا كان الاتصال يحمل إشارة قوية، حتى لو كان الحبل رفيعًا، فسيستمر.

كيف تعمل: "درجة الأهمية"

ابتكر الفريق خدعة رياضية بسيطة تسمى درجة الأهمية (Importance Score). فكر في هذا كـ "مقياس مساهمة" لكل اتصال فردي في الشبكة.

يراقبون الشبكة وهي تحل مشكلة (مثل تحديد صورة قطة).
يحسبون مقدار "الطاقة" أو "الإشارة" التي تتدفق عبر كل اتصال.
يقومون بترتيب الاتصالات من الأكثر أهمية إلى الأقل أهمية.
يضعون هدفًا: "حافظوا على أعلى 95% من الإشارة".
يقطعون كل ما يقع تحت هذا الخط.

الجزء المذهل؟ هم لا يقطعون عددًا ثابتًا من الاتصالات (مثل "اقطع 50%")، بل يقطعون بناءً على النشاط. وهذا يعني أن الشبكة تقرر بنفسها عدد الاتصالات التي تحتاجها للحفاظ على قوة الإشارة.

تأثير "التخفيف" (Relief Effect)

عندما قاموا بهذا، حدث شيء رائع. لم تصبح الشبكة أصغر فحسب، بل أصبحت أكثر توازنًا. قبل التقليم، كانت بعض الاتصالات تصرخ بالأهمية بينما كانت أخرى صامتة. بعد التقليم، بدأت جميع الاتصالات المتبقية تمتلك تقريبًا نفس المستوى من الأهمية. يسمي المؤلفون هذا "تخفيف الشبكة العصبية" (Neural Network Relief). إنه يشبه فريقًا حيث يسحب كل فرد ثقله الخاص، بدلًا من وجود عدد قليل من النجوم وكمية كبيرة من الأوزان الميتة. تصبح الشبكة آلة رشيقة وفعالة حيث يقوم كل اتصال متبقٍ بشيء مفيد.

النتائج: مكاسب كبيرة، خسائر صغيرة

اختبر الفريق هذه الطريقة على عدة بنيات شبكية شهيرة (LeNet، VGG، وResNet) باستخدام مجموعات بيانات صور قياسية مثل MNIST (الأرقام المكتوبة بخط اليد)، وCIFAR-10/100 (صور ملونة صغيرة)، وTiny-ImageNet.

إليكم ما وجدوه:

بالنسبة لشبكات VGG: تمكنوا من تصغير الشبكة بأكثر من 50 ضعفًا (الاحتفاظ بأقل من 2% من المعلمات الأصلية) في مجموعة بيانات CIFAR-10، مع انخفاض طفيف جدًا في الدقة. وفي مجموعة بيانات Tiny-ImageNet، حققوا ضغطًا يزيد عن 40 ضعفًا (الاحتفاظ بـ 2.32% فقط من المعلمات) مع انخفاض ضئيل في الدقة قدره 0.03% فقط.
بالنسبة لشبكات ResNet: حققوا نسبة عالية من المعلمات المقلمة، وتحديدًا الاحتفاظ بـ 76.2% من المعلمات (أي تم تقليم حوالي 23.8%) لشبكة ResNet-56 على CIFAR-10، مع الحفاظ على دقة قريبة جدًا من الأصل.
مفاجأة المُحسِّن (Optimizer): اختبروا اثنين من "مدربي التدريب" (المُحسّنات) وهما Adam و SGD. في شبكات VGG، كان Adam أكثر عدوانية، حيث قطع اتصالات أكثر من SGD. ومع ذلك، في شبكات ResNet، كان كلا المدربين يؤديان بشكل مماثل، مما يشير إلى أن نوع الشبكة يهم بقدر أهمية طريقة التدريب.

ما لم يفعلوه

من المهم ملاحظة ما لا تدعي هذه الورقة البحثية القيام به. ذكر المؤلفون صراحة أن هدفهم لم يكن تقليل عدد العمليات الحسابية (FLOPs) المطلوبة بواسطة أجهزة الكمبيوتر الحالية، على الرغم من أنهم رأوا بعض الانخفاض هناك. كان تركيزهم الرئيسي على عدد الاتصالات و"الإشارة" التي تحملها. كما لم يدعوا أنهم حلوا مشكلة "التعلم المستمر" (تعلم مهام جديدة دون نسيان المهام القديمة)، رغم أنهم يشيرون إلى أن طريقتهم تعد خطوة حاسمة نحو ذلك الهدف المستقبلي.

الخلاصة

تشير هذه الورقة إلى أننا لسنا بحاجة للتخمين حول الأجزاء غير المفيدة في الشبكة العصبية. فمن خلال الاستماع إلى النشاط الفعلي للعصبونات، يمكننا تقليم الزوائد بدقة جراحية. والنتيجة هي شبكة أصغر وأبسط، وتتميز بمتانة مدهشة. الأمر يشبه اكتشاف أنه يمكنك قيادة سيارة بنفس السرعة بمحرك أصغر بكثير، طالما أنك تضبطه على الإيقاع الصحيح. تُظهر نهج "تخفيف الشبكة العصبية" أنه في بعض الأحيان، القليل هو الكثير حقًا، بشرط أن تعرف بالضبط ما الذي يجب أن تتخلى عنه.

ملخص تقني: تخفيف الشبكة العصبية: خوارزمية تقليم تعتمد على النشاط العصبي

بيان المشكلة
تتميز الشبكات العصبية العميقة (DNNs) الحالية عادةً بكونها مفرطة في التخصيص (overparameterized)، حيث تستخدم غالبية اتصالاتها العصبية أثناء الاستدلال لأي مهمة معينة. في المقابل، يطور الدماغ البشري مناطق متخصصة ويقوم بالاستدلال باستخدام جزء صغير فقط من اتصالاته. يحدد المؤلفون الحاجة إلى معالجة فرط التخصيص في الشبكات العصبية العميقة من خلال إيجاد الحد الأدنى من عدد الاتصالات القادرة على حل مهمة محددة بدقة مقاربة. وبينما تعتمد طرق التقليم الحالية غالبًا على نسب محددة مسبقًا لإزالة المعلمات أو قيم الأوزان المطلقة، فإن هذه النهج يمكن أن تؤدي إلى انخفاضات حادة في الدقة إذا كانت نسبة التقليم عالية جدًا، أو قد تفشل في مراعاة المساهمة الفعلية للاتصال في إشارة العصبون.

المنهجية
تقترح الورقة البحثية "NNrelief"، وهي استراتيجية تقليم تكرارية تعمل على إلغاء تنشيط الاتصالات غير المهمة بناءً على مقياس مبتكر لدرجة الأهمية. وخلافًا للنهج القائمة على المقدار (magnitude-based)، يقيم هذا الأسلوب السلوك المحلي للاتصالات من خلال مراعاة كل من مقدار الوزن (weight magnitude) وقوة إشارة المدخلات (النشاط العصبي).

مقياس درجة الأهمية:
- الطبقات كاملة الاتصال (Fully Connected Layers): تُعرف أهمية الاتصال بين العصبون $i$ (الطبقة $l-1$ ) والعصبون $j$ (الطبقة $l$ ) بأنها القيمة المطلقة لحاصل ضرب الوزن $w_{ij}^{(l)}$ وإشارة المدخلات $x_i^{(l-1)}$ ، مقسومة على إجمالي أهمية جميع المدخلات للعصبون $j$ (بما في ذلك الانحياز/bias). هذا يحدد المساهمة النسبية لاتصال معين في إجمالي إشارة العصبون.
- الطبقات الالتفافية (Convolutional Layers): يتم تكييف المقياس ليتناسب مع النوى (kernels) والانحيازات. تُحسب أهمية النواة بناءً على معيار فـروبينيوس (Frobenius norm) لعملية الالتفاف بين نواة الميزات وخرائط ميزات المدخلات، والمتوسط عبر مجموعة البيانات، والمقسم على إجمالي أهمية المرشح (filter).
عملية التقليم:
- تعمل الخوارزمية بشكل تكراري. لكل طبقة، يتم حساب درجات الأهمية لجميع الاتصالات الواردة (أو النوى) باستخدام مجموعة فرعية من بيانات التدريب.
- يتم ترتيب الاتصالات حسب الأهمية. تحدد الخوارزمية عتبة بحيث يصل مجموع أعلى درجات الأهمية إلى نسبة الاحتفاظ المحددة مسبقًا $\alpha$ (على سبيل المثال، 0.95).
- يتم تقليم الاتصالات التي تقل عن هذه العتبة (ضبطها لتصبح صفرًا).
- يتم إعادة تدريب الشبكة بعد تكرارات التقليم. يشير المؤلفون صراحةً إلى أنهم يقومون بالتقليم التكراري عبر إعادة تدريب الشبكة بدءًا من المعلمات العشوائية الأولية لتجارب LeNet، وبالمثل إعادة التدريب من تهيئات عشوائية لبنيات VGG وResNet بدلاً من استخدام الضبط الدقيق (fine-tuning).
الحدود النظرية: تشتق الورقة حدود الخطأ لإشارة الفرق قبل وبعد التقليم. وتوضح أن خطأ التقريب في العصبون ينخفض مع زيادة معامل الاحتفاظ $\alpha$ ، بشر old أن تكون دالة التنشيط مستمرة ليبشيتز (Lipschitz continuous).

المساهمات الرئيسية

التقليم القائم على النشاط العصبي: مقييس جديد يقوم بإلغاء تنشيط الاتصالات التي تساهم بإشارات ضعيفة للطبقة التالية، بدلاً من مجرد إزالة الأوزان الصغيرة. وهذا يتناقض مع التقليم القائم على المقدار، الذي يفترض أن الأوزان الصغيرة غير مهمة بغض النظر عن إشارة المدخلات.
التقليم التكيفي: على عكس الطرق التي تقلم نسبة مئوية ثابتة من المعلمات، تقوم NNrelief بتحديد عدد الاتصالات المراد إزالتها بشكل تكيفي بناءً على توزيع درجات الأهمية للحفاظ على مستوى إشارة معين.
مفهوم تخفيف الشبكة العصبية (Neural Network Relief): يلاحظ المؤلفون أن استراتيجية التقليم تؤدي إلى "تجانس" (homogenization) في أهمية الاتصال بين العصبونات المتبقية. يشير هذا المفهوم، المسمى "تخفيف الشبكة العصبية"، إلى توزيع الأهمية بالتساوي بين عدد أقل من الاتصالات بدلاً من الاعتماد على عدد قليل من الاتصالات المهيمنة للغاية.
تحليل الخطأ: اشتقاق الحدود النظرية التي تظهر أن اضطراب الإشارة الناتج عن التقليم يتم التحكم فيه بواسطة معامل الاحتفاظ $\alpha$ .

النتائج التجريبية
قيم المؤلفون NNrelief على بنيات LeNet وVGG وResNet عبر مجموعات بيانات MNIST وCIFAR-10/100 وTiny-ImageNet، باستخدام مُحسِّني Adam وSGD.

LeNet (MNIST): حققت الطريقة دقة مقاربة لخوارزميات الحالة الراهنة (SOTA) (مثل DNS وL-OBS) مع الاحتفاظ بحوالي 1.5% فقط من المعلمات لـ LeNet-300-100 و0.65% لـ LeNet-5.
VGG (CIFAR-10/100, Tiny-ImageNet):
- في CIFAR-10، قللت الطريقة المعلمات إلى أقل من 2% من الأصل (محققة ضغطاً بنسبة 52 ضعفاً تقريباً) مع انخفاض بنسبة 0.1% فقط في الدقة لبنية شبيهة بـ VGG (نسخة معدلة من VGG-16 مع طبقة واحدة أقل من الطبقات كاملة الاتصال). تشير الورقة إلى أن هذا المستوى المحدد من الضغط تم تحقيقه لبنية شبيهة بـ VGG، وليس VGG-13 القياسية. تفوقت الطريقة على SOTA في كل من الاحتفاظ بالمعلمات وتقليل العمليات الحسابية (FLOPs) لهذا التكوين.
- في Tiny-ImageNet، حققت الطة ضغطاً يزيد عن 40 ضعفاً (الاحتفاظ بحوالي 2.3% من المعلمات) مع فقدان ضئيل في الدقة (0.03%) باستخدام مُحسِّن Adam.
- حقق مُحسِّن Adam عموماً معدلات ضغط أعلى من SGD بالنسبة لبنيات VGG، رغم أن SGD حافظ أحياناً على دقة أعلى قليلاً.
ResNet (CIFAR-10/100, Tiny-ImageNet):
- لـ ResNet-20 وResNet-56 على CIFAR-10، قامت الطريقة بتقليم أكثر من 60-76% من المعلمات بدقة مقاربة لطرق SOTA.
- في CIFAR-100، حققت الطريقة ضغطاً كبيراً (على سبيل المثال، تقليم حوالي 68% من المعلمات لـ ResNet-56) مع تدهور طفيف في الدقة.
- على عكس VGG، كان الفرق في التخلخل (sparsity) بين Adam وSGD أقل وضوحاً بالنسبة لـ ResNets. ويعزو المؤلفون ذلك إلى أن اتصالات التخطي (skip connections) تسمح بمرور الإشارات دون عائق، مما يجعل من الصعب على المُحسِّن التمييز بين التنشيطات الهامة في الكتل المتبقية (residual blocks).

الأهمية والادعاءات
تدعي الورقة أن NNrelief تقدم بديلاً قوياً للتقليم القائم على المقدار من خلال التركيز على المساهمة الفعلية للاتصالات في انتشار إشارة الشبكة. يؤكد المؤلفون أن نهجهم:

يحقق ضغطاً للمعلمات أعلى بكثير (أكثر من 50 ضعفاً لـ VGG-like على CIFAR-10 وأكثر من 40 ضعفاً لـ Tiny-ImageNet) مقارنة بخوارزميات SOTA مع الحفاظ على دقة مقاربة.
فعال عبر بنيات مختلفة (LeNet, VGG, ResNet) ومُحسِّنات مختلفة (Adam, SGD).
يوفر آلية "لتحرير" الاتصالات لمهام أخرى، مما يعد خطوة نحو استراتيجيات التعلم المستمر.
بينما لم تُصمم صراحةً لتقليل العمليات الحسابية (FLOPs) للتنفيذات البرمجية الحالية، إلا أنها تؤدي أداءً جيداً في هذا الصدد مقارنة بالطرق الموجودة.

يخلص المؤلفون إلى أن الشبكات الفرعية الناتجة تنقل معظم الإشارة الأصلية باستخدام معلمات أقل وتظهر توزيعاً متجانساً للأهمية، مما يؤكد صحة مفهوم "تخفيف الشبكة العصبية".