🤖 machine learning

Effective Model Pruning: Measure The Redundancy of Model Components

تقدم هذه الورقة البحثية طريقة "تقليم النموذج الفعالة" (EMP)، وهي طريقة تكيفية عالمية تحدد العدد الأمثل للمكونات التي يجب التخلص منها عن طريق حساب حجم العينة الفعال لدرجات الأهمية، مما يوفر حداً أقصى مثبتًا لفقدان الأداء عبر مختلف بنيات الشبكات العصبية.

المؤلفون الأصليون: Yixuan Wang, Dan P. Guralnik, Saiedeh Akbari, Warren E. Dixon

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yixuan Wang, Dan P. Guralnik, Saiedeh Akbari, Warren E. Dixon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك حقيبة سفر ضخمة ومكتظة للغاية (نموذج ذكاء اصطناعي معقد) مجهزة لرحلة طويلة. أنت تعلم أنك بحاجة إلى تقليل وزنها لتناسب طائرة صغيرة (جهاز طرفي)، لكنك مرعوب من التخلص من القطعة الوحيدة التي تهم حقاً.

حالياً، يحاول معظم الناس حل هذه المشكلة عن طريق التخمين: "لنرمِ 50% من الملابس"، أو "لنحتفظ بالقطع الأثقل". أحياناً ينجح هذا؛ وأحياناً أخرى ينتهي بك الأمر بحقيبة مليئة بالجوارب ولكن بدون أحذية.

تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً للتعبئة تسمى تقليم النموذج الفعال (Effective Model Pruning - EMP). فبدلاً من التخمين بنسبة مئوية، يسأل EMP سؤالاً بسيطاً: "بناءً على مدى أهمية كل قطعة بالفعل، كم عدد القطع الضرورية حقاً؟"

إليك كيف يعمل ذلك، باستخدام تشبيهات من الحياة اليومية:

1. تشبيه "ضيف الحفلة"

تخيل أنك تستضيف حفلة بها 1,000 ضيف. لديك قائمة توضح مقدار مساهمة كل ضيف في المتعة (درجة "الأهمية" الخاصة بهم).

الطريقة القديمة: تقرر "سأطرد 50% من الضيوف"، بغض النظر عن هويتهم. قد تطرد بالخطأ منسق الموسيقى (DJ) والكوميدي.
طريقة EMP: ينظر EMP إلى القائمة ويحسب "العدد الفعال" للضيوف. يسأل: "إذا اخترنا مجموعة أصغر لا تزال تحتفظ بـ 99% من طاقة الحفلة، فكم عدد الأشخاص الذين سنحتاجهم؟"

إذا كانت الحفلة متنوعة جداً (الجميع ساهموا قليلاً)، فقد يكون "العدد الفعال" مرتفعاً (مثلاً 800 شخص). أما إذا كانت الحفلة تهيمن عليها بعض النجوم (كوميدي واحد، ومنسق موسيقى واحد، و998 شخصاً هادئين)، فقد يكون "العدد الفعال" منخفضاً جداً (مثلاً 5 أشخاص). يخبرك EMP بالضبط كم شخصاً يجب أن تحتفظ بهم بناءً على توزيع الدرجات، وليس بناءً على تخمين عشوائي.

2. "العتبة السحرية"

الادعاء الرئيسي للورقة هو أن هذا "العدد الفعال" (المسمى $N_{eff}$ ) هو قاعدة عالمية. لا يهم ما الذي تقوم بتقليمه:

الأوزان (Weights): الروابط الصغيرة داخل حاسوب يشبه الدماغ.
رؤوس الانتباه (Attention Heads): الأجزاء التي تقرر أي الكلمات يجب أن يركز عليها النموذج.
بكسلات الصور (Image Pixels): النقاط الفردية التي تشكل الصورة.

الرياضيات وراء EMP تشبه مسطرة خاصة تقيس "تركيز" الأهمية. إذا كانت الأهمية موزعة، تقول المسطرة: "احتفظ بالمزيد". وإذا كانت الأهمية مركزة في بضعة مواضع، تقول المسطرة: "يمكنك التخلص من الباقي بأمان".

3. "شبكة الأمان"

أحد أكبر ادعاءات الورقة هو أن هذا ليس مجرد تخمين؛ بل هو مثبت رياضياً بأنه آمن.
لقد استنتج المؤلفون "حداً أدنى" (شبكة أمان). لقد أثبتوا أنه إذا احتفظت بأعلى $N_{eff}$ من العناصر، فأنت تضمن الاحتفاظ بكمية محددة من "كتلة" النموذج (قدرته على أداء المهمة).

التشبيه: فكر في الأمر كقارب نجاة. تثبت الرياضيات أنه إذا احتفظت بعدد الأشخاص الذي يقترحه EMP، فإن القارب سيحمل بالتأكيد وزناً كافياً لمنع السفينة من الغرق، بغض النظر عن مدى اضطراب المياه.

4. ماذا أظهرت التجارب

اختبر الباحثون هذه "المسطرة السحرية" على أنواع مختلفة من نماذج الذكاء الاصطناعي، من النماذج البسيطة إلى النماذج اللغوية الضخمة (مثل تلك التي تكتب المقالات أو الأكواد البرمجية).

النتيجة: عندما استخدموا EMP لتحديد مقدار ما يجب قصه، كان أداء النماذج مماثلاً تماماً للنسخ الأصلية غير المقلصة.
مقبض "بيتا" (Beta): وجدوا أيضاً أنه إذا قصصت أقل من رقم EMP (أي احتفظت بالمزيد)، يظل الأداء ممتازاً. ولكن إذا قصصت أكثر من رقم EMP، يبدأ النموذج فجأة في الفشل. وهذا يشير إلى أن $N_{eff}$ هو "نقطة التحول" الدقيقة حيث يتوقف النموذج عن كونه زائداً عن الحاجة ويبدأ في فقدان قدراته الذهنية.

5. لماذا هذا مهم

تدعي الورقة أنه لفترة طويلة، كان الناس يقومون بضبط يدوي لكمية ما يجب قصه (مثلاً: "لنحاول قص 40%"، أو "لنحاول قص 60%"). هذا أمر بطيء ويتطلب الكثير من التجربة والخطأ.

حل EMP: إنه يقوم بأتمتة هذه العملية. تعطيه قائمة من الدرجات، ويخبرك فوراً بالعدد الدقيق للمكونات التي يجب الاحتفاظ بها. إنه يعمل مع أي نوع من نماذج الذكاء الاصطناعي وأي طريقة لقياس الأهمية.

باختصار: تقترح الورقة طريقة عالمية، مثبتة رياضياً، لمعرفة مقدار "الحشو" ومقدار "الجوهر" في نموذج الذكاء الاصطناعي. إنها تستبدل التخمين بـ "اقطع 50%" بحساب ذكي يقول: "بناءً على البيانات، تحتاج فقط للاحتفاظ بأعلى 37% لتبقى في أمان".

ملخص تقني: تقليم النماذج الفعال (EMP)

1. بيان المشكلة

حققت الشبكات العصبية العميقة أداءً رائدًا في مجالات مثل الرؤية الحاسوبية، ومعالجة اللغات الطبيعية، والروبوتات، ولكن حجمها المتزايد وتعقيدها يفرضان تحديات كبيرة عند النشر على الأجهزة الطرفية (edge devices) بسبب القيود في الحوسبة، والذاكرة، والطاقة. وبينما يعد "تقليم النماذج" (Model Pruning) تقنية مدروسة على نطاق واسع لمعال معالجة هذه المشكلات، لا يزال هناك سؤال جوهري ومستمر دون حل: بالنظر إلى متجه من درجات الأهمية ( $s$ ) المخصصة لمكونات النموذج، كم عدد هذه المكونات التي يجب الاحتفاظ بها لتجنب التضحية بالأداء؟

تعتمد النهج الحالية لتحديد ميزانية التخلخل (sparsity budget) على:

إجراءات تقليم تكرارية مكلفة.
ميزانيات يدوية أو استدلالية لكل طبقة.
معاملات فائقة (hyperparameters) تتطلب ضبطًا دقيقًا.
نسب تخلخل ثابتة قد تكون عدوانية للغاية (مما يؤدي إلى تدهور الأداء) أو متحفظة للغاية (مما يضيع الكفاءة).

يفترض البحث أن اختيار درجة التخلخل أمر حساس، وأن الحلول الحالية تفتقر إلى معيار عالمي وتكيفي مستمد مباشرة من توزيع درجات الأهمية نفسها.

2. المنهجية: تقليم النماذج الفعال (EMP)

يقترح المؤلفون تقليم النماذج الفعال (EMP)، وهو قاعدة عالمية تحدد عدد المكونات التي يجب الاحتفاظ بها ( $N_{eff}$ ) مباشرة من توزيع درجات الأهمية، دون الحاجة إلى جدولة ميزانية يدوية أو ضبط خاص بالبنية المعمارية.

المفهوم الجوهري: حجم العينة الفعال

يكيف EMP مفهوم حجم العينة الفعال (ESS) المستمد من مرشحات الجسيمات (المعروف أيضًا باسم مؤشر سيمبسون العكسي في علم البيئة) ليناسب سياق تقليم النماذج.

تطبيع الدرجات (Score Normalization): بالنظر إلى متجه درجات $s$ المرتبط بمكونات النموذج، يتم حساب متجه أوزان احتمالية مُطبع $\omega$ :
$\omega_i = \frac{|s_i|}{\sum_j |s_j|}$
حساب $N_{eff}$ : يُعرف العدد الفعال للمكونات كما يلي:
$N_{eff} = \left\lfloor \frac{1}{\sum_i \omega_i^2} \right\rfloor$
يمثل هذا القيمة عدد المساهمين ذوي الدلالة الإحصائية في توزيع الدرجات.
قاعدة التقليم: تقوم الخوارزمية بالاحتفاظ بأعلى $N_{eff}$ من المكونات (أو نسخة مُدرجة بمقياس $\beta N_{eff}$ حيث $\beta$ هو مفتاح النشر) وتتخلص من المكونات المتبقية $N - N_{eff}$ ذات الدرجات الأدنى.

الأسس النظرية

يقدم البحث إطارًا نظريًا صارمًا يدعم EMP:

هندسة الـ Simplex: يحلل المؤلفون هندسة الـ simplex القياسي في الفضاء الإقليدي لتفسير $N_{eff}$ . ويُعرفون "الكتلة الفعالة" ( $s_{eff}$ ) بأنها مجموع الدرجات المُطبعة للمكونات التي تم الاحتفاظ بها.
الحد الأدنى للكتلة الفعالة: تم اشتقاق حد أدنى وثيق لـ $s_{eff}$ بدلالة $N_{eff}$ . وتحديدًا، بالنسبة لـ $2 \le N_{eff} < N$ ، تكون الكتلة المحتفظ بها محدودة، مما يضمن الحفاظ على جزء كبير من الأهمية الإجمالية.
الحد الأعلى لتغير الخسارة: باستخدام Lemma 3.1 (التي تربط نسبة التقليم بأثر الهيسيان واختلاف الأوزان)، اشتق المؤلفون حدًا أعلى لتغير الأداء (تغير الخسارة $\epsilon$ ) بين النموذج الكثيف والنموذج الذي تم تقليمه بواسطة EMP. يوضح التحليل أنه مع زيادة نسبة التقليم $\rho = N_{eff}/N$ ، يتلاشى الحد الأعلى لتغير الخسارة بسرعة، مما يوفر ضمانًا مثبتًا بأن تدهور الأداء يكون ضئيلاً عند التقليم حتى عتبة $N_{eff}$ .

الخوارزمية

خوارزمية EMP (الخوارزمية 1) فعالة حاسبيًا بتعقيد زمني قدره $O(N \log N)$ :

تطبيع الدرجات إلى متجه احتمالي.
حساب $N_{eff}$ .
حصر $N_{eff}$ ضمن النطاق $[1, N]$ .
إنشاء قناع ثنائي يحتفظ بأعلى فهارس $N_{eff}$ .

3. المساهمات الرئيسية

يحدد البحث ثلاث مساهمات رئيسية:

تقديم EMP: قاعدة بسيطة وعالمية لتحويل أي متجه درجات إلى عتبة تخلخل مبدئية ( $N_{eff}$ )، مدعومة بحد أدنى مضمون نظريًا للكتلة الفعالة.
الحدود النظرية: استنتاج حد أعلى لتغير الخسيرة ( $\epsilon$ ) بين النموذج الكثيف والنموذج المتفرق الناتج عن EMP.
التحقق التجريبي: إثبات فعالية EMP عبر بنيات متنوعة (MLPs, CNNs, Transformers, LLMs, KANs) ومعايير تقليم مختلفة (مقدار الوزن، درجات الانتباه، إشارات مستوى الميزة)، مما يظهر إمكانية دمجها مع الطرق الموجودة دون ضبط إضافي.

4. النتائج التجريبية

أجرى المؤلفون تجارب عددية واسعة للتحقق من متانة $N_{eff}$ كعتبة للتقليم.

بنيات متنوعة: أُجريت التجارب على الشبكات كاملة الاتصال (FC5, FC12)، والشبكات العصبية الالتفافية (AlexNet, VGG16, ResNet18, ResNet50)، وشبكات كولموغوروف-أرنولد (KANs).
النماذج اللغوية الكبيرة (LLMs): طُبق EMP على عائلات GPT-2 و LLaMA/LLaMA-2.
- GPT-2: باستخدام معايير "أهمية تايلور" (Taylor importance) و"معيار مقدار الوزن" (weight norm)، حدد EMP أن الاحتفاظ بحوالي $N_{eff}$ من الرؤوس (مثل 141 من أصل 144 لمعيار تايلور، و134 لمعيار مقدار الوزن) أدى إلى زيادات ضئيلة في الارتباك (Perplexity - PPL).
- LLaMA: استطاع EMP "إعادة تأهيل" التقليم البسيط القائم على المقدار. فبينما تسبب التقليم بنسبة 50% ثابتة بناءً على المقدار في تدهور كبير، فإن التخلخل المختار بواسطة EMP (حوالي 37%) حافظ على أداء قريب من النموذج الكثيف، متفوقًا على النماذج المرجعية ذات التخلخل الثابت.
متانة $\beta$ : اختبر المؤلفون معاملات القياس $\beta \in [0.5, 2.0]$ . وأظهرت النتائج باستمرار أن $\beta = 1$ (الاحتفاظ بـ $N_{eff}$ تمامًا) يمثل نقطة التحول حيث يؤدي التقليم بعد هذه العتبة إلى تدهور الأداء، بينما يؤدي التقليم دونها إلى عوائد متناقصة في الكفاءة.
التقليم على مستوى الميزة: طُبق EMP على بكسلات الصور (قنوات RGB). نجحت الطريقة في تصفير الإحداثيات منخفضة الأهمية مع الحفاظ على التشابه الهيكلي (SSIM) ونسبة الإشارة إلى الضوضاء القصوى (PSNR)، مما يشير إلى قابلية التطبيق في اختيار الميزات.

ملاحظة رئيسية: عبر جميع المعايير والبنيات المختبرة، كان تغير الخسارة ( $\epsilon$ ) بين النموذج الكثيف والنموذج المقلّم بواسطة EMP ضئيلاً (غالبًا $\le 0.1$ ) عند التقليم عند عتبة $N_{eff}$ .

5. الأهمية والادعاءات

يزعم البحث أن EMP يوفر آلية عالمية، وغير مرتبطة بمعيار محدد، وغير مرتبطة ببنية معمارية للتخلخل التكيفي.

عتبة عالمية: يجادل البحث بأن المقياس الطبيعي للتخلخل بالنسبة لخسارة الأداء ليس نسبة الاحتفاظ الخام ( $\rho = N_{ret}/N$ )، بل النسبة بالنسبة للعدد الفعال ( $\beta = N_{ret}/N_{eff}$ ). يعمل $N_{eff}$ كعتبة مدفوعة بالبيانات لفقدان الأداء الكبير.
مقياس الجودة: يقدم EMP طريقة لتقييم جودة طريقة التقليم. تشير النسبة $N/N_{eff}$ إلى "جودة" توزيع الدرجات؛ حيث تعني النسبة المنخفضة توزيعًا أكثر تركيزًا (وبالتالي أكثر قابلية للتقليم).
الفائدة العملية: يلغي EMP الحاجة إلى الضبط اليدوي للمعاملات الفائقة لميزانيات التخلخل. يمكن تطبيقه على الأوزان، القنوات، الخلايا العصبية، رؤوس الانتباه، وحتى ميزات الصور الخام.
الضمان النظري: على عكس العديد من طرق التقليم الاستدلالية، يستند EMP إلى حد أدنى نظري للكتلة المحتفظ بها وأهميتها، وحد أعلى لتدهور الأداء.

يخلص المؤلفون إلى أن EMP يمثل تحولًا من ميزانيات التخلخل الثابتة والاستدلالية إلى نهج إحصائي مبدئي يتكيف مع الحشو الجوهري لتوزيع درجات النموذج. وتشمل الأعمال المستقبلية التي اقترحها المؤلفون استكشاف EMP ذو البوابة (gated EMP)، والتقليم على مستوى الميزة أثناء التدريب، والتطبيقات على "بالوعات الانتباه" (attention sinks) وضبط النماذج اللغوية الكبيرة واسعة النطاق.