💬 NLP

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

تُثبت هذه الورقة، من خلال تجارب التقليم المنهجية على نماذج لغوية متخصصة في مهام معينة، أن العصبونات تساهم بشكل غير متماثل في الأداء، مما يكشف عن أن مجموعة فرعية صغيرة من العصبونات عالية التخصص تُعد حاسمة لنجاح المهمة، بينما تُظهر بقية الشبكة فائضاً يمكن تقليمه بأمان واستعادته لاحقاً من خلال الضبط الدقيق.

المؤلفون الأصليون: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه مدينة صاخبة وعملاقة تضم ملايين العمال (النيورونات/الخلايا العصبية). لكل عامل وظيفة، ولكن في مدينة عامة الأغراض، يكون معظم العمال "عامّين"؛ يمكنهم القيام بالقليل من كل شيء، من إصلاح الأنابيب إلى كتابة الشعر.

هذه الورقة البحثية تطرح سؤالاً بسيطاً: إذا قمنا بتخصيص هذه المدينة لوظيفة واحدة فقط (مثل حل المسائل الرياضية أو كتابة الكود البرمجي)، فهل لا يزال هناك حاجة لوجود جميع هؤلاء العمال؟ أم أن بعض العمال هم في الواقع مجرد "مشتتين" بمهام أخرى؟

إليك قصة ما وجده الباحثون، مشروحة عبر تشبيهات من الحياة اليومية.

1. "المتخصص" مقابل "المشتت"

نظر الباحثون في النماذج التي تم تدريبها خصيصاً على الرياضيات والكود. أرادوا معرفة: من هم العمال الذين يقومون بالعمليات الحسابية فعلياً، ومن منهم يسرح في أحلام اليقظة حول أشياء أخرى؟

لقد طوروا طريقة لقياس "التركيز". تخيل إعطاء كل عامل اختباراً:

المتخصص: هو العامل الذي يشعر بحماس شديد (نشاط عالٍ) عندما تسأله سؤالاً رياضياً، لكنه يظل هادئاً عندما تسأله عن التاريخ.
المشتت: هو العامل الذي يتحمس للتاريخ لكنه يتجاهل الرياضيات.

وجد الفريق أنه في هذه النماذج المتخصصة، توجد مجموعة متميزة من "النيورونات المتخصصة" التي تعد حاسمة للمهمة، بينما الآخرون مجرد "مشتتين" لا يساعدون حقاً في المهمة المحددة.

2. تجربة "التقليم" (طرد العمال)

"التقليم" (Pruning) هو عملية طرد العمال لجعل المدينة أصغر، وأرخص، وأسرع. جرب الباحثون ثلاث طرق مختلفة لطرد الناس:

التقليم العشوائي (اليانصيب): قاموا بطرد العمال بشكل عشوائي تماماً.
- النتيجة: صغرت المدينة، لكن الأداء انخفض بسرعة. الأمر يشبه طرد أشخاص عشوائيين من مستشفى؛ قد تطرد بالخطأ الجراح الوحيد.
التقليم الانتقائي (القطع الذكي): قاموا بطرد "المشتتين" فقط—العمال الذين كانوا يشعرون بالملل أو المتحمسين لأشياء خاطئة.
- النتيجة: تقلصت المدينة بشكل كبير (أصغر بنسبة تصل إلى 35%)، واستمر العمال المتبقون (المتخصصون) في تشغيل المدينة بنفس كفاءة السابق تقريباً. أثبت هذا أن ليس كل العمال متساوون؛ يمكنك إزالة "الضجيج" دون فقدان "الإشارة".
التقليم العكسي (التخريب): فعلوا العكس تماماً. قاموا بطرد أكثر العمال حماساً وأكثرهم أهمية ("المتخصصين") أولاً.
- النتيجة: انهيار تام. بمجرد طرد حوالي 10% من كبار المتخصصين، توقفت المدينة عن العمل تماماً. لم يستطع النموذج حل مسألة رياضية واحدة. أظهر هذا أن المعلومات الحرجة تتركز في مجموعة صغيرة جداً وهشة من النيورونات.

3. "عتبة المتانة" (نقطة الانهيار)

وجد الباحثون "نقطة تحول" لكيفية مقدار الطرد الذي يمكنك القيام به قبل أن تصبح الأمور فوضوية.

المنطقة الآمنة (0% إلى 15%): يمكنك طرد ما يصل إلى 15% من العمال، وستعمل المدينة بشكل جيد. بل قد تعمل بشكل أسرع.
منطقة الخطر (15% إلى 20%): هذه هي المنحدر. إذا طردت أكثر من 20%، يبدأ النموذج في الانهيار.
"الفخاخ": عندما يتم الضغط على النموذج بقوة (طرد الكثير من العمال)، فإنه لا يعطي إجابة خاطئة فحسب، بل يعلق في حلقة مفرغة. تخيل روبوتاً يحاول الإجابة على سؤال، فيقول الإجابة، ثم ينسى التوقف عن الكلام ويستمر في تكرار نفس الجملة للأبد. أطلق الباحثون على هذه الحالات اسم "حلقات التدهور" أو "الفخاخ".

4. "التعافي" (إعادة تدريب الناجين)

بعد طرد الكثير من الناس، تضررت المدينة. لكن الباحثين امتلكوا حيلة: الضبط الدقيق (Fine-Tuning).
فكر في هذا كدورة تدريبية مكثفة للعمال المتبقين. لقد أخذوا النماذج المقلمة (الأصغر حجماً) وأعطوها القليل من التدريب الإضافي (باستخدام تقنية تسمى LoRA).

النتيجة: استعاد النماذج عافيته! حتى تلك التي تم تقليمها بشدة (أصغر بنسبة 35%) استعادت معظم قدرتها على حل الرياضيات وكتابة الكود.
رؤية جوهرية: العمال المتبقون كانوا قادرين، لكنهم كانوا بحاجة فقط إلى القليل من "إعادة التوجيه" ليتذكروا كيف يعملون معاً بكفاءة دون زملائهم الذين تم طردهم.

5. المدينة الكبيرة مقابل المدينة الصغيرة

اختبروا هذا على حجمين من النماذج: نموذج 7B (مدينة ضخمة) ونموذج 1.5B (بلدة صغيرة).

المدينة الكبيرة (7B): استطاعت تحمل المزيد من عمليات الطرد. كان لديها الكثير من العمال الفائضين بحيث يمكنها فقدان الكثير من الناس وتظل تعمل بشكل جيد.
البلدة الصغيرة (1.5B): كانت أكثر هشاشة. فقدت قدرتها على العمل بشكل صحيح بسرعة أكبر بكثير لأنها لم تكن تملك الكثير من العمال الإضافيين لتتحمل خسارتهم.

6. الخلاصة

تثبت هذه الورقة ثلاثة أشياء رئيسية باستخدام المنطق البسيط:

التخصص حقيقي: في النماذج المدربة لمهام محددة، توجد "خلايا دماغية" مخصصة لتلك المهمة، وأخرى هي مجرد ضجيج.
يمكنك تصغير حجمها: من خلال إزالة عمال "الضجيج" بعناية، يمكنك جعل النموذج أصغر وأسرع دون فقدان ذكائه.
لا تقطع القلب: إذا قطعت أكثر العمال أهمية، سيموت النموذج فوراً. لكن إذا قطعت العمال غير المهمين ثم أعطيت الناجين دورة تنشيطية سريعة، فسوف ينجو النموذج ويزدهر.

المقايضة: بينما يوفر جعل النموذج أصغر حجم الذاكرة ويجعله يعمل بشكل أسرع (مثل سيارة أخف وزناً تسير بشكل أسرع)، يجب أن تكون حذراً من أن تقطع الكثير بحيث تتفكك السيارة. تبدو "النقطة المثالية" حول 15-20% من التقليم، وبعد ذلك تزداد مخاطر وقوع النموذج في "حلقة مفرغة" بشكل حاد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "استكشاف حدود التقليم: العصبونات الخاصة بالمهام، انهيار النموذج، والتعافي في النماذج اللغوية الكبيرة المتخصصة في مهام محددة."

1. بيان المشكلة

بينما تحقق النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً، فإن حجمها الهائل وتكاليفها الحسابية يعيقان نشرها في البيئات ذات الموارد المحدودة. ورغم أن تقليم العصبونات (Neuron Pruning) يعد تقنية واعدة للضغط، إلا أن معظم الأبحاث الحالية تركز على النماذج العامة. ولا يزال من غير الواضح ما إذا كانت العصبونات في النماذج المتخصصة في مهام معينة (مثل الرياضيات أو البرمجة) تساهم بشكل موحد في الأداء أم أن هناك "عصبونات خاصة بالمهام" متميزة. علاوة على ذلك، فإن حدود التقليم قبل حدوث انهيار النموذج، وطبيعة عدم الاستقرار الهيكلي (مثل حلقات التوليد)، وفعالية التعافي بعد التقليم عبر الضبط الدقيق ليست مفهومة جيداً.

2. المنهجية

النماذج والبيانات

النماذج: قيمت الدراسة نماذج Qwen2.5 بمقياسين: 1.5B و 7B.
- نماذج الرياضيات: Qwen2.5-Math-1.5B/7B-Instruct.
- نماذج البرمجة: Qwen2.5-Coder-1.5B/7B-Instruct.
البيانات:
- المهام المستهدفة: GSM8K (الرياضيات) و CodeFeedback-Filtered-Instruction (البرمجة).
- المهام المشتتة: SQuAD (الإجابة على الأسئلة) و Everyday-Conversational-cleaned (المحادثات اليومية).
- ملاحظة: لم يتم التعامل مع الرياضيات والبرمجة كمشتتات متبادلة نظراً لتشابه المنطق الهيكلي الأساسي بينهما.

مقياس الانتقائية القائم على التنشيط

الابتكار الجوهري هو درجة الانتقائية القائمة على التنشيط لتحديد العصبونات الحرجة للمهمة المستهدفة مقابل تلك المرتبطة بالمشتتات.

التقاط التنشيط: يتم استخراج تنشيطات العصبونات ( $h^{(\ell)}$ ) من طبقة SwiGLU المتوسطة لشبكات التغذية الأمامية (FFN) لكل من المطالبات المستهدفة والمشتتة.
حساب الانتقائية: لكل عصبون $n$ $n$ في الطبقة $\ell$ $ℓ$ ، يتم حساب درجة انتقائية اتجاهية $S_n^{(\ell)}$ $S_{n}^{(ℓ)}$ :
$S_n^{(\ell)} = \frac{\mu_{target,n}^{(\ell)} - \mu_{distractor,n}^{(\ell)}}{\sigma_n^{(\ell)} + \epsilon}$
حيث تمثل $\mu$ $μ$ المتوسط الحسابي و $\sigma$ $σ$ الانحراف المعياري.
- الدرجة الموجبة: مرتبطة بالمهمة المستهدفة.
- الدرجة السالبة: مرتبطة بالمشتت (مرشح للتقليم).

استراتيجيات التقليم

التقليم الانتقائي (Selective Pruning): يزيل العصبونات ذات درجات الانتقائية الأدنى (الصديقة للمشتتات).
التقليم العشوائي (Random Pruning): خط أساس حيث يتم إزالة العصبونات عشوائياً.
التقليم العكسي (Reverse Pruning): يزيل العصبونات ذات أعلى درجات الانتقالية (الحرجة للمهمة) لاختبار ضرورة عصبونات معينة.
التنفيذ: يتم تطبيق التقليم الهيكي فيزيائياً عن طريق قطع الصفوف/الأعمدة من مصفوفات الأوزان ( $W_{gate}, W_{up}, W_{down}$ ) في كتل MLP. يكون التقليم موحداً عبر الطبقات للحفاظ على الكفاءة العتادية (قابل للقسمة على 128).

آلية التعافي

بعد التقليم، تخضع النماذج لضبط دقيق باستخدام LoRA (التكيف منخفض الرتبة) لاستعادة الأداء.

نماذج الرياضيات: $r=8$ ، معدل التعلم (LR)= $2\times10^{-5}$ .
نماذج البرمجة: $r=16$ ، معدل التعلم (LR)= $2\times10^{-4}$ .
تم التدريب لمدة دورتين (2 epochs) على مجموعات بيانات المهام المستهدفة.

مقاييس التقييم

الدقة: المطابقة التامة (Exact Match) للرياضيات؛ و Pass@1 على HumanEval للبرمجة.
الاستقرار: اكتشاف "الفخاخ" (حلقات التكرار، فقدان رموز نهاية الجملة EOS، النصوص المتكررة).
أداء المشتت: التشابه الدلالي (BERTScore + SBERT) لضمان خصوصية المهمة.
الموارد: استخدام ذاكرة الفيديو (VRAM) وإنتاجية الاستدلال (توكن/ثانية).

3. المساهمات الرئيسية

تخصص العصبونات الخاص بالمهمة: دليل تجريبي على أن النماذج اللغوية الكبيرة المتخصصة في مهام معينة تحتوي على مجموعة فرعية صغيرة ومتخصصة للغاية من العصبونات (حوالي 10%) وهي حرجة للأداء، بينما البقية زائدة عن الحاجة أو مرتبطة بالمشتتات.
عتبة المتانة: تحديد عتبة تقليم حرجة (15-20%). بعد هذه النسبة، تنخفض الدقة بشكل حاد، ويزداد عدم الاستقرار الهيكلي (فخاخ التوليد) بشكل أسي.
التحقق من التقليم العكسي: أثبت أن إزالة حوالي 10% فقط من العصبونات الأكثر صلة بالمهمة تسبب انهياراً كاملاً للنموذج، بينما إزالة 30-35% من العصبونات الأقل صلة يحافظ على وظائف كبيرة.
التعافي عبر الضبط الدقيق: أظهر أن الضبط الدقيق باستخدام LoRA يمكنه استعادة الأداء بشكل كبير حتى في النماذج المقلمة بشدة، مما يخفف من فقدان الدقة وعدم استقرار التوليد.

4. النتائج الرئيسية

أ. التقليم الانتقائي مقابل العشوائي مقابل العكسي

الانتقائي مقابل العشوائي: تفوق التقليم الانتقائي باستمرار على التقليم العشوائي في جميع النسب، مما يؤكد أن الاختيار القائم على التنشيط يوفر ميزة منهجية.
التقليم العكسي: أدت إزالة أعلى 10% من العصبونات الخاصة بالمهمة إلى انهيار كامل في الأداء (دقة تقترب من الصفر) وفشل متكرر في التوليد. وهذا يثبت أن معلومات المهمة الحرجة تتركز في جزء ضئيل من الشبكة.
التقليم الانتقائي: سمح بتقليم يصل إلى 35% مع انخفاض تدريجي في الدقة، رغم تأثر الاستقرار عند النسب الأعلى.

ب. مقياس النموذج والمتانة

7B مقابل 1.5B: أظهرت النماذج الأكبر (7B) فائضاً أكبر في القدرة ويمكنها تحمل نسب تقليم أعلى مع فقدان نسبي أقل في الدقة مقارنة بالنماذج الأصغر (1.5B).
العتبة: أظهر كلا المقياسين تدهوراً حاداً في الأداء وطفرة في "الفخاخ" (حلقات التوليد) عندما تجاوز التقليم نسبة 15-20%.

ج. التعافي بعد التقليم (LoRA)

نجح الضبط الدقيق في استعادة الأداء عبر جميع مستويات التقليم.
نتيجة غير متوقına: في بعض الحالات (مثل Qwen 1.5B Code)، تفوقت النماذج المقلمة بشكل متوسط (10-15%) على النماذج المقلمة قليلاً (5%) بعد الضبط الدقيق، مما يشير إلى أن إزالة بعض الفائض يمكن أن تساعد أحياناً في عملية الضبط الدقيق.
الاستقرار: قلل الضبط الدقيق بشكل كبير من تكرار فخاخ التوليد، مما استعاد الاستقرار الهيكلي.

د. كفاءة الموارد

VRAM والإنتاجية: أدى التقليم إلى تقليلات خطية في استخدام VRAM وزيادة في إنتاجية الاستدلال.
- مثال (Qwen-7B): قلل التقليم بنسبة 35% من VRAM من 14.26 جيجابايت إلى 10.56 جيجابايت وزاد الإنتاجية من 35.83 إلى 42.70 توكن/ثانية.

هـ. التحليل على مستوى الطبقات

الطبقات المبكرة: موجهة غالباً نحو المشتتات (المعالجة العامة).
الطبقات الوسطى: انتقال نحو تنشيطات أكثر صلة بالمهمة.
الطبقات المتأخرة: ظلت نماذج الرياضيات مهيمنة بقوة على المهمة؛ بينما أظهرت نماذج البرمجة مزيجاً، وتراجعت أحياناً نحو هيمنة المشتتات.

5. الأهمية والآثار المترتبة

تخصص العصبونات: تقدم الدراسة دليلاً قوياً على أن النماذج اللغوية الكبيرة المتخصصة في مهام معينة ليست زائدة عن الحاجة بشكل موحد، بل تعتمد على "نواة" من العصبونات المتخصصة. وهذا يتحدى الافتراض بأن جميع العصبونات تساهم بالتساوي.
حدود التقليم: تحدد الدراسة "منطقة آمنة" عملية للتقليم (حتى ~15%) قبل أن يصبح عدم الاستقرار الهيكلي غير قابل للإدارة بدون تعافٍ.
استراتيجية التعافي: تثبت فعالية الضبط الدقيق لـ LoRA كاستراتيجية إعادة تأهيل منخفضة التكلفة للنماذج المقلمة، مما يجعل التقليم الشديد خياراً قابلاً للتطبيق.
تحسين العتاد: من خلال الإزالة الفيزيائية للعصبونات (التقليم الهيكلي) بدلاً من مجرد حجب الأوزان، توفر هذه المنهجية فوائد ملموسة للعتاد (تقليل VRAM، زيادة الإنتاجية) مناسبة للنشر على الأجهزة الطرفية (Edge Deployment).

الخاتمة

تخلص الورقة إلى أن النماذج اللغوية المتخصصة في مهام معينة تمتلك بنية متميزة حيث تقود مجموعة فرعية صغيرة من العصبونات أداء المهمة. وبينما قد يؤدي التقليم الشديد إلى خطر انهيار النموذج وعدم الاستقرار، فإن الجمع بين التقليم الانتقائي القائم على التنشيط والضبط الدقيق لـ LoRA بعد التقليم يوفر مساراً قوياً لنشر نماذج فعالة ومتخصصة دون التضحية بالقدرات الحرجة.