💬 NLP

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

تقدم هذه الورقة GISP، وهي طريقة تقليم هيكلي تكراري عالمية تجمع درجات الأهمية القائمة على الخسارة من الدرجة الأولى لتجميع رؤوس الانتباه وقنوات MLP بكفاءة، مما يتفوق بذلك على النماذج المحلية التقليدية عبر تثبيت الدقة عند مستويات التشتت العالية وتمكين التحسين الخاص بمهمة معينة دون الحاجة إلى ضبط دقيق وسيط.

المؤلفون الأصليون: Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير) مليئة بمليارات الكتب. إنها تعرف كل شيء تقريبًا، لكنها ضخمة جدًا لدرجة أنها تستغرق وقتًا طويلاً جدًا للعثور على حقيقة معينة، وتتطلب مبنىً عملاقًا ومكلفًا لتخزينها. أنت تريد تقليص حجم هذه المكتبة لتتسع في حقيبة ظهر دون أن تفقد القدرة على الإجابة على الأسئلة بشكل صحيح.

هذه هي المشكلة التي يتناولها البحث. يقدم المؤلفون طريقة جديدة تسمى GISP (التقليم الهيكلي التكراري العالمي). وإليك كيف تعمل، مشروحة من خلال تشبيهات بسيطة:

المشكلة: النهج "المحلي" مقابل الرؤية "العالمية"

الطريقة القديمة (التقليم المحلي):
تخيل أنك تحاول تقليص حجم المكتبة من خلال النظر إلى كل غرفة على حد—وحده. تقرر: "هذه الغرفة بها كتب كثيرة جدًا؛ دعونا نتخلص من 20% منها". تفعل ذلك لكل غرفة بشكل مستقل.

العيب: قد تتخلص من كتاب في غرفة "التاريخ" يبدو غير مفيد محليًا، لكنه يتبين لاحقًا أنه المفتاح لفهم قصة معقدة. ولأنك تنظر إلى غرفة واحدة في كل مرة فقط، فإنك تغفل عن الصورة الكبيرة. ينتهي بك الأمر بمكتبة لا تزال تبدو "ثقيلة" وقد تعاني مع مهام محددة، مثل حل مسألة رياضية أو الإجابة على لغز صعب، حتى لو بدت جيدة في اختبار عام.

الطريقة الجديدة (GISP - التقليم التكراري العالمي):
بدلاً من النظر إلى الغرف واحدة تلو الأخرى، يقترح المؤلفون النظر إلى المكتبة بأكملها في وقت واحد والسؤال: "إذا أزلنا هذا الكتاب تحديدًا، فإلى أي مدى سيؤثر ذلك على قدرة المكتبة على الإجابة على هذا السؤال المحدد؟"

كيف تعمل GISP: الخطوات السحرية الثلاث

1. خطأ "المرة الواحدة" (محاولة القيام بكل شيء دفعة واحدة)
إذا حاولت إزالة 50% من الكتب في عملية واحدة ضخمة، فقد تتخلص بالخطأ من أهم الكتب. الأمر يشبه محاولة خسارة 50 رطلاً في يوم واحد؛ ستنهار وتفشل. يوضح البحث أن القيام بهذا الأمر "دفعة واحدة" يؤدي إلى انهيار المكتبة وتوقفها عن تقديم معنى منطقي.

2. الحل "التكراري" (التقليم البطيء)
تعالج GISP هذا الأمر عبر اتخاذ خطوات صغيرة. تخيل أنك تنحت تمثالاً. بدلاً من قطع قطعة ضخمة من الحجر، تقوم بنحت القليل، ثم تتحقق من الشكل، ثم تنحت القليل أيضًا، ثم تتحقق مجددًا.

العملية: تقوم GISP بإزالة جزء صغير جدًا من النموذج، وتتحقق مما إذا كان لا يزال يعمل، ثم تزيل جزءًا أصغر، وتكرر ذلك عدة مرات.
الفائدة: هذا يسمح للنموذج بـ "التكيف" أثناء تقلص حجمه. إنه يمنع المكتبة من الانهيار، حتى عندما تصل إلى حجم صغير جدًا (ندرة عالية).

3. المكتبة "المتداخلة" (قلم مرة واحدة، وانشر نماذج متعددة)
هذه خدعة ذكية. نظرًا لأن GISP تزيل الكتب ببطء وعناية، فإن كل مرحلة من مراحل العملية تخلق مكتبة صالحة للعمل.

التشبيه: تخيل أن لديك مجموعة من دمى "الماتريوشكا" الروسية المتداخلة. لا تحتاج إلى بناء دمية صغيرة، ودمية متوسطة، ودمية كبيرة بشكل منفصل. أنت فقط تبني الدمية الكبيرة، ومع تقشير الطبقات، تظهر لك طبيعيًا نسخ أصغر مثالية بالداخل.
النتيجة: عليك القيام بالعمل الشاق المتمثل في "التقليم" مرة واحدة فقط. ومن خلال تلك العملية الواحدة، تحصل على عائلة كاملة من النماذج: نموذج أصغر بنسبة 20%، ونموذج أصغر بنسبة 40%، ونموذج أصغر بنسبة 50%. يمكنك اختيار النموذج الذي يناسب حقيبة ظهرك دون بذل عمل إضافي.

السر الخفي: التدريب من أجل مهمة محددة

يسلط البحث الضوء على أن معظم الطرق القديمة "غير مرتبطة بمهمة محددة". فهي تحاول الحفاظ على جودة المكتبة في كل شيء بشكل عام. ولكن ماذا لو كنت تحتاج فقط إلى أن تكون المكتبة رائعة في الامتحانات الطبية أو الرياضيات؟

الطريقة القديمة: تنظر طريقة التقليم إلى قائمة "الكتب المهمة" بشكل عام وتتجاهل ما إذا كانت تلك الكتب تساعد في الرياضيات أم لا.
طريقة GISP: يمكن إخبار GISP: "نحن نهتم فقط بالمسائل الرياضية". عندها تنظر إلى الكتب وتقول: "هذا الكتاب عديم الفائدة بالنسبة للرياضيات، لكن هذا الكتاب بالغ الأهمية". إنها تستخدم "درجة" خاصة بناءً على المهمة المحددة التي تهتم بها.
النتيجة: عندما اختبر المؤلفون ذلك على مهام الرياضيات والاستدلال، حافظت GISP على ذكاء النموذج بشكل أكبر بكثير من الطرق القديمة، خاصة عندما تم تقليص النموذج بشكل كبير.

النتائج بلغة بسيطة

اختبر المؤلفون هذه الطريقة على عدة نماذج ذكاء اصطناي شهيرة (مثل Llama و Mistral). ووجدوا أن:

إنها تعمل بشكل أفضل: عند مستويات عالية من التقلص (إزالة 40-50% من النموذج)، حافظت GISP على ذكاء النموذج بشكل أكبر بكثير من أفضل الطرق السابقة.
إنها مرنة: يمكنك الحصول على مجموعة متنوعة من أحجام النماذج من عملية تقليم واحدة فقط.
إنها قوية: حتى لو لم يكن لديك كمية هائلة من البيانات لـ "تعليم" عملية التقليم، فإنها لا تزال تعمل جيدًا.

الملخص

فكر في GISP كبستاني ماهر. بدلاً من قطع الأغصان عشوائيًا (الطريقة القديمة)، يقوم بتقليم الشجرة بعناية بوصة تلو الأخرى (تكراري)، ويتحقق دائمًا مما إذا كانت الشجرة لا تزال قادرة على إثمار ثمار (الأداء). كما أنه يخصص التقليم للثمرة التي تريدها تحديدًا (مهمة محددة)، ولأنه دقيق للغاية، يمكنه أن يعطيك شجرة بونساي صغيرة، أو شجرة متوسطة، أو شجرة كبيرة، وكل ذلك من نفس النبتة الأصلية، دون الحاجة إلى إعادة زراعة أي شيء.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من المحلي إلى العالمي: إعادة النظر في نماذج التقليم المهيكل لنماذج اللغات الكبيرة" (التي تقدم GISP).

1. بيان المشكلة

تعد نماذج اللغات الكبيرة (LLMs) مكلفة حوسبياً، مما يستلزم استراتيجيات نشر فعالة. ويُفضل التقليم المهيكل (حذف رؤوس الانتباه بالكامل أو قنوات MLP) على التقليم غير المهيكل لضمان التوافق مع الأجهزة. ومع ذلك، فإن النموذج السائد حالياً هو التقليم المحلي (مثل SparseGPT وWanda)، والذي يعمل على تحسين أخطاء إعادة البناء على مستوى الطبقة.

القيود الرئيسية للتقليم المحلي:

الافتقار إلى الوعي بالمهام: يقوم بتقليل الفرق بين مخرجات الطبقة المقلصة والطبقة الكثيفة، مما يحافظ على "الارتباك" (Perplexity) العام، لكنه يفشل في التحسين لمهام محددة لاحقة.
معايرة محدودة: حتى عند استخدام بيانات معايرة خاصة بمهمة معينة، لا تستطيع الطرق المحلية الاستفادة بفعالية من إشارات المهمة لأن دالة الهدف الخاصة بها (MSE على مستوى الطبقة) منفصلة عن خسارة النموذج النهائية.
عدم الاستقرار عند التخلخل العالي: غالباً ما تعاني الطرق المحلية في الحفاظ على الدقة عند نسب تقليم عالية (40-50%).
عدم الكفاءة لتعدد مستويات التخلخل: للحصول على نماذج بمستويات تخلخل مختلفة، تتطلب الطرق المحلية عمليات تقليم مستقلة ومنفصلة لكل نسبة مستهدفة.

2. المنهجية: GISP (التقليم المهيكل التكراري العالمي)

يقترح المؤلفون GISP، وهو إطار عمل للتقليم المهيكل بعد التدريب ينتقل من إعادة البناء المحلي إلى التحسين العالمي المتوافق مع الخسارة.

المكونات الأساسية:

مقياس الأهمية العالمي:
- بدلاً من إعادة البناء على مستوى الطبقة، يحدد GISP الأهمية بناءً على توسع تايلور من الدرجة الأولى لخسارة النموذج العالمي ( $L$ ) بالنسبة لاضطراب الأوزان.
- درجة الأهمية للوزن $W_{ij}$ هي: $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$ .
- المواءمة مع المهمة: يمكن استبدال دالة الخسية $L$ . لنمذجة اللغة، يستخدم "الارتباك" (Cross-Entropy). وللمهام القائمة على اتخاذ القرار (مثل الأسئلة والأجوبة)، يستخدم خسارة قائمة على الهامش (Margin-based Loss) للحفاظ على حدود القرار بين الإجابات الصحيحة والخاطئة.
جدول التقليم التكراري:
- المشكلة: التقليم العالمي "الخبطة الواحدة" (إزالة جميع الأوزان دفعة واحدة) غير مستقر ويسبب انهيار الدقة عند التخلخل العالي.
- الحل: يقوم GISP بالتقليم بشكل تكراري. حيث يطبق نسبة تقليم صغيرة ( $\rho_k$ ) في كل خطوة $k$ عبر $n$ من التكرارات، مما يزيد تدريجياً من التخلخل الإجمالي للوصول إلى النسبة المستهدفة $\rho$ .
- التطبيع (Normalization): للتعامل مع عدم التوازن حيث تمتلك كتل الانتباه (Attention blocks) غالباً درجات أهمية أعلى من كتل MLP، يقوم GISP بتطبيع الدرجات بشكل منفصل داخل هياكل Attention وMLP قبل التصنيف العالمي.
سير عمل "قلم مرة واحدة، انشر لمرات عديدة":
- نظرًا لأن GISP تكراري، فإنه ينتج طبيعيًا بنية شبكة فرعية متداخلة (nested subnetwork). فالنموذج المقلص إلى تخلخل 20% هو مجموعة جزئية من النموذج المقلص إلى 30%، والذي بدوره مجموعة جزئية من نموذج الـ 50%.
- يسمح هذا بإجراء عملية تقليم واحدة لإنتاج "جبهة باريتو" (Pareto frontier) من النماذج بمستويات تخلخل مختلفة، مما يلغي الحاجة إلى عمليات تقليم مستقلة متعددة.

3. المساهمات الرئيسية

إعادة النظر في التقليم العالمي: يثبت أن التقليم العالمي، عندما يتم تنفيذه بشكل تكراري وبعد التدريب، يتفوق على التقليم المحلي في كل من "الارتباك" والدقة في المهام اللاحقة، خاصة عند التخلخل العالي (40-50%).
التقليم الخاص بالمهمة: يقدم آلية لتحديد الأهمية مباشرة عبر دالات خسارة خاصة بالمهمة (مثل خسارة الهامش لمهام الأسئلة والأجوبة)، مما يسد الفجوة بين الضغط العام والتحسين المتوافق مع المهمة.
الكفاءة عبر الشبكات الفرعية المتداخلة: يضع سير عمل "مرة واحدة للكل" حيث تنتج عملية تقليم تكرارية واحدة عدة نماذج قابلة للاستخدام عند مستويات تخلخل مختلفة، مما يقلل التكلفة الحوسبية للتكرار.
المتانة: يظهر أن GISP يظل فعالاً حتى مع تقليل ميزانيات المعايرة بشكل كبير (وصولاً إلى 1% من عدد الرموز القياسي).

4. النتائج التجريبية

قيم المؤلفون GISP على نماذج Llama2-7B/13B، Llama3-8B، Mistral-0.3-7B، DeepSeek-R1-Distill-Llama-3-8B، و Qwen3-8B.

الارتباك (WikiText-2): يحقق GISP باستمرار "ارتباكاً" أقل من النماذج المحلية المرجعية (Wanda, LLM-Pruner, FLAP, OWL). عند تخلخل 50%، تعاني الطرق المحلية غالباً من "انهيار الارتباك" (PPL > 100)، بينما يحافظ GISP على ارتباط تنافسي (مثلاً، ~64 لـ Llama2-7B مقابل ~81 لـ Wanda).
الدقة في المهام اللاحقة (CMQA):
- يتفوق GISP على جميع النماذج المرجعية عبر جميع النماذج ومستويات التخلخل.
- مكسب التوافق مع المهمة: استخدام بيانات CMQA للمعايرة وخسارة قائمة على الهامش يعزز الدقة بشكل كبير مقارًا باستخدام بيانات C4 العامة. على سبيل المثال، في Llama2-13B عند تخلخل 40%، يحقق GISP (Margin) دقة 63.34% مقابل 59.11% لـ Wanda.
مهام الاستنتاج (GSM8K):
- في DeepSeek-R1 وQwen3، تؤدي المعايرة المتوافقة مع المهمة (باستخدام بيانات GSM8K) إلى تحسين الأداء بشكل جذري. بينما تنهار دقة Wanda-sp إلى 0% في DeepSeek-R1 عند تخلخل 20% باستخدام معايرة عامة، يحقق GISP مع معايرة المهمة 67.93%.
الكفاءة:
- رغم أن GISP لديه وقت تشغيل إجمالي أعلى بسبب التكرارات، إلا أن الوقت المستنفد لكل نموذج قابل للاستخدام أقل من الطرق المحلية لأنه ينتج أكثر من 112 شبكة فرعية قابلة للاستخدام في عملية واحدة، بينما تنتج الطرق المحلية نموذجًا واحدًا فقط لكل عملية.
- تظهر النماذج المقلصة تسريعًا ملحوظًا في الاستنتاج (تصل إلى 1.7x في سرعة الـ prefill) وتقليلًا في الذاكرة (حتى 45% عند تخلخل 50%).

5. الأهمية والأثر

تحول في النموذج المعرفي: تتحدى الورقة هيمنة التقليم القائم على إعادة البناء المحلي، وتثبت أن التقليم العالمي المتوافق مع الخسارة هو الأفضل لنماذج اللغات الكبيرة عند تنفيذه بشكل تكراري.
النشر العملي: قدرة "التقليم مرة واحدة، والنشر لمرات عديدة" ذات قيمة عالية للنشر على الحافة (Edge deployment)، مما يسمح بتكييف ملف نموذج واحد ديناميكيًا مع قيود الأجهزة المختلفة دون الحاجة لإعادة التقليم.
التكيف مع المهام: يوفر إطار عمل قوي لتكييف نماذج اللغات الكبيرة مع مجالات محددة (مثل الطب أو الرياضيات) دون الحاجة لضبط دقيق كامل، فقط عبر تغيير بيانات المعايرة ودالة الخسارة أثناء مرحلة التقليم.
كفاءة الموارد: من خلال إثبات المتانة مع الحد الأدنى من بيانات المعايرة، يخفض GISP الحاجز أمام تطبيق التقليم المهيكل على النماذج الكبيرة في البيئات محدودة الموارد.

ختامًا، يقدم GISP بديلاً بسيطًا وقويًا لطرق التقليم الحالية، حيث يوفر دقة أعلى، واستقرارًا أكبر عند التخلخل العالي، ومرونة أكبر للنشر المتوافق مع المهام.