🤖 AI

GRASPrune: Global Gating for Budgeted Structured Pruning of Large Language Models

تُعد GRASPrune إطار عمل للتقليم الهيكلي يعمل على تقليل قنوات شبكات التغذية الأمامية (FFN) ومجموعات رؤوس مفاتيح الاستعلام والقيم (KV) في النماذج اللغوية الكبيرة بشكل مشترك تحت ميزانية عالمية، وذلك عبر تعلم درجات بوابة خفيفة الوزن باستخدام مُقدّر تمرير مباشر مسقّط لفرض أقنعة صلبة أثناء التدريب، يليه معايرة القياس لإنتاج نقاط تفتيش كثيفة أصغر وأكثر كفاءة دون الحاجة إلى ضبط دقيق كامل للنموذج.

المؤلفون الأصليون: Ziyang Wang, Jiangfeng Xiao, Chuan Xiao, Ruoxiang Li, Rui Mao, Jianbin Qin

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyang Wang, Jiangfeng Xiao, Chuan Xiao, Ruoxiang Li, Rui Mao, Jianbin Qin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة، فائقة الذكاء (نموذج لغوي كبير مثل LLaMA). هذه المكتبة ذكية للغاية، لكنها أيضاً ضخمة جداً. إنها تشغل مستودعاً عملاقاً (الذاكرة)، وعندما تسألها سؤالاً، يتعين عليها المرور عبر آلاف الممرات للعثور على الإجابة، مما يستغرق وقتاً طويلاً (زمن الاستجابة/Latency).

تشغيل هذه المكتبة مكلف. فأنت بحاجة إلى حواسيب قوية ومكلفة فقط لإبقاء الأضواء مشتعلة.

المشكلة:
تريد تقليص حجم المكتبة لجعل تشغيلها أرخص وأسرع. ولكن إذا قمت ببساطة برمي الكتب (المعلمات/Parameters) بشكل عشوائي، فستفقد المكتبة منطقها وتصبح فوضى مشوشة.

الطرق الحالية لتقليص المكتبات عادة ما تفعل أحد أمرين:

نهج "طبقة تلو الأخرى": ينظرون إلى كل طابق في المكتبة ويقررون: "حسناً، سنحذف 10% من الكتب في هذا الطابق، و10% في ذلك الطابق". لكن هذا النهج جامد. فقد يكون الطابق الثالث مليئاً بالخردة عديمة الفائدة، بينما يحمل الطابق الرابع أهم الأسرار. لذا فإن القص المتساوي ليس فكرة جيدة.
نهج "التقييم أولاً ثم القص لاحقاً": يقومون بتقييم كل كتاب ومدى أهميته، ثم يحاولون وضع أفضل الكتب في صندوق أصغر. ولكن بحلول الوقت الذي يحاولون فيه ملاءمة الكتب، يدركون أنهم اختاروا كتباً ثقيلة جداً ولم يختاروا ما يكفي من الكتب الخفيفة. لذا يضطرون للعودة وإعادة ترتيب كل شيء، وهو أمر يستغرق وقتاً طويلاً جداً.

الحل: GRASPrune
ابتكر مؤلفو هذه الورقة البحثية طريقة جديدة تسمى GRASPrune. اعتبرها بمثابة مدير ميزانية ذكي وشامل لمكتبتك.

إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. "الميزانية الشاملة" (المحفظة)

بدلاً من إعطاء كل طابق ميزانية محددة، تعطي GRASPrune المكتبة بأكملها محفظة واحدة.

بعض الكتب ثقيلة (مثل قنوات FFN — أجزاء "التفكير" في النموذج).
وبعض الكتب خفيفة لكنها تشغل مساحة على الرفوف (مثل رؤوس KV — أجزاء "الذاكرة" في النموذج).
الهدف هو الحفاظ على ذكاء المكتبة قدر الإمكان مع البقاء ضمن حد الوزن الإجمالي للمحفظة.

2. "الحارس الذكي" (Projected STE)

هذه هي الخدعة السحرية.

الطريقة القديمة: تسأل كل كتاب: "ما مدى أهميتك؟" وتدون درجة لكل منها، ثم تحاول اختيار الأفضل.
طريقة GRASPrune: تضع حارساً عند الباب. بينما تتعلم المكتبة أي الكتب مهمة، يقوم الحارس فوراً بفحص المحفظة.
- إذا كان اختيار كتاب ثقيل سيؤدي إلى كسر الميزانية، يقول الحارس: "لا، لا يمكنك الدخول بعد"، حتى لو كان الكتاب مهماً.
- هذا يجبر المكتبة على التعلم أثناء احترام الميزانية. الأمر يشبه تدريب عداء وهو يرتدي حقيبة ظهر ثقيلة؛ فهو يتعلم الجري بكفاءة مع الوزن، وليس فقط بعد نزع الحقيبة.

3. "مقبض الضبط" (Scaling Calibration)

بمجرد أن يقرر الحارس أي الكتب ستبقى وأيها ستذهب، قد تبدو المكتبة "غير متزنة". الكتب المتبقية قد تصرخ بصوت عالٍ جداً أو بهدوء شديد مقارنة بالإعداد الأصلي.

تضيف GRASPrune مقبض تحكم في الصوت (عامل قياس) صغيراً للكتب التي بقيت.
تقوم برفع أو خفض الصوت بما يكفي لتعمل الكتب المتبقية معاً بشكل مثالي.
الأمر الجوهيد: أنها تقوم بعد ذلك بدمج مقبض التحكم هذا داخل الكتب نفسها. لذا، عندما تستخدم المكتبة فعلياً لاحقاً، لن تحتاج إلى المقابض. سيكون لديك فقط مكتبة أصغر، مضبوطة بدقة، وبدون أي أعباء إضافية.

لماذا يعد هذا أمراً مهماً؟

إنه سريع: لا يحتاج إلى إعادة قراءة المكتبة بأكملها أو تدريب معلم جديد. بل يقوم فقط بفحص سريع عبر عينة صغيرة من النصوص (حوالي 6 دقائق على حاسوب قوي).
إنه متوازن: لا يقتصر الأمر على قص أجزاء "التفكير" أو أجزاء "الذاكرة" فقط. بل يقطع المزيج الصحيح من كليهما لتوف توفير أكبر مساحة بأقل قدر من فقدان الذكاء.
إنه فعال: عندما اختبروه على نموذج بـ 7 مليارات معلمة (LLaMA-2-7B)، قاموا بقطع 50% من الحجم (نصف الكتب!) وظلت المكتبة لا تزال ذكية تقريباً مثل النسخة الأصلية. لا تزال قادرة على كتابة القصص، والإجابة على الأسئلة، وحل الألغاز بقدر يضاهي النسخة العملاقة تقريباً.

باختفيذ شديد:
GRASPrune تشبه توظيف أمين مكتبة فائق الكفاءة، لا يكتفي برمي الكتب عشوائياً، بل ينظر إلى المبنى بأكمله، ويدير ميزانية صارمة، ويقرر بالضبط أي الكتب يجب الاحتفاظ بها وأيها يجب التخلص منه، لضمان بقاء المكتبة صغيرة، سريعة، ورخيصة التشغيل، دون فقدان عبقريتها.

إليك ملخص تقني مفصل لورقة البحث GRASPrune: Global Gating for Budgeted Structured Pruning of Large Language Models.

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة في النشر بسبب استهلاك الذاكرة العالي وزمن الاستجابة (latency). وتعود هذه التكاليف إلى:

عدد المعلمات (Parameter Count): الحجم الهائل لأوزان النموذج.
ذاكرة التخزين المؤقت (KV Cache): الذاكرة المطلوبة لتخزين أزواج (Key-Value) أثناء الاستنتاج، والتي تنمو خطياً مع طول التسلسل.

غالباً ما تعاني طرق التقليم الهيكلي (structured pruning) الحالية من ثلاث عيوب رئيسية:

التقليم المنفصل (Decoupled Pruning): تقوم عادةً بتقليم قنوات الشبكة الأمامية (FFN) ومجموعات رؤوس (KV head groups) بشكل منفصل، متجاهلة أن كليهما يتنافس على نفس ميزانية النشر العالمية.
التخصيص القائم على الاستدلال (Heuristic Allocation): تستخدم العديد من الطرق جداول ندرة ثابتة لكل طبقة أو قواعد تعتمد على العمق بدلاً من تعلم استراتيجية تخصيص عالمية واحدة.
الترتيب أولاً، ثم الاختيار لاحقاً (Score-First, Select-Later): تتعلم معظم المسارات درجات الأهمية دون قيود، ثم تطبق الميزانية فقط بعد التدريب. هذا يفصل هدف التعلم عن الاختيار المنفصل النهائي، مما يؤدي غالباً إلى تخصيصات غير مثالية أو يتطلب إعادة بناء/ضبط دقيق مكلف.

2. المنهجية: GRASPrune

يقترح GRASPrune إطار عمل للتقليم الهيكلي بميزانية عالمية يقوم بتقليم قنوات FFN ومجموعات رؤوس KV بشكل مشترك تحت قيد موارد واحد مع إبقاء أوزان الهيكل الأساسي مجمدة.

المكونات الأساسية:

صياغة الميزانية العالمية:
- تتم صياغة المشكلة كتحسين مقيد: $\min L(\theta; z)$ بشرط $\sum c_i z_i \leq B$ ، حيث $z$ هو قناع ثنائي، و $c_i$ هي تكلفة الوحدة $i$ ، و $B$ هي الميزلة الإجمالية.
- نموذج التكلفة: يتم استخدام نموذج تكلفة ثنائي المستوى. قنوات FFN لها تكلفة وحدة قدرها 1. مجموعات رؤوس KV لها تكلفة $\alpha$ مشتقة من بصمتها في المعلمات (مما يقرب نسبة إسقاطات KV إلى إسقاطات FFN). يسمح هذا لوحدات FFN و KV بالتنافس بإنصاف تحت ميزانية عالمية واحدة.
تدريب المقدر المباشر المتوقع (Projected Straight-Through Estimator - STE):
- بدلاً من تعلم درجات غير مقيدة ثم ترتيبها لاحقاً، يفرض GRASPrule قيد الميزانية عند كل خطوة تحسين.
- التمرير الأمامي (Forward Pass): يتم إسقاط احتمالات البوابة المستمرة $p$ إلى قناع ثنائي صلب $m$ يلبي الميزانية. يتم ذلك عن طريق ترتيب الوحدات حسب $p$ واختيار الوحدات العليا حتى استنفاد الميزانية.
- التمرير الخلفي (Backward Pass): يتم تمرير الاشتقاقات عبر الاحتمالات الناعمة $p$ باستخدام المقدر المباشر (STE)، حيث يتم التعامل مع القناع الصلب كدالة محايدة لتدفق الاشتقاق. يضمن هذا تحسين الدرجات المتعلمة خصيصاً لقاعدة الاختيار المستخدمة أثناء النشر.
معايرة القياس (Scaling Calibration):
- بعد تثبيت القناع، تقوم مرحلة معايرة خفيفة الوزن بتعديل عوامل القياس ( $\gamma$ ) للوحدات المتبقية للتخفيف من عدم تطابق المقاييس الناتج عن التقليم.
- يتم دمج هذه العوامل في الأوزان المقلمة، مما ينتج عنه نسخة كثيفة أصغر حجماً بدون معلمات إضافية أو عبء إضافي على الاستنتاج.

3. المساهمات الرئيسية

صياغة عالمية موحدة: أول إطار عمل يعامل تقليم قنوات FFN وتقليم مجموعات رؤوس KV كمسألة اختيار عالمية واحدة ذات تكاليف وحدات متباينة، مع تحسين قناع واحد تحت قيد ميزانية واحدة.
تدريب ملائم للميزانية: يقدم حلقة تدريب (Projected STE) حيث يكون قيد الميزانية نشطاً أثناء التدريب. هذا يمنع عدم التطابق "الترتيب أولاً، ثم الاختيار لاحقاً" ويضمن أن التخصيص المتعلم يتماشى مباشرة مع القناع القابل للنشر.
توليد نقاط فحص كثيفة فعالة: يحقق ضغطاً عالياً دون الحاجة إلى ضبط دقيق كامل للنموذج أو تقطير معرفي متخصص للمهام. تتعلم الطريقة فقط بوابات قياسية (scalar gates) على مجموعة معايرة صغيرة غير مصنفة (512 تسلسلاً) وتنتج نموذجاً كثيفاً قياسياً جاهزاً للنشر.

4. النتائج التجريبية

تم تقييم الطريقة بشكل أساسي على LLaMA-2-7B ومقارنتها مع خطوط الأساس المتطورة مثل LLM-Pruner و SliceGPT و FLAP.

الأداء عند الضغط العالي:
- عند الاحتفاظ بـ 50% من المعلمات، يحقق GRASPrune درجة إرباك (perplexity) لـ WikiText-2 تبلغ 12.18، متفوقاً بشكل كبير على الخطوط المرجعية (على سبيل المثال، FLAP: 24.80، SliceGPT: 26.10).
- عند الاحتفاظ بـ 40%، يحافظ على إرباك قدره 16.65، بينما تتدهور الخطوط المرجعية بشكل حاد (على سبيل المثال، LLM-Pruner: 2724.8).
- يحافظ على دقة متوسطة تنافسية عبر خمسة اختبارات معيارية (ARC, HellaSwag, PIQA, إلخ) حتى عند الندرة العالية.
الكفاءة والقابلية للتوسع:
- وقت التدريب: تستغرق العملية بأكملها (4 دورات لتعلم البوابة + المعايرة) حوالي 6 دقائق على وحدة معالجة رسوميات واحدة من نوع NVIDIA A100 80GB.
- الذاكرة والإنتاجية: يقلل تقليم رؤوس KV من ذاكرة KV-cache وذروة ذاكرة الـ prefill بشكل تناسبي تقريباً مع تقليل المعلمات، مما يتيح أطوال سياق أطول أو أحجام دفعات أكبر. تتحسن الإنتاجية (tokens/sec) بشكل كبير، خاصة عند أحجام الدفعات الكبيرة.
التعميم:
- تتعمم الطريقة بشكل جيد على عائلات النماذج الأحدث، بما في ذلك LLaMA-3.1-8B و Qwen3-8B و Qwen3-14B، متفوقة باستمرار على FLAP في متوسط الدقة في المهام النهائية.

5. الأهمية

يعالج GRASPrune فجوة حرجة في ضغط النماذج اللغوية الكبيرة من خلال إثبات أن البوابات العالمية المدركة للميزانية تتفوق على استراتيجيات التقليم لكل طبقة أو المنفصلة.

النشر العملي: ينتج نموذجاً كثيفاً قياسياً يمكن خدمته باستخدام البنية التحتية الحالية دون الحاجة إلى نوى (kernels) مخصصة أو معلمات إضافية.
كفاءة التكلفة: يلغي الحاجة إلى الضبط الدقيق الكامل المكلف أو تقطير المعرفة، مما يجعل التقليم الهيكلي متاحاً وفعالاً.
تحسين KV Cache: من خلال تقليم رؤوس KV صراحةً ضمن الميزانية العالمية، فإنه يعالج مباشرة اختناق الذاكرة المرتبط بالاستنتاج طويل السياق، وهو أمر غالباً ما يتم تجاهله في الطرق التي تركز فقط على عدد المعلمات.

باختصار، يقدم GRASPrune آلية بسيطة وسريعة وفعالة للغاية لضغط النماذج اللغوية الكبيرة مع الحفاظ على قدرات النمذجة اللغوية الجوهرية، لا سيما في حالات الضغط العالي.