Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment

إليك ملخص تقني مفصل لورقة البحث بعنوان "نحو تقييم أهمية الأوزان الهجين ذو الحبيبات المتعددة لتقليم النماذج اللغوية الكبيرة التكيفي" (HyWIA).

1. بيان المشكلة

توفر النماذج اللغوية الكبيرة (LLMs) قدرات لا مثيل لها، لكنها تعاني من تكاليف حوسبة ومتطلبات ذاكرة عالية، مما يعيق نشرها في البيئات محدودة الموارد. وبينما يعد التقليم المهيكل (Structured Pruning) -أي إزالة صفوف أو أعمدة أو كتل كاملة من الأوزان- تقنية ضغط شائعة، فإن الطرق الحالية تواجه قيداً حرجاً:

• تحيز الحبيبات الأحادية: تعتمد طرق التقليم المهيكل الحالية على حبيبات أحادية (إما دقيقة للغاية أو خشنة للغاية) لتقييم أهمية الوزن.
• أنماط التناثر المتباعدة: تُظهر الأدلة التجريبية أن التقليم دقيق الحبيبات (مثل SparseGPT وWanda) والتقليم خشن الحبيبات (مثل LLM-Pruner) ينتجان توزيعات تناثر مختلفة جذرياً عبر الطبقات.
  • تميل الطرق دقيقة الحبيبات إلى الحفاظ على الأوزان في الطبقات الأولى (الحاسمة لاستخراج الميزات) ولكنها تقوم بالتقليم بكثافة في الطبقات اللاحقة.
  • بينما تفعل الطرق خشنة الحبيبات العكس غالباً، حيث تحافظ على الطبقات اللاحقة (الحاسمة للسياق الدلالي) بينما تقوم بتقليم الطبقات الأولى.
• فجوة الأداء: الاعتماد على منظور واحد فقط يؤدي إلى استبقاء دون المستوى من الأداء في المهام النهائية لأن ذلك يفشل في التقاط كل من مساهمة الأوزان الفردية (القيم المتطرفة) والتأثير الشمولي لمجموعات الأوزان.

2. المنهجية: تقييم أهمية الأوزان الهجين ذو الحبيبات المتعددة (HyWIA)

يقترح المؤلفون HyWIA، وهو إطار عمل مبتكر يدمج بشكل تكيفي بين تقييمات الأهمية دقيقة الحبيبات وخشنة الحبيبات باستخدام آلية الانتباه (Attention Mechanism). تتكون العملية من ثلاث مراحل أساسية:

أ. خطوة التجميع (Grouping Step)

قبل عملية التقليم، تقوم الطريقة بإنشاء هياكل تبعية داخل النموذج اللغوي الكبير. وهي تحدد الروابط بين الخلايا العصبية ($N_i, N_j$) بناءً على:

1. الروابط المباشرة ($w_{ij}$).
2. روابط المسار (حاصل ضرب الأوزان على طول جميع المسارات بين الخلايا العصبية).
3. عدم وجود اتصال (0).
   يسمح هذا للنموذج بتقدير الأهمية على مستوى المجموعة الهيكلية وعلى مستوى العنصر الفردي على حد سواء.

ب. تقييم أهمية الأوزان الهجين ذو الحبيبات المتعددة (الجوهر)

بدلاً من اختيار مقياس واحد، تقوم HyWIA بحساب درجات الأهمية لكلا مستويات الحبيبات ودمجهما ديناميكياً:

1. تقدير التدرج (Gradient Estimation):
   • دقيق الحبيبات: يحسب التدرجات للأوزان الفردية باستخدام توسيع سلسلة تايلور (تقريب مصفوفة هيسي عبر مصفوفة معلومات فيشر).
   • خشن الحبيبات: يحسب التدرجات لكتل/طبقات/مجموعات كاملة.
2. الدمج التكيفي عبر الانتباه:
   • تستخدم الطريقة نموذج دمج انتباه خالٍ من التدريب (Training-free Attention Fusion Model).
   • المدخلات: التدرجات دقيقة الحبيبات ($Q$) والتدرجات خشنة الحبيبات ($K, V$).
   • الآلية: تقوم التحويلات الخطية برسم خرائط لهذه التدرجات إلى بُعد موحد. تقوم آلية الانتباه بحساب الأوزان ($\alpha$) بناءً على الارتباط بين نوعي التدرجات لعينات مدخلة محددة.
   • الدمج: درجة الأهمية النهائية هي مجموع مرجح:
     $$\text{Fused Score} = \alpha \cdot \text{FineGrained} + (1-\alpha) \cdot \text{CoarseGrained}$$
   • الميزة الرئيسية: عامل الوزن $\alpha$ هو عامل ديناميكي. فهو يتكيف تلقائياً بناءً على بيانات المدخلات وهيكل الطبقة المحدد، مما يسمح للنموذج بإعطاء الأولوية للتفاصيل دقيقة الحبيبات عند الضرورة والهياكل خشنة الحبيبات في أماكن أخرى، دون الحاجة إلى تدريب بارامترات إضافية.

ج. خطوة الضبط الدقيق (Fine-tuning Step)

بعد التقليم، يخضع النموذج لضبط دقيق باستخدام LoRA (Low-Rank Adaptation). تستخدم هذه الخطوة تفكيك الرتبة المنخفضة ($m_0 + \Gamma\beta$) لاستعادة الأداء بسرعة وبأقل قدر من البيانات، مع إبقاء الأوزان الأصلية مجمدة.

3. المساهمات الرئيسية

1. الاكتشاف التجريبي: حدد المؤلفون أن التقليم خشن الحبيبات ودقيق الحبيبات يولدان توزيعات تناثر مختلفة جوهرياً عبر طبقات النماذج اللغوية الكبيرة، مما يفسر سبب تراجع أداء طرق الحبيبات الأحادية مقارنة بالتقليم غير المهيكل.
2. إطار عمل HyWIA: تقديم أول طريقة تقييم هجينة الحبيبات للنماذج اللغوية الكبيرة. وهي تدمج بشكل تكيفي المقاييس الدقيقة والخشنة باستخدام آلية الانتباه، مما يلغي الحاجة إلى ضبط المعاملات الفائقة يدوياً لنسبة الدمج.
3. التكيف الخالي من التدريب: تعتمد آلية الدمج على تدرجات المدخلات وأوزان الانتباه بدلاً من البارامترات المتعلمة، مما يجعلها فعالة حوسبياً وقابلة للتكيف مع ظروف المدخلات المتنوعة.
4. التقييم الشامل: تُظهر التجارب المكثفة عبر نماذج متعددة (LLaMA-1/2, Vicuna, Baichuan, Bloom) ومهام قياسية مدى قوة الطريقة.

4. النتائج التجريبية

تقيم الورقة HyWIA على نماذج LLaMA-7B، LLaMA-13B، Vicuna-7B، Baichuan-7B، و Bloom-7b1 عبر معدلات تقليم مختلفة (20%، 50%).

• مكاسب الأداء:
  • في نموذج LLaMA-7B مع معدل تقليم 50%، تتفوق HyWIA على الحالة الراهنة (SOTA) وهي LLM-Pruner بمتوسط 2.82% عبر سبع مهام نهائية (BoolQ, PIQA, HellaSwag, إلخ).
  • كما تتفوق على LoRAPruner بنسبة 2.09%.
  • تحقق HyWIA أدنى درجة في الارتياب (Perplexity - PPL) على معايير WikiText2 و PTB مقارنة بالطرق الأخرى عند تقليم 50%.
• توزيع التناثر: تُظهر التصورات (الشكل 3) أن HyWIA تحقق توزيعاً أكثر توازناً للمعاملات عبر الطبقات مقارنة بالتوزيعات المنحرفة للطرق دقيقة الحبيبات أو خشنة الحبيبات الصرفة.
• الكفاءة:
  • تستهلك شبكة الدمج التكيفي ذاكرة ضئيلة جداً (1.04 ميجابايت – 3.00 ميجابايت) ووقتاً قصيراً (~0.014 ثانية) على وحدة معالجة رسومات NVIDIA A6000.
  • تُظهر النماذج المقلمة انخفاضات كبيرة في عمليات MACs (عمليات الضرب والتراكم) وزمن التأخير مع الحفاظ على دقة عالية.
• دراسات الاستئصال (Ablation Studies):
  • التكيفي مقابل الثابت: التفوق في الدمج التكيفي على الدمج بنسبة ثابتة بنسبة ~1.4% في الدقة.
  • التجميع: يتفوق التقليم المجمع بشكل كبير على التقليم غير المجمع.
  • حجم العينة: يتحسن الأداء مع زيادة عدد مطالبات العينات (حتى 50) المستخدمة لتقدير التدرج.

5. الأهمية

تعالج هذه الورقة عنق زجاجة أساسي في ضغط النماذج اللغوية الكبيرة: المقايضة بين الكفاءة الهيكلية (خشنة الحبيبات) واستبقاء الأداء (دقيقة الحبيبات). من خلال تقديم HyWIA، يقدم المؤلفون حلاً:

• يسد الفجوة: يجمع بفعالية بين نقاط القوة لكلا المستويين من الحبيبات، مدركاً أن الطبقات وسياقات المدخلات المختلفة تتطلب تقييمات مختلفة للأهمية.
• يمكّن النشر: ينتج نماذج متناثرة مهيكلة وصديقة للأجهزة، وهي أصغر وأسرع بكثير دون الانخفاض الحاد في الدقة الذي يصاحب عادةً التقليم المهيكل العنيف.
• القدرة على التعميم: الطريقة مستقلة عن النموذج وقد تم التحقق منها عبر بنيات متنوعة (Decoder-only LLMs)، مما يشير إلى إمكانية اعتمادها كنهج قياسي لمهام ضغط النماذج اللغوية الكبيرة في المستقبل.

باختصار، تمثل HyWIA تحولاً من التقليم الساكن ذي المنظور الواحد إلى التقليم الهجين الديناميكي المدرك للسياق، مما يضع معياراً جديداً للأداء العالي في نشر النماذج اللغوية الكبيرة بكفاءة.