Sparsity Induction for Accurate Post-Training Pruning of Large Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Sparsity Induction for Accurate Post-Training Pruning of Large Language Models" (تحفيز التناثر من أجل تقليم دقيق لنماذج اللغات الكبيرة بعد التدريب).

1. بيان المشكلة

تواجه نماذج اللغات الكبيرة (LLMs) تحديات كبيرة تتعلق بالتكلفة الحسابية، واستهلاك الذاكرة، وزمن الاستجابة بسبب أحجام معاملاتها الضخمة. يُعد التناثر بعد التدريب (Post-Training Sparsity - PTS) تقنية ضغط شائعة تعمل على إزالة الأوزان من الشبكات الكثيفة دون الحاجة إلى إعادة تدريب كاملة. ومع ذلك، تواجه طرق PTS الحالية قيوداً حرجة:

• الافتقار إلى التناثر الطبيعي: لا تُظهر مصفوفات الأوزان الكثيفة في نماذج LLM تناثراً عالياً بشكل طبيعي.
• الاضطراب التوزيعي: يؤدي التقليم الساذج (مثل التقليم القائم على المقدار/magnitude-based) إلى تعطيل الهياكل التوزيعية والقياسية المتسقة ذاتياً التي تم تأسيسها أثناء التدريب. يؤدي هذا إلى عدم توازن في مقاييس القنوات البينية وإزالة الميزات الحرجة، مما يسبب تدهوراً شديداً في الدقة حتى مع ضبط ما بعد التقليم.
• تناقص العوائد: تركز النهج الحالية على تحسين "درجات الأهمية" (مثل SparseGPT وWanda) لاختيار الأوزان المراد الإبقاء عليها. ومع ذلك، تحقق هذه الطرق مكاسب هامشية لأنها لا تعالج المشكلة الجوهرية وهي أن التوزيع الأساسي للنموذج ليس "صديقاً للتناثر".

2. المنهجية: تحفيز التناثر (Sparsity Induction - SI)

يقترح المؤلفون إطار عمل تحفيز التناثر (SI)، وهو إطار يعمل على إعادة تشكيل توزيع أوزان النموذج وهيكل الميزات بشكل استباقي قبل عملية التقليم. الهدف هو جعل النموذج أكثر قابلية للتناثر بطبيعته دون إضافة عبء على زمن الاستجابة أثناء الاستدلال. يعمل SI على مستويين متكاملين:

أ. التحفيز على مستوى التوزيع

قدم المؤلفون تحويلات قياسية مكافئة رياضياً لإعادة تشكيل إحصائيات الأوزان دون تغيير وظيفة النموذج.

• الآلية: يتم تطبيق عوامل قياس (scaling factors) لكل قناة ($s$) وعوامل إزاحة ($\delta$) قابلة للتعلم على الطبقات الخطية وآليات الانتباه.
  • للطبقات الخطية: يتم إعادة صياغة $Y = WX + b$ لتصبح $Y = S^{-1}(X-\delta)(WS) + (b+W\delta)$.
  • للانتباه: يتم تطبيق القياس العكسي على الاستعلامات ($Q$) والمفاتيح ($K$) للحفاظ على لوجيتات الانتباه ($QK^T$).
• الاستيعاب (Absorbability): يتم تدريب عوامل القياس هذه على مجموعة معايرة صغيرة ثم يتم دمجها (folding) مرة أخرى في مصفوفات الأوزان. يضمن هذا عدم وجود معاملات إضافية وعدم وجود عبء إضافي على زمن الاستدلال.
• الهدف: يعمل التحسين على تقليل تشوه المخرجات الناتج عن قناع التقليم (pruning mask) على المدخلات المحولة، مما يؤدي فعلياً إلى "التكيف المسبق" للنموذج مع عملية التقليم.

ب. التحفيز على مستوى الميزة

لضمان التقارب المستقر وتعزيز تناثر الميزات، قدم المؤلفون خسارة المعيار الطيفي (Spectral Norm Loss).

• التهيئة القوية: يتم تهيئة عوامل القياس باستخدام الإحصائيات القوية (الوسيط والمتوسط) لمخرجات القنوات من بيانات المعايرة.
• التنظيم (Regularization): يتم إضافة منظم من نمط المعيار الطيفي ($R_p$) إلى دالة الخسارة. يشجع هذا على وجود هيكل منخفض الرتبة (low-rank structure) في الأوزان، مما يعزز تناثر الميزات من منظور طيفي.
• دالة الخسارة: تجمع الخسارة الإجمالية بين متوسط مربع الخطأ (MSE) لإعادة بناء المخرجات والمنظم الطيفي:
  $$L_{total} = L_{MSE} + \lambda R_p$$

ج. الكفاءة: تحديث هسيان سريع (Fast Hessian Update)

لتسريع عملية التحسين، اقترح المؤلفون آلية تحديث هسيان سريع.

• بدلاً من حساب التنشيطات بشكل متكرر، يقومون بتقريب الهسيان (الانحناء) باستخدام مصفوفة التغاير للمدخلات ($\Sigma_X$).
• عندما يتم تحديث عوامل القياس، يتم تحديث نموذج الهسيان في وقت ثابت ($O(d_{in})$) باستخدام الأقطار المخزنة مؤقتاً، بدلاً من إعادة حساب عمليات التمرير الأمامي الكاملة.
• يؤدي هذا إلى تسريع بمقدار 22.65 ضعفاً في خطوة تحديث المقاييس مقارنة بطرق إعادة الحساب الكلاسيكية.

3. المساهمات الرئيسية

1. مفهوم تحفيز التناثر: نموذج جديد يفرض التناثر في النموذج الأصلي قبل التقليم عن طريق إعادة تشكيل التوزيعات والميزات، بدلاً من مجرد اختيار الأوزان.
2. إطار عمل ثنائي المستوى: طريقة تجمع بين القياس التوزيعي (التحويلات القابلة للاستيعاب) والتنظيم الطيفي على مستوى الميزة لتعظيم أداء التقليم.
3. تصميم بدون عبء إضافي: تستخدم الطريقة فقط مجموعة صغيرة من المعاملات القابلة للتدريب على بيانات المعايرة، والتي يتم دمجها في أوزان النموذج، مما يضمن عدم وجود تأخير في وقت التشغيل أو عقوبة في الذاكرة.
4. تحسين فعال: تصميم خوارزمي لتحديثات هسيان سريعة يقلل بشكل كبير من الوقت المطلوب لمرحلة التحفيز.

4. النتائج التجريبية

تم تقييم الطريقة على 8 نماذج لغوية كبيرة من نوع (decoder-only) من عائلتي OPT وLLaMA (تتراوح من 125 مليون إلى 13 مليار معلمة) عبر مستويات تناثر مختلفة (50%، 2:4، 4:8).

• تقليل التذبذب (Perplexity - PPL): يقلل SI بشكل كبير من تدهور الـ PPL.
  • مثال: في نموذج OPT-1.3B مع تقليم غير مهيكل بنسبة 50%، أدى تقليم المقدار (Magnitude pruning) كخط أساس إلى PPL قدره 1712.82. مع SI، انخفض هذا الرقم إلى 26.39، مما يقترب من أداء النموذج الكثيف.
  • عبر جميع النماذج ومستويات التناثر، خفض SI باستمرار قيمة PPL مقارنة بالنماذج المرجعية (Magnitude, Wanda, SparseGPT).
• دقة الاختبار الصفري (Zero-Shot Accuracy): حسّن SI دقة الاختبار الصفري على ستة اختبارات معيارية (ARC, HellaSwag, إلخ).
  • في LLaMA-7B (تناثر 2:4)، حققت Wanda دقة 45.75%، بينما حقق Wanda+SI دقة 45.71%، وحقق SparseGPT+SI دقة 46.30%، متفوقاً على النموذج الكثيف في بعض التكوينات المحددة أو محافظاً على أداء أقرب بكثير للنموذج الكثيف مقارنة بالتقليم غير المحفز.
• السرعة وزمن الاستجابة:
  • سرعة التدريب: قلل تحديث هسيان السريع وقت تحديث Wanda في LLaMA-7B من 345.91 ثانية إلى 15.27 ثانية (تسريع بمقدار 22.65 ضعفاً).
  • الاستدلال: بما أن عوامل القياس يتم دمجها، فإن SI يضيف صفراً من زمن الاستجابة في وقت التشغيل. حققت النماذج المزودة بـ SI نفس تسريعات الاستدلال للنماذج القياسية (N:M sparsity) (مثل تسريع 1.24× في LLaMA-7B).

5. الأهمية

تعالج هذه الورقة البحثية اختناقاً جوهرياً في ضغط نماذج LLM: عدم التطابق بين توزيعات التدريب الكثيفة ومتطلبات الاستدلال المتناثرة.

• تحول في النموذج الفكري: ينقل التركيز من "اختيار أفضل للأوزان" إلى "تحضير أفضل للنموذج"، مما يشير إلى ضرجة جعل النموذج نفسه صديقاً للتناثر.
• النشر العملي: من خلال ضمان أن الطريقة قابلة للاستيعاب بالكامل ولا تسبب أي عبء إضافي على الاستدلال، فإنها تجعل النماذج عالية التناثر قابلة للتطبيق في عمليات النشر الواقعي على المسرعات العتادية.
• القابلية للتوسع: النهج فعال عبر مختلف أحجام النماذج وبنياتها، مما يوفر حلاً قوياً للجيل القادم من النماذج اللغوية الكبيرة الفعالة.