LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models

ملخص تقني: LEAP: تقليم نماذج اللغات الكبيرة التكيفي القابل للتعلم من طرف إلى طرف

بيان المشكلة
يواجه نشر نماذج اللغات الكبيرة (LLMs) بشكل متزايد عوائق تتعلق بذاكرة الحوسبة والقدرة الحسابية. وبينما يوفر التناثر في الأوزان (weight sparsity) حلاً لذلك، ينقسم المشهد إلى أنظمة مهيكلة، وشبه مهيكلة (مثل 2:4)، وغير مهيكلة. وقد أدت التطورات الأخيرة في نوى وحدات معالجة الرسومات (GPU kernels) (مثل FlashLLM وSpInfer) وأجهزة تدفق البيانات إلى تحويل العائق من تنفيذ التناثر غير المهيكل إلى استحثاثه بأقل قدر من فقدان الدقة.

تعتمد الطرق الحالية لأحدث الوسائل في مجال التقليم غير المهيكل، مثل Wanda وSparseGPT وThanos وADMM، على بدائل لكل طبقة مستمدة من مبدأ "جراح الدماغ الأمثل" (Optimal Brain Surgeon - OBS). تعتمد هذه الطرق على تقليل أخطاء إعادة البناء المحلية بدلاً من تقليل خسارة النموذج من طرف إلى طرف. وبناءً على ذلك، تتراكم الأخطاء المحلية التي تتضاعف في الشبكات العميقة، مما يؤدي إلى تدهور كبير في الدقة، لا سيما تحت التناثر الشديد (50-60%).

وعلى العكس من ذلك، فإن طرق الأقنعة القابلة للتعلم من طرف إلى طرف مثل MaskLLM وPATCH تنجح في تحسين الأقنعة مباشرة مقابل خسارة نمذجة اللغة، لكنها تقتصر على الأنماط شبه المهيكلة. تعتمد معلمتها (parameterization) على توزيع فئوي (categorical distribution) فوق الأنماط الصالحة ضمن مجموعة ما. وبينما يعد هذا النهج قابلاً للتطبيق في المجموعات الصغيرة (على سبيل المثال، $\binom{4}{2}=6$ أنماط لتناثر 2:4)، إلا أنه يصبح مستعصياً من الناحية التجميعية (combinatorially intractable) في حالة التناثر غير المهيكل. بالنسبة لصف عرضه $d=4096$ عند تناثر بنسبة 50%، فإن عدد الأقنعة الصالحة هو $\binom{4096}{2048} \approx 10^{1229}$، مما يجعل تخزين وفهرسة لوجيتات (logits) الأنماط أمراً مستحيلاً.

المنهجية: LEAP
قدم المؤلفون إطار عمل LEAP (التقليم التكيفي القابل للتعلم من طرف إلى طرف)، وهو مصمم لجعل تعلم القناع غير المهيكل من طرف إلى طرف قابلاً للتطبيق عبر استبدال المعلمة الفئوية للأنماط بمعلمة لكل وزن.

• تخفيف بيرنولي لكل وزن (Per-Weight Bernoulli Relaxation): بدلاً من تخصيص لوجيت لكل نمط صالح، يخصص LEAP لوجيت قابل للتعلم لكل وزن فردي. بالنسبة لمصفوفة الأوزان $W \in \mathbb{R}^{m \times n}$، يتم إدخال مصفوفة لوجيت موازية $P \in \mathbb{R}^{m \times n}$. يتم توليد القناع العشوائي $M$ عبر تخفيف "جمبل-سيجمويد" (Gumbel-sigmoid relaxation):
  $$M = \sigma\left(\frac{\alpha P + g}{\tau}\right)$$
  حيث $g$ هو ضجيج "جمبل" (Gumbel noise)، و$\sigma$ هي دالة السيجمويد، و$\alpha$ هو عامل القياس، و$\tau$ هو معامل درجة الحرارة. هذه الصيغة تتوسع خطياً مع عدد الأوزان ($O(mn)$) بدلاً من عدد الأنماط الصالحة.
• استراتيجية التحسين:
  • الأوزان المجمدة: يتم الإبقاء على الأوزان المدربة مسبقاً $W$ مجمدة، ويتم تدريب لوجيتات القناع $P$ فقط. هذا يحافظ على معايرة النموذج المدرب مسبقاً ويبسط عملية النشر.
  • التهيئة: يتم تهيئة $P$ باستخدام قناع Wanda من خطوة واحدة (عبر تعيين المدخلات المختارة إلى $+s$ وغيرها إلى $-s$) لتوفير نقطة بداية معقولة، وتجنب مشكلات البداية الباردة.
  • الجداول الزمنية (Schedules): يقوم جدول القياس ($\alpha$) بالتصاعد لدفع السيجمويد نحو القيم الثنائية، بينما يعمل جدول درجة الحرارة ($\tau$) على التلاشي لزيادة حدة القناع.
  • دالة الخسارة: تجمع الهدف بين خسارة نمذجة اللغة على تدفق معايرة مع حدين للتنظيم:
    1. منظم التناثر العالمي: يفرض الكثافة المستهدفة عالمياً عبر جميع الطبقات، مما يسمح للطبقات الفردية بتعديل كثافتها بناءً على الأهمية من طرف إلى طرف.
    2. حد الوعي بالمقدار (Magnitude-Aware Term): يوجه التحسين نحو الاحتفاظ بالأوزان ذات المقدار الأعلى لمنع الوصول إلى النهايات الصغرى المتدهورة حيث يتم إسقاط الأوزان الحرجة.
• كفاءة التدريب: يدرب الأسلوب لمدة 2,000 تكرار تقريباً على تدفق معايرة نص عام صغير (SlimPajama).

المساهمات الرئيسية

1. تحديد العائق التجميعي: يحدد البحث رسمياً أن المعلمات الفئوية للأنماط (المستخدمة في MaskLLM/PATCH) لا يمكنها التوسع إلى التناثر غير المهيكل بسبب النمو الأسي للأنماط الصالحة.
2. إعادة الصياغة القابلة للتطبيق: يقترح المؤلفون إعادة صياغة لكل وزن عبر "بيرنولي-عبر-جمبل-سيجمويد" تتيح التعلم التفاضلي من طرف إلى طرف للأقنعة غير المهيكلة على نطاق نماذج اللغات الكبيرة.
3. إطار عمل LEAP: إطار عمل تقليم خفيف الوزن يعمل على الأوزان المجمدة، ويتطلب فقط مجموعة بيانات معايرة صغيرة وحوالي 2,000 خطوة تدريب.
4. التحقق التجريبي: تقييم واسع النطاق عبر خمس عائلات من نماذج اللغات الكبيرة (Qwen-2.5, Gemma-3, LLaMA-3.2, LLaMA-3.1) تتراوح من 0.5 مليار إلى 8 مليارات بارامتر عند تناثر 50% و60%.

النتائج
تم تقييم LEAP مقابل الخطوط المرجعية لكل طبقة (Wanda, SparseGPT, Thanos, ADMM) والخط المرجعي القابل للتعلم شبه المهيكل MaskLLM.

• مكاسب الدقة: عبر عشر إعدادات (نموذج، تناثر)، حقق LEAP تحسناً في متوسط الدقة للصفر (zero-shot) لست مهام بمقدار +2.59 نقطة عن ADMM، وهو أفضل خط مرجعي لكل طبقة.
• تحسينات محددة: كان أكبر مكسب هو +5.40 نقطة في LLaMA-3.2 1B عند تناثر 60% (50.39 مقابل 44.99).
• الارتباك (Perplexity): حقق LEAP باستمرار ارتباكاً (PPL) أقل من الخطوط المرجعية. على سبيل المثال، في LLaMA-3.1 8B عند تناثر 50%، حقق LEAP قيمة 7.66 PPL مقارلة بـ 9.12 لـ ADMM.
• تخصيص التناثر: أظهرت التجارب أنه تحت التحسين من طرف إلى طرف مع ميزانية عالمية، يستقر LEAP على تخصيص كثافة شبه موحد لكل كتلة، على عكس الاختلافات غير الموحدة التي تشهدها الطرق شبه المهيكلة.
• تكلفة الحوسبة: رغم أنه أكثر تكلفة من طرق الخطوة الواحدة (يستغرق ساعات على H100s مقابل دقائق)، إلا أن LEP أقل تكلفة بكثير من MaskLLM (على سبيل المثال، 276 ساعة GPU لـ LLaMA-3.1 8B مقابل آلاف الساعات من A100 لـ MaskLLM في مقاييس مماثلة).

الأهمية والادعاءات
يدعي البحث أن LEAP يحل العائق الأساسي الذي يمنع تعلم القناع غير المهيكل من طرف إلى طرف. ومن خلال فصل تعلم القناع عن تحديث الأوزان، فإنه يوفر مساراً عملياً لضغط نماذج التأسيس دون التضحية بمعايرة الأوزان المدربة مسبقاً.

يؤكد المؤلفون أن LEAP ينتج أقنعة في نطاق التناثر غير المهيكل 50%–60%، وهي متوافقة مباشرة مع نوى التسريع الحالية (مثل FlashLLM, SpInfer, MACKO). تكمن الأهمية ليس في إنشاء نوى استنتاج جديدة، بل في تمكين نشر هذه النوى على نماذج مقلّمة عالية الجودة، والتي كان الوصول إليها سابقاً عبر الطرق المعتمدة على الطبقات أمراً صعب المنال. يشير العمل إلى أن التناثر غير المهيكل، عندما يتم استحثاثه عبر التعلم من طرف إلى طرف، يمكن أن يوفر مقايضة مواتية بين الضغط والدقة للنشر على الأجهزة الشائعة.

القيود والنطاق

• الأوزان المجمدة: النطاق الحالي يبقي الأوزان مجمدة. وبينما يُذكر أن التحسين المشترك للوزن والقناع هو امتداد طبيعي، إلا أنه لم يتم تنفيذه في هذا العمل.
• التخصيص الموحد: يُقدم ملاحظة التوزيع الكثافي الموحد لكل كتلة كإيجاد متعلق بنطاق محدد للنماذج ومستويات التناثر المدروسة، وليس كقاعدة عامة ضد التخصيص غير الموحد.
• السلامة: يحذر المؤلفون من أن النماذج المضغوطة قد تظهر أنماط فشل مختلفة على المدخلات ذات الذيل الطويل (long-tail inputs) ويوصون بإعادة التقييم للنشر في التطبيقات الحساسة للسلامة.