Two-Stage Regularization-Based Structured Pruning for LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "التقليم الهيكلي القائم على التنظيم ذي المرحلتين لنماذج اللغات الكبيرة" (TRSP).

1. بيان المشكلة

تواجه نماذج اللغات الكبيرة (LLMs) تحديات كبيرة في النشر بسبب أعداد معاملاتها الضخمة، مما يؤدي إلى تكاليف حوسبة ومتطلبات ذاكرة عالية. وبينما يعد التقليم الهيكلي (حذف طبقات أو قنوات كاملة) حلاً واعداً للضغط، فإن طرق التقليم المعتمدة على الطبقات الحالية تعاني من قيود حرجة:

• فقدان المعرفة: تقوم الطرق الحالية عادةً بحساب أهمية الطبقة، ثم تحذف الطبقات "غير المهمة" مباشرة، وتحاول بعد ذلك استعادة الأداء عبر إعادة تدريب مكثفة. ومع ذلك، فإن حتى الطبقات التي تُعتبر "غير مهمة" غالباً ما تحتوي على معرفة قيمة. الحذف المباشر يسبب فقداناً فورياً وغير قابل للاسترداد للمعرفة.
• الأعباء الإضافية لإعادة التدريب: يؤدي تدهور الأداء الناتج عن التقليم المباشر إلى ضرورة إجراء إعادة تدريب (ضبط دقيق) جوهرية لاستعادة الأداء، مما يتطلب تكاليف حوسبة ومتطلبات بيانات عالية.
• الخلل التسلسلي: تفشل منهجية "الاختيار ثم التقليم" القياسية في إعادة توزيع المعرفة الموجودة في الطبقات المقرر حذفها إلى الطبقات المتبقية قبل حدوث عملية الحذف.

2. المنهجية: TRSP

يقترح المؤلفون TRSP (التقليم الهيكلي القائم على التنظيم ذي المرحلتين)، وهو إطار عمل مبتكر يقوم بعملية التنظيم (Regularization) قبل التقليم لتسهيل نقل المعرفة. تتكون العملية من أربع مراحل:

أ. تحضير البيانات

يتطلب TRSP كمية ضئيلة فقط من البيانات (على سبيل المثال، 128 عينة عشوائية من معايير مثل WikiText-2) لتوجيه عملية التنظيم، مما يقلل بشكل كبير من الأعباء الحوسبية مقارم مجموعات بيانات إعادة التدريب الكاملة.

ب. المرحلة الأولى: تعلم أوزان الطبقات التكراري

• الآلية: يتم ضرب كل طبقة من طبقات المحول (Transformer) في وزن قياسي قابل للتعلم $S[i]$. في البداية، يتم ضبط جميع الأوزان لتكون 1.
• التحسين: يتم تحسين النموذج لتقليل خسارة نمذجة اللغة ($L(W, X)$) بالإضافة إلى حد تنظيم $\ell_1$-norm على أوزان الطبقات ($\lambda_1 \sum \|S[i]\|_1$).
• العملية: يتم تنفيذ ذلك بشكل تكراري (استراتيجية جشعة/Greedy). في كل خطوة، يتم تحديد الطبقة ذات الوزن الأصغر وحجبها (إزالتها مؤقتاً) للمرحلة التالية. هذا يمنع الإزالة "الدفعة واحدة" للطبقات المتتالية، والتي قد تؤدي إلى زعزعة استقرار النموذج.
• الحيلة الرياضية: بما أن $\ell_1$-norm غير قابل للاشتقاق، فقد قام المؤلفون بتحويل المشكلة إلى مشكلة تحسين مقيدة مكافئة (باستخدام متغيرات مساعدة) للسماح بالانتشار العكسي (Backpropagation) القياسي.

ج. المرحلة الثانية: تنظيم نقل المعرفة

• الآلية: بمجرد تحديد مجموعة الطبقات المراد تقليمها ($P$)، يتم تطبيق خطوة تنظيم ثانية.
• الهدف: تضيف دالة الخسية حداً يعاقب الفرق بين مدخل ومخرج الطبقات في المجموعة $P$: $\lambda_2 \sum \|X_{out}^i - X_{in}^i\|$.
• الهدف النهائي: هذا يجبر الطبقات المحددة للإزالة على التصرف كـ دوال هوية ($X_{out} \approx X_{in}$). ومن خلال تقليل التحويل الذي تقوم به هذه الطبقات، يُجبر النموذج على إعادة توزيع المعرفة التي كانت موجودة في هذه الطبقات إلى الطبقات المتبقية قبل حذف هذه الطبقات فعلياً.
• اختيار المعيار (Norm): استخدم المؤلفون إما $\ell_1$ أو $\ell_2$، ووجدوا أن $\ell_2$ يعطي عموماً نتائج أفضل قليلاً.

د. التقليم النهائي

بعد مرحلة التنظيم ذات المرحلتين، يتم حذف الطبقات في المجموعة $P$ بشكل دائم. ويصبح النموذج الناتج جاهزاً للاستنتاج (Inference) دون الحاجة إلى أي إعادة تدريب إضافية.

3. المساهمات الرئيسية

1. الاحتفاظ بالمعرفة عبر التنظيم: على عكس الطرق التقليدية التي تقوم بالتقليم ثم إعادة التدريب، يستخدم TRSP التنظيم لنقل المعرفة من الطبقات المقلمة إلى الطبقات المحفوظة مسبقاً، مما يقلل من فقدان المعلومات.
2. خالٍ من إعادة التدريب: يحقق TRSP أداءً عالياً دون الحاجة إلى عمليات ضبط دقيق أو إعادة تدريب مكلفة على مجموعات بيانات ضخمة بعد التقليم.
3. تعلم الأوزان التكراري: أثبت المؤلفون أن تعلم أوزان الطبقات بشكل تكراري (النهج الجشع) يتفوق على الاختيار بنفقة واحدة، لأنه يتجنب إزالة الطبقات المتتالية التي قد تكون حاسمة بشكل جماعي.
4. الاعتماد الأدنى على البيانات: تعتمد العملية بأكملها على جزء ضئيل جداً من البيانات (مثل 128 عينة)، مما يجعلها عالية الكفاءة.

4. النتائج التجريبية

قام المؤلفون بتقييم TRSP على نماذج مختلفة (Phi-2, OPT, LLaMA2, LLaMA3) عبر مهام التوليد والمهام الصفرية (Zero-shot).

• تفوق الأداء:
  • يتفوق TRSP باستمرار على النماذج المرجعية القوية (SLEB, ShortGPT, LaCo, Shortened LLaMA).
  • في نموذج LLaMA2-7B مع تقليم بنسبة 25%، حقق TRSP انخفاضاً بنسبة 20% في الارتياب (Perplexity) مقارنة بثاني أفضل طريقة (ShortGPT).
  • في نموذج OPT-13B، انخفض متوسط الدقة في TRSP بنسبة 1% فقط مقارنة بالنموذج الكثيف (Dense)، بينما انخفضت النماذج المرجعية بشكل أكبر بكثير.
• التسريع:
  • يوفر TRSP تسريعاً ملحوظاً في العمليات النهائية (End-to-end). بالنسبة لنموذج OPT-13B عند تقليم بنسبة 50%، حقق زيادة في الإنتاجية بمقدار 1.75 ضعف وتقليلاً في زمن الاستجابة (Latency) بمقدار 1.85 ضعف.
  • بالنسبة لنموذج LLaMA2-13B عند تقليم بنسبة 50%، حقق زيادة في الإنتاجية بمقدار 1.71 ضعف.
• المتانة:
  • يحافظ TRSP على ارتياب منخفض حتى عند نسب تقليم عالية (تصل إلى 60%)، حيث تفشل الطرق الأخرى.
  • يتميز بالمتانة عبر مجموعات بيانات المعايرة المختلفة (Alpaca, WikiText-2, PTB, C4).
• القابلية للتوسع: أكدت التجار تجريات على LLaMA-2-70B أن TRSP يتوسع بفعالية، متفوقاً على النماذج المرجعية في كل من الارتياب والدقة الصفرية دون إعادة تدريب.
• المقارنة مع مستويات التفصيل الأخرى: تفوق TRSP (تقليم الطبقات) على التقليم غير الهيكلي (Wanda) وتقليم القنوات (SliceGPT) من حيث التوازن بين الأداء والتسريع المتوافق مع الأجهزة.

5. الأهمية

يمثل TRSP تحولاً جذرياً في استراتيجيات تقليم نماذج اللغات الكبيرة. فمن خلال فصل مرحلة "إعادة توزيع المعرفة" عن مرحلة "الإزالة الفيزيائية" عبر عملية تنظيم ذات مرحلتين، فإنه يحل المشكلة الجوهرية المتمثلة في فقدان المعرفة في التقليم الهيكلي.

• الكفاءة: يقلل بشكل كبير من التكلفة الحوسبية لضغط النماذج من خلال إلغاء الحاجة إلى إعادة التدريب.
• العملية: تجعل متطلبات البيانات الدنيا عملية الضغط ممكنة للمؤسسات ذات الموارد المحدودة.
• العمومية: المنهجية قابلة للتطبيق على مختلف بنيات نماذج اللغات الكبيرة وتتوسع بفعالية لتصل إلى النماذج الضخمة جداً (70B+ بارامتر)، مما يوفر مساراً قابلاً للتطبيق لنشر نماذج لغات كبيرة فعالة في البيئات محدودة الموارد.

توفر الكود: الكود متاح مفتوح المصدر على https://github.com/fmk345/TRSP.