From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
تقدم هذه الورقة GISP، وهي طريقة تقليم هيكلي تكراري عالمية تجمع درجات الأهمية القائمة على الخسارة من الدرجة الأولى لتجميع رؤوس الانتباه وقنوات MLP بكفاءة، مما يتفوق بذلك على النماذج المحلية التقليدية عبر تثبيت الدقة عند مستويات التشتت العالية وتمكين التحسين الخاص بمهمة معينة دون الحاجة إلى ضبط دقيق وسيط.