Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "الضغط الموجه بالقدرة: نحو تخصيص ميزانية مدرك للتفسيرية للنماذج اللغوية الكبيرة" للباحث ريشانك غوبتا.

1. بيان المشكلة: مشكلة الضغط "الأعمى عن القدرات"

تحدد الورقة خللاً جوهرياً في تقنيات ضغط النماذج اللغوية الكبيرة (LLM) الحالية (التقليم، التكميم، خفض الرتبة): وهي أنها "عمياء عن القدرات".

• الوضع الحالي: تعتمد الطرق الحالية في تخصيص ميزانيات الضغط على إشارات وسيطة مثل مقدار الأوزان، أو انحناء هسيان (Hessian curvature)، أو تباين التنشيط. تقيس هذه المقاييس الأهمية الإحصائية لكنها لا تقدم أي معلومات حول الدور الوظيفي للمكون (على سبيل المثال، ما إذا كان يشفر الاستدلال، أو استرجاع الحقائق، أو القواعد النحوية).
• العواقب:
  1. فشل التقييم: مقياس الارتياب (Perplexity - PPL)، وهو معيار التقييم القياسي، غير حساس لفقدان قدرات استدلال محددة. يمكن للنماذج أن تحافظ على قيم منخفضة لـ PPL بينما تفقد دوائر وظيفية حرجة.
  2. التحولات الطورية (Phase Transitions): تُظهر دراسة حديثة (Ma et al., 2026) أن النماذج اللغوية الكبيرة لا تتدهور بشكل تدريجي تحت الضغط، بل تعاني من "تحولات طورية" مفاجئة حيث ينهار الأداء بمجرد استنفاد مخازن الاحتياط من الفائض. تفشل الطرق الحالية في التنبؤ بهذه التحولات لأنها لا تستطيع التمييز بين المكونات عالية القدرة والمكونات منخفضة القدرة.

2. المنهجية: الضغط الموجه بالقدرة (CGC)

يقترح المؤلفون إطار عمل "الضغط الموجه بالقدرة" (CGC)، وهو إطار يستخدم المشفرات التلقائية المتفرقة (Sparse Autoencoders - SAEs) لاستخراج خريطة "كثافة القدرة"، والتي توجه بدورها عملية التخصيص التفاضلي للميزانية.

أ. المفهوم الجوهري: كثافة القدرة

يعرف الإطار كثافة القدرة ($\delta^{(c)}$) كقياس عددي لمستوى الأهمية الوظيفية للمكون، مستمد من تنشيطات ميزات الـ SAE. وهي عبارة عن متوسط هندسي موزون لثلاثة مقاييس فرعية:

1. اتساع الميزة ($\beta$): عدد الميزات المتميزة في الـ SAE التي تتنشط بشكل متكرر.
2. تنوع الميزة ($H$): إنتروبيا شانون لتوزيع تنشيط الميزات (لقياس مدى تجانس استخدام الميزات).
3. الاتساق عبر المدخلات ($\Psi$): استقرار مجموعات الميزات عبر مدخلات دلالية مختلفة.

ب. الأساس النظري

• النظرية 1: تعني كثافة القدرة العالية انخفاض الفائض الهيكلي. المكونات ذات الإنتروبيا/التنوع العالي في انتشار تنشيط ميزاتها توزع "حملها الوظيفي" عبر أوزان كثيرة. نتيجة لذلك، لديها أوزان "آمنة" أقل للتقليم، وتصل إلى نقاط التحول الطوري (PTPs) الخاصة بها عند نسب ضغط أقل من المكونات منخفضة الكثافة.
• النتيلة 1: الضغط الموحد يؤدي إلى تقليم مفرط للمكونات عالية الكثافة (الحرجة) وتقليل الضغط على المكونات منخفضة الكثافة (الفائضة)، مما يسبب انهياراً مبكراً للقدرات.

ج. الخوارزمية

تعمل الـ CGC كطبقة تحسين مقيدة فوق أطر الضغط الموجودة (وتحديداً بتوسيع إطار "تجنب المرحلة" لـ Ma et al.):

1. المدخلات: ميزانية ضغط عالمية وخريطة كثافة القدرة ($\Delta$).
2. القيد: يتم تعيين سقف للميزانية ($\rho^{(c)}_{max}$) للمكونات عالية الكثافة، مما يمنع ضغطها بما يتجاوز عتبة آمنة.
3. التحسين: تقوم الخوار الخوارزمية (CGC-L و CGC-F) بتخصيص نسب الاحتفاظ بشكل تفاضلي:
   • المكونات عالية الكثافة: محمية (احتفاظ أعلى).
   • المكونات منخفضة الكثافة: تُضغط بقوة (احتفاظ أقل).
4. التكامل: يمكن تطبيقها ضمن الأبعاد (مثل رؤوس انتباه محددة أو طبقات) للتقليم، أو التكميم، أو خفض الرتبة.

3. المساهمات الرئيسية

1. إشارة جديدة: تقديم كثافة القدرة كإشارة ضغط مستقلة إحصائياً عن المقاييس الحالية (مثل درجات Wanda).
2. الإثبات النظري: إثبات رسمي بأن كثافة القدرة تتنبأ بهشاشة المكونات الفردية تجاه التحولات الطورية، مما يوفر أول آلية ما قبل الضغط للتنبؤ بنقاط التحول الطوري (PTP).
3. الخوارزمية: خوارزمية ملموسة (CGC) تدمج خرائط مشتقة من التفسيرية في عملية تخصيص ميزانية الضغط.
4. التقرير التجريبي الأمين: تحليل دقيق للنتائج التجريبية، بما في ذلك التشخيص الشفاف للنتائج السلبية، مما يضع معياراً جديداً للتقرير في أبحاث الضغط.

4. النتائج التجريبية

قيم المؤلفون خوارزمية CGC على نموذج GPT-2 Medium (بـ 355 مليون معلمة).

• نتيجة الاستقلالية (النجاح):

  • الارتباط بين كثافة القدرة ودرجات أهمية Wanda كان معامل سبيرمان $\rho = -0.054$ ($n=384$ رأساً).
  • الاستنتاج: كثافة القدرة هي إشارة جديدة حقاً، ومستقلة عن مقدار الوزن أو معايير التنشيط.

• أداء الضغط (نتيجة سلبية):

  • المعيار: الارتياب (PPL) على مجموعة بيانات WikiText-103.
  • النتيجة: أداء CGC-L (بـ 27.87 PPL) كان أسوأ قليلاً من الضغط الموحد (27.57 PPL) عند نسبة احتفاظ 50%.
  • ارتباط الاستئصال (Ablation): لم يتم العثور على ارتباط معنوي بين كثافة القدرة وتأثير استئصال الرؤوس الفردية ($\Delta$PPL).

• التشخيص المبدئي للنتائج السلبية:
  يعزو المؤلفون عدم تحسن PPL إلى ثلاثة عوامل:

  1. تجانس النموذج: رؤوس الانتباه في GPT-2 Medium متجانسة وظيفياً (نطاق الكثافة 0.63–0.80). وبخلاف النماذج الأكبر (مثل LLaMA-7B)، فهي تفتقر إلى رؤوس "حرجة" متميزة لكي تعمل إشارة الكثافة على حمايتها.
  2. عدم حساسية المعيار: PPL هو بديل ضعيف لقدرة الاستدلال. تهدف CGC إلى الحفاظ على دوائر الاستدلال، وهو ما يفشل PPL في اكتشافه.
  3. عمق تدريب الـ SAE: تم تدريب الـ SAEs على بيانات محدودة (5 حقبات، ~65 ألف توكن) مقارنة بالـ SAEs المستخدمة في النطاقات الإنتاجية، ومن المحتمل أنها فشلت في استعادة ميزات كافية أحادية المعنى للتمييز بين الكثافة بدقة كافية.

5. الأهمية والتوجهات المستقبلية

• تحول في النموذج الفكري: تجادل الورقة بأن على المجال الانتقال لما وراء الضغط "الأعمى عن القدرات". فهي تكشف أن التحسين من أجل تقليل الارتياب (Perplexity) يسمح للنماذج بفقدان قدرات الاستدلال دون اكتشاف ذلك.
• معيار التقييم: يدعو المؤلفون إلى معيار تقييم جديد يتطلب اختبارات استدلال (مثل ARC-Challenge، GSM8K) جنباً إلى جنب مع PPL لتقييم جودة الضغط بشكل حقيقي.
• العمل المستقبلي: الاتجاه الرئيسي هو التحقق من صحة CGC على نماذج أكبر (مثل LLaMA-2-7B) باستخدام SAEs مدربة بشكل صحيح (مثل تلك الخاصة بـ EleutherAI) واختبارات استدلال. ويتوقع المؤلفون أن هذه النماذج الأكبر والأكثر تنوعاً ستُظهر تفوق CGC في الحفاظ على قدرات الاستدلال مع تحقيق نسب ضغط أعلى.

الملخص: تجمع هذه الورقة بين التفسير الآلي (Mechanistic Interpretability) وضغط النماذج. وبينما أسفرت التجارب الأولية على نموذج صغير عن نتائج سلبية على المقاييس القياسية، نجح العمل في إثبات وجود إشارة ضغط جديدة ومستقلة (كثافة القدرة) وتقديم إطار نظري لمنع الانهيار الكارثي للقدرات في التطبيقات المستقبلية الأكبر حجماً.