ملخص تقني: التقاء الإنتروبيا بالأهمية (HIES)

1. بيان المشكلة

حققت النماذج القائمة على المحولات (Transformers)، وخاصة النماذج اللغوية الكبيرة (LLMs)، أداءً فائقاً، لكنها تعاني من تكاليف حوسبة وذاكرة كبيرة أثناء الاستدلال بسبب هياكلها العميقة وكثرة رؤوس الانتباه لديها. وبينما تقدم طرق التقليم الهيكلي، وتحديداً تقليم الرؤوس (Head Pruning)، حلاً عبر إزالة رؤوس الانتباه الزائدة، تواجه الأساليب الحالية قيوداً حرجة:

• الاعتماد على درجات التدرج (HIS): تعتمد الطرق الحالية بشكل أساسى على درجات أهمية الرأس (HIS)، والتي تقيس مساهمة الرأس في دالة الخسارة عبر حساسية التدرج. ورغم فعاليتها عند مستويات التخلخل المتوسطة، إلا أن الطرق القائمة على HIS تظهر "هبوطاً حاداً" في الدقة عندما تصبح نسب التقليم عدوانية.
• عدم الاستقرار والافتقار إلى التنوع: يفشل HIS في التقاط تنوع أنماط الانتباه. فهو يعامل الرأس الذي يمتلك انتباهاً مركزاً (يركز على الرموز الحاسمة) والرأس ذو الانتباه المنتشر معاملة متماثلة إذا كانت قيم التدرج لديهما متقاربة. يؤدي هذا إلى إزالة الرؤوس ذات الأهمية الوظيفية التي تعمل على استقرار النموذج، مما ينتج عنه ضعف في المتانة تجاه اضطرابات المدخلات وتحولات التوزيع.
• القيود المستقلة عن الطبقات: غالباً ما تطبق المعايير الحالية قواعد تقليم موحدة عبر جميع الطبقات، متجاهلة الأدلة التي تشير إلى أن الطبقات المختلفة تتطلب سلوكيات انتباه متميزة، مما يؤدي إلى تقليم غير متوازن وتقلبات في الأداء.

2. المنهجية: درجة أهمية الرأس–الإنتروبيا (HIES)

يقترح المؤلفون HIES (درجة أهمية الرأس–الإنتروبيا)، وهو معيار تقليم موحد يدمج الأهمية القائمة على التدرج مع التوزيع الهيكلي للانتباه.

المكونات الأساسية

1. درجة أهمية الرأس (HIS):

   • تقيس الزيادة في الخسارة من الدرجة الأولى في حال تم حجب الرأس.
   • الصيغة: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$، حيث $m_h$ هو متغير الحجب للرأس $h$.
   • تلتقط مقدار مساهمة الرأس في الخسارة ولكنها تتجاهل أنماط توزيع الانتباه.

2. إنتروبيا الانتباه (AE):

   • تقيس مدى تركيز أو تشتت أوزان انتباه الرأس عبر رموز المدخلات.
   • الصيغة: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$.
   • تشير الإنتروبيا المنخفضة إلى انتباه مركز (غالباً على الرموز الحاسمة)، بينما تشير الإنتروبيا العالية إلى انتباه منتشر. ويفترض المؤلفون أن الرؤوس ذات الإنتروبيا المنخفضة ضرورية للاستقرار ومنع "انهيار الإنتروبيا".

3. مقياس HIES:

   • يجمع HIES بين HIS وAE المعايرين في درجة واحدة:
     $$HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$$
   • المعايرة: يتم معايرة كل من HIS وAE باستخدام (min-max) لتكون في النطاق $[0, 1]$ لضمان قابلية المقارنة عبر المقاييس المختلفة.
   • الأوزان: $\alpha$ هو معلمة فائقة قابلة للضبط. يضمن المصطلح $(1 - \widehat{AE}_h)$ أن الرؤوس ذات الإنتروبيا الأقل (الأكثر تركيزاً) تحصل على درجات أعلى، مما يعطي الأولوية للاحتفاظ بها.

التبرير النظري

يقدم البحث تحليلاً لتفكيك المخاطر يوضح أن:

• HIS يتحكم في حد زيادة الخسارة (تقليل تدهور الدقة الفوري).
• AE يضع حدوداً لـ فجوة التعميم (تقليل عدم الاستقرار والحساسية لتحولات التوزيع).
• التعامد: ثبت أن تدرجات HIS وAE متعامدة في التوقع، مما يعني أنهما يلتقطان إشارات متكاملة: مقدار المساهمة مقابل تشتت الانتباه. إن تقليل حد المخاطر المركب عبر HIES يضمن نظرياً استقراراً أفضل وحفاظاً على الدقة.

3. المساهمات الرئيسية

• معيار تقليم مبتكر: تقديم HIES، الذي يوحد الأهمية القائمة على التدرج مع إنتروبيا الانتباه لمعالجة ظاهرة "الهبوط الحاد" في حالات التقليم العدوانية.
• التركيز على الاستقرار: صياغة إنتروبيا الانتباه صراحة كوكيل لاستقرار الاستدلال والمتانة، مع الإشارة إلى أن الحفاظ على رؤوس ذات إنتروبيا منخفضة يمنع انهيار التنوع الهيكلي.
• إطار نظري: يوفر حداً نظرياً للمخاطر يربط تقليم الرؤوس بكل من زيادة الخسارة وفجوات التعميم، مما يبرر تعامد وتكامل HIS وAE.
• التقليم المتكيف مع الطبقات: يوضح أن HIES يتيح تقليماً أكثر توازناً عبر الطبقات مقارنة بالأنماط الصاعدة (bottom-up) التي تظهر غالباً في طرق HIS فقط.

4. النتائج التجريبية

قام المؤلفون بتقييم HIES على نماذج BERT-base، و LLaMA-2-7B، و ViT-Large، و LLaVA-1.5-7B عبر مهام متنوعة في معالجة اللغات الطبيعية، والرؤية، والمهام متعددة الوسائط (مثل GLUE، HellaSwag، ImageNet، VizWiz-VQA).

• جودة النموذج:

  • في BERT-base، حسن HIES متوسط جودة النموذج بنسبة 8.21% مقارنة بـ HIS عبر نسب التقليم.
  • عند نسبة تقليم 50%، حقق HIES تحسناً يصل إلى 15.2% في جودة النموذج مقارم بأفضل خط أساس (baseline) أداءً.
  • في LLaMA-2-7B، حسن HIES الدقة بما يصل إلى +10.54% مقارنة بـ HIS.
  • في ViT-Large، عند تخلخل بنسبة 20%، حقق HIES دقة أعلى بنسبة 49.82% من HIS، مما منع انهيار الدقة الملاحظ في الطرق القائمة على التدرج فقط.

• الاستقرار:

  • أظهر HIES تحسناً في الاستقرار يصل إلى 2.04 ضعفاً (مقارنة بالنموذج غير المقلم) مقارنة بطرق HIS فقط.
  • عند تقليم بنسبة 50% في BERT، أظهر HIES زيادة في الاستقرار بنسبة 8.65% عن HIS.

• القدرة على التعميم:

  • تفوق HIES باستمرار على خطوط الأساس (Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT) عبر مهام معالجة اللغات الطبيعية، والرؤية، والاستدلال المعقد متعدد الوسائط.
  • نجح HIES في تأخير نظام "الهبوط الحاد" إلى مستويات تخلخل أكثر عدوانية، محافظاً على الأداء حيث فشل HIS.

5. الأهمية والادعاءات

يزعم البحث أن HIES يقدم حلاً أكثر عملية ومتانة لنشر نماذج المحولات في البيئات محدودة الموارد. من خلال الحفاظ على كل من الدقة والاستقرار حتى في حالات الضغط العدوانية، يعالج HIES العائق الحرج المتمثل في تقلبات الأداء غير المتوقعة في عمليات النشر الواقعية.

يؤكد المؤلفون أن عملهم يوفر اتجاهاً مبدئياً للتقليم المستقر والفعال، متجاوزاً مجرد حساسية التدرج لدمج التنوع الهيكلي (الإنتروبيا) كمكون أساسي لضغط النموذج. ويؤكدون أن هذا النهج قابل للتطبيق على نطاق واسع عبر بنيات مختلفة (BERT، LLaMA، ViT، LLaVA) وأنماط مختلفة، مما يوفر مساراً موثوقاً لنشر نماذج LLM فعالة دون التضحية بالمتانة.