HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models" (HAWK: تقليم الرموز البصرية القائم على وعي أهمية الرؤوس في النماذج متعددة الوسائط).

1. بيان المشكلة

تقوم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بترميز المدخلات البصرية (الصور/الفيديوهات) إلى تسلسلات من الرموز البصرية (Visual Tokens)، والتي تُعالج جنباً إلى جنب مع الرموز النصية.

• عنق الزجاجة: المدخلات البصرية كثيفة بطبيعتها وتتسم بالتردد المكاني، وغالباً ما تولد مئات أو آلاف الرموز (على سبيل المثال، 576 رمزاً لصورة بحجم 336×336، أو أكثر من 200 ألف للفيديوهات الطويلة).
• النتيجة: بما أن التعقيد الحسابي لآليات الانتباه (Attention Mechanisms) يتناسب طردياً مع مربع طول التسلسل، فإن تضخم الرموز البصرية يزيد بشكل كبير من وقت الاستدلال (Inference Time) وحمل الذاكرة، مما يجعل النشر في الوقت الفعلي أو في البيئات محدودة الموارد أمراً غير عملي.
• قصور الطرق الحالية: تندرج استراتيجيات تقليم الرموز البصرية الحالية عموماً تحت ثلاث فئات:
  1. القائمة على التشابه (Similarity-based): تزيل المناطق الزائدة بناءً على تشابه الميزات ولكنها تتجاهل تعليمات المستخدم (غير مدركة للسياق).
  2. القائمة على الضبط الدقيق (Fine-tuning-based): وحدات تقليم قابلة للتعلم تتطلب تدريباً مكلفاً وشاملاً (End-to-end) وتعاني من ضعف في القدرة على التعميم.
  3. القائمة على الانتباه (Attention-based): تقدير أهمية الرموز باستخدام درجات الانتباه في الطبقات المبكرة. والأهم من ذلك، أن هذه الطرق تفترض أن جميع رؤوس الانتباه (Attention Heads) تساهم بالتساوي في التفسير البصري، حيث تقوم ببساطة بمتوسط أوزان الرؤوس.
• الفجوة: يرى المؤلفون أن رؤوس الانتباه المختلفة تلتقط دلالات بصرية متميزة وتلعب أدواراً فريدة وغير متساوية في المعالجة البصرية. لذا، فإن معاملتها بالتساوي يؤدي إلى الاحتفاظ بالرموز الزائدة وتقليم الرموز ذات الأهمية الدلالية عن طريق الخطأ.

2. المنهجية: HAWK

HAWK (تقليم الرموز البصرية القائم على وعي أهمية الرؤوس) هو طريقة لا تتطلب تدريباً (Training-free) مصممة لتعظيم الاحتفاظ بالرموز الحاسمة من خلال مراعاة التباين في أهمية رؤوس الانتباه بشكل صريح.

المكونات الأساسية:

1. أوزان أهمية الرؤوس البصرية الثابتة ($W$):

   • الملاحظة: من خلال دراسات الاستئصال (Ablation Studies) (تعطيل الرؤوس الفردية بشكل منهجي)، وجد المؤلفون أن حجب الرؤوس المختلفة يسبب انخفاضات متفاوتة بشكل ملحوظ في أداء النموذج عبر مجموعات البيانات المختلفة.
   • الحساب: يقوم HAWK بتحليل "أوفلاين" لمرة واحدة باستخدام مجموعات بيانات الاختبار. يحسب انخفاض الأداء ($\Delta S$) الناتج عن استئصال كل رأس $i$.
   • التوزين: يتم اشتقاق وزن الأهمية $w_i$ لكل رأس من خلال متوسط انخفاض الأداء المعياري عبر جميع مجموعات البيانات. وهذا ينشئ متجهاً ثابتاً يمثل المساهمة الجوهرية لكل رأس في الفهم البصري.

2. درجات الانتباه الديناميكية الموجهة بالنص ($C$):

   • الآلية: للتكيف مع استعلامات مستخدمين محددين، يستخدم HAWK آلية انتباه موجهة بالنص. يقوم بحساب الصلة بين الرموز البصرية ($H_v$) والتعليمات النصية ($H_t$).
   • التنفيذ: يستخدم مصفوفات الإسقاط للطلب ($W_q$) والمفتاح ($W_k$) من طبقة الانتباه الأولى في النموذج اللغوي الكبير (LLM).
   • الاستقلال عن الموقع (Positional Agnosticism): لضمان اعتماد الانتباه فقط على الارتباط الدلالي بدلاً من الموقع، قام المؤلفون بإسقاط تضمينات الموضع الدوارة (RoPE) أثناء حساب هذه الصلة تحديداً.
   • التسجيل (Scoring): يتم الحصول على درجة الصلة لكل رمز بصري من خلال متوسط درجات الانتباه عبر جميع الرموز النصية لكل رأس.

3. التقليم المدرك لأهمية الرؤوس:

   • التكامل: يجمع HAWK بين أوزان الرؤوس الثابتة ($W$) ودرجات الانتباه الديناميكية الموجهة بالنص ($C$) لحساب متجه الأهمية النهائي $I$ لكل رمز بصري $k$:
     $$I_k = \sum_{i=1}^{N_h} w_i \cdot c_{i,k}$$
   • الاختيار: بالنظر إلى نسبة التقليم المستهدفة، يتم الاحتفاظ بأفضل $\tilde{M}$ من الرموز ذات أعلى درجات $I_k$، بينما يتم التخلص من البقية. ثم يتم دمج المجموعة المقلمة مع الرموز النصية للمعالجة القياسية في الـ LLM.

3. المساهمات الرئيسية

1. اكتشاف عدم تجانس الرؤوس (Head Heterogeneity): تقدم الورقة دليلاً تجريبياً على أن رؤوس الانتباه في النماذج متعددة الوسائط (MLLMs) تلعب أدواراً متميزة وغير قابلة للتبادل في المعالجة البصرية. إن قياس هذه الأهمية أمر بالغ الأهمية للتقليم الفعال.
2. إطار عمل HAWK: يقترح طريقة جديدة لا تتطلب أي تدريب، تدمج أهمية الرؤوس الثابتة مع الانتباه الدينتميكي الموجه بالنص. وهي تتطلب فقط عملية حسابية "أوفلاين" واحدة لتحديد أوزان الرؤوس.
3. الأداء المتفوق (State-of-the-Art): أظهر تفوقاً مستمراً على النماذج المرجعية الحالية (FastV, DivPrune, CDPruner) عبر نماذج متنوعة (Qwen2.5-VL, InternVL3) ومهام مختلفة (VQA للصور، فهم الفيديو).

4. النتائج التجريبية

قيم المؤلفون HAWK على عدة اختبارات تشمل MME, HallBench, TextVQA, ChartQA, AI2D, RealWorldQA, CCBench, OCRVQA, SQA-IMG, POPE، واختبارات الفيديو (Video-MME, WorldSense).

• الاحتفاظ بالدقة:
  • في نموذج Qwen2.5-VL-7B (الدقة الثابتة): عند تقليم 80.2% من الرموز البصرية، يحتفظ HAWK بـ 96.0% من الدقة الأصلية. وهذا يتفوق على ثاني أفضل طريقة (FastV) بمقدار 3.4 نقطة مئوية.
  • في نموذج InternVL3-8B: عند نسبة تقليم 80%، يحافظ HAWK على 94.1% من الأداء، متفوقاً على النماذج المرجعية بمقدار 7.0 نقاط مئوية.
  • فهم الفيديو: عند نسبة تقليم 90%، يحتفظ HAWK بـ 93.7% من الأداء الأصلي، متفوقاً بشكل كبير على الطرق الأخرى.
• مكاسب الكفاءة:
  • زمن الاستجابة (Latency): يقلل زمن الاستدلال من البداية للنهاية إلى 74.4% من الوقت الأصلي (تسريع بمقدار 1.34x عند تقليم 80%).
  • الذاكرة: يقلل بشكل كبير من استخدام ذاكرة وحدة معالجة الرسومات (GPU) وحجم ذاكرة التخزين المؤقت (KV cache) (على سبيل المثال، تقليل الـ KV cache من 668 ميجابايت إلى 148 ميجابايت عند تقليم 80%).
• المتانة (Robustness): يعمل بشكل جيد ومتسق على المدخلات ذات الدقة الثابتة والدقة الأصلية (متغيرة الطول)، وكذلك في مهام الفيديو طويلة المدى.

5. الأهمية

• النشر العملي: يعالج HAWK العائق الحرج المتمثل في التكلفة الحسابية العالية للنماذج متعددة الوسائط، مما يجعلها قابلة للتطبيق في التطبيقات التي تعمل في الوقت الفعلي أو في البيئات محدودة الموارد دون الحاجة إلى إعادة تدريب مكلفة.
• تحول في النموذج الفكري: يتحدى HAWK الافتراض السائد في تقليم الانتباه بأن جميع الرؤوس متساوية. ومن خلال الاستفادة من أهمية كل رأس، يحقق استراتيجية تقليم أكثر دقة وإدراكاً للدلالات.
• القدرة على التعميم: كونه وحدة برمجية جاهزة للاستخدام (Plug-and-play) ولا تتطلب تدريباً، يمكن تطبيق HAWK بسلاسة على مختلف بنيات النماذج متعددة الوسائط الحالية، مما يوفر مساراً فورياً لتحسين الكفاءة لمجتمع النماذج متعددة الوسائط.