AgilePruner: An Empirical Study of Attention and Diversity for Adaptive Visual Token Pruning in Large Vision-Language Models

1. بيان المشكلة

تقوم نماذج الرؤية واللغة الكبيرة (LVLMs) بمعالجة الصور عن طريق ترميزها إلى مئات الرموز البصرية (visual tokens). يؤدي هذا إلى زيادة تربيعية في التعقيد الحسابي لآليات الانتباه (attention mechanisms)، مما يعيق سرعة الاستدلال وكفاءته بشكل كبير. وبينما يعد تقليم الرموز (token pruning) -أي إزالة الرموز الزائدة- حلاً شائعاً، فإن الطرق الحالية تندرج عموماً تحت فئتين متمايزتين مع وجود مقايضات غير مستكشفة:

• الطرق القائمة على الانتباه (Attention-based methods): تختار الرموز ذات درجات الانتباه العالية. تميل هذه الطرق إلى الحفاظ على المعلومات الحرجة، ولكنها غالباً ما تؤدي إلى عمليات اختيار مركزة ومتكررة ذات تنوع سمات منخفض.
• الطرق القائمة على التنوع (Diversity-based methods): تختار الرموز لتعظيم عدم التشابه في السمات (على سبيل المثال، عبر أخذ عينات النقطة الأبعد - Farthest Point Sampling). تهدف هذه الطرق إلى تحقيق تغطية واسعة، لكنها تخاطر بالتخلص من المعلومات الهامة والمركزة وقد تزيد من معدلات الهلوسة (hallucination).

يفتقر البحث الحالي إلى فهم منهجي لما يلي:

1. مدى التنوع في السمات الذي تحافظ عليه هذه الطرق فعلياً.
2. كيف تؤثر خصائص الرموز المستبقاة على الهلوسة (توليد كائنات غير موجودة).
3. ما إذا كانت تعقيدات الصور المختلفة (البسيطة مقابل المعقدة) تفضل بطبيعتها استراتيجية تقليم معينة دون غيرها.

2. المنهجية والتحليل التجريبي

أجرى المؤلفون دراسة تجريبية صارمة باستخدام مقياسين أساسيين لتحليل سلوك الرموز:

• الرتبة الفعالة (Effective Rank - erank): مقياس لتنوع السمات بناءً على طيف القيم المفردة لتمثيلات الرموز (token embeddings). تشير الرتبة الفعالة الأعلى إلى مساحة سمات أكثر تنوعاً وتوزيعاً بشكل متساوٍ.
• إنتروبيا الانتباه (Attention Entropy): مقياس لمدى تركيز درجات الانتباه عبر الرموز. تشير الإنتروبيا المنخفضة إلى أن الانتباه يتركز في مناطق محددة؛ بينما تشير الإنتروبيا العالية إلى توزيع مشتت.

النتائج التجريبية الرئيسية

1. المقايضة بين التنوع والهلوسة:
   • الطرق الموجهة نحو التنوع (مثل DivPrune) تحافظ على رتبة فعالة (erank) أعلى، ولكنها ترتبط ارتباطاً وثيقاً بزيادة وتيرة الهلوسة (المقاسة عبر مجموعة بيانات CHAIR).
   • الطرق القائمة على الانتباه (مثل FasterVLM) تحافظ على تنوع أقل، ولكنها تنتج مخرجات أكثر تحفظاً وموثوقية مع تقليل الهلوسة بشكل ملحوظ.
2. الاعتماد على تعقيد الصورة:
   • الصور البسيطة (معلومات مركزة، رتبة فعالة منخفضة، إنتروبيا منخفضة): يكون التقليم القائم على الانتباه هو الأفضل لأن الإشارات الحرجة تتركز في رموز محددة.
   • الصور المعقدة (معلومات موزعة، رتبة فعالية عالية، إنتروبيا عالية): يكون التقليم القائم على التنوع هو الأفضل لأن المعلومات الدلالية تكون مشتتة، مما يتطلب تغطية أوسع لتجنب فقدان التفاصيل الرئيسية.

3. الحل المقترح: AgilePruner

بناءً على هذه الرؤى، يقترح المؤلفون AgilePruner، وهو آلية تقليم تكيفية وبسيطة تعدل استراتيجية التقليم ديناميكياً بناءً على تعقيد الصورة.

الآلية الجوهرية

تستخدم الطريقة عتبة تشابه ($\tau$) للتحكم في اختيار الرموز:

1. الفرز: يتم فرز الرموز حسب درجة الانتباه بترتيب تنازلي.
2. الاختيار التكراري: بدءاً من رمز الانتباه الأعلى، تختار الخوارزمية هذا الرمز، وتقوم بتقليم الرموز اللاحقة إذا كانت المسافة الجيب تمامية (cosine distance) بالنسبة للرمز المختار أقل من العتبة $\tau$.
3. ضبط العتبة التكيفي: العتبة $\tau$ ليست ثابتة بل تُحسب ديناميكياً بناءً على الرتبة الفعالة (erank) للصورة بالنسبة لمتوسط مجموعة البيانات:
   $$\tau_i = \text{order}_i \times \left( \frac{\text{erank}_{\text{input}}}{\text{erank}_{\text{avg}}} \times 0.01 \right)$$
   • الصور البسيطة (erank منخفض): تظل العتبة منخفضة (صارمة). هذا يحافظ على الرموز ذات الانتباه العالي والدقيقة ويتجنب التقليم المفرط للتفاصيل الحرجة.
   • الصور المعقدة (erank مرتفع): تزدل العتبة (مرنة). هذا يقوم بتقليم الرموز المتشابهة وغير الضرورية بقوة لفرض مجموعة أكثر تنوعاً من الرموز، مما يلتقط المعلومات الموزعة.

4. المساهمات الرئيسية

1. أول توصيف قائم على الرتبة الفعالة (erank): تقدم الورقة أول تحليل كمي يربط بين الرتبة الفعالة للرموز المستبقاة وسلوكيات الهلوسة في نماذج الرؤية واللغة الكبيرة.
2. التفضيل المعتمد على التعقيد: تكشف الورقة عن نمط ثابت حيث تتفوق الطرق القائمة على الانتباه في الصور البسيطة، بينما تتفوق الطرق القائمة على التنوع في الصور المعقدة، مما يفسر أوجه الفشل في النهج الهجينة الثابتة.
3. إطار عمل تكيفي قابل للتطبيق: يوضح المؤلفون أن دمج التعديلات المدركة للصورة في الاستراتيجيات الهجينة الحالية (مثل VisPruner أو BAT) يؤدي إلى تحسينات متسقة. كما يقدمون نموذجاً بسيطاً يعتمد على العتبة (AgilePruner) لا يعتمد على نوع النموذج (model-agnostic).

5. النتائج التجريبية

تم تقييم الطريقة على تسعة معايير متعددة الوسائط (بما في ذلك VQAv2, GQA, POPE, MME, ScienceQA) باستخدام نماذج LLaVA-1.5-7B، و LLaVA-1.5-13B، و LLaVA-NeXT-7B، و Qwen2.5-VL-7B.

• الأداء: تفوق AgilePruner باستمرار أو عادل الطرق الحديثة (مثل VisPruner, DivPrune, VisionZip) عبر جميع المعايك.
  • عند الاحتفاظ بـ 64 رمزاً، حقق 96.76% من الأداء النسبي في المتوسط مقارنة بالخط المرجعي للرموز الكاملة، متفوقاً بشكل كبير على الطرق القائمة على الانتباه فقط التي عانت من تدهور بنسبة >25%.
  • أظهر متانة خاصة في مجموعات البيانات المعقدة مثل POPE و MME، حيث فشلت الطرق الثابتة القائمة على الانتباه.
• تقليل الهلوسة: في معيار CHAIR، حقق AgilePruner مقايضة متوازنة:
  • CS (هلوسة على مستوى الجملة): 52.2 (مقابل 57.4 لـ DivPrune و 45.4 لـ FasterVLM).
  • الاستدعاء (Recall): 75.7 (مقابل 76.4 لـ DivPrune و 69.3 لـ FasterVLM).
  • نجح في التخفيف من معدلات الهلوسة العالية للطرق القائمة على التنوع مع الحفاظ على استدعاء أعلى من الطرق القائمة على الانتباه الصرفة.
• الكفاءة: تقلل الطريقة العمليات الحسابية (FLOPs) بنسبة 89% (عند 64 رمزاً) مع عبء حسابي ضئيل لحساب الرتبة الفعالة (3.2% من وقت الاستدلال الإجمالي).

6. الأهمية

ينقل هذا العمل النموذج من التقليم الثابت "مقاس واحد يناسب الجميع" إلى التقليم التكيفي المدرك للصورة. ومن خلال إثبات أن استراتيجية التقليم المثلى تعتمد على التعقيد الجوهري لصورة الإدخال، يقدم المؤلفون إطاراً مبدئياً لتصميم نماذج الرؤية واللغة المستقبلية. وتشير النتائج إلى أن الهلوسة ليست مجرد مشكلة تدريب للنموذج، بل تتأثر أيضاً بكيفية تقليم المعلومات البصرية، وأن الموازنة الديناميكية بين الانتباه والتنوع هي المفتاح لعمليات استدلال لغوي بصري موثوقة وفعالة.