Variation-aware Vision Token Dropping for Faster Large Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "Variation-aware Vision Token Dropping for Faster Large Vision-Language Models" (V2Drop).

1. بيان المشكلة

حققت النماذج اللغوية البصرية الكبيرة (LVLMs) نجاحاً ملحوما في المهام متعددة الوسائط، إلا أن نشرها العملي يعوقه عدم الكفاءة الحسابية، لا سيما عند معالجة الصور عالية الدقّة أو الفيديوهات الطويلة.

• انفجار الرموز (Token Explosion): تؤدي المدخلات عالية الدقة وتسلسلات الفيديو الطويلة إلى توليد عدد هائل من الرموز البصرية، مما يؤدي إلى تعقيد حسابي تربيعي في هيكل النموذج اللغوي الكبير (LLM).
• قصور الطرق الحالية: تعتمد تقنيات ضغط الرموز الحالية، وتحديداً تلك التي تعمل داخل النموذج اللغوي الكبير (Inner-LLM)، على أوزان الانتباه (attention weights) لتحديد أهمية الرمز. وقد حدد المؤلفون عيبين حرجين في هذه الطرق الموجهة بالانتباه:
  1. التحيز الموضعي (Positional Bias): تظهر هذه الطرق تحيزاً قوياً نحو الاحتفاظ بالرموز الموجودة في نهاية التسلسل بغض النظر عن محتواها الدلالي، مما يؤدي إلى التخلص من المعلومات المبكرة الحاسمة ويتسبب في حدوث هلوسة متعددة الوسائط.
  2. عدم التوافق مع المعاملات الفعالة: يتعارض حساب أوزان الانتباه لاختيار الرموز مع المعاملات المحسنة مثل FlashAttention، مما يؤدي غالباً إلى زيادة استخدام الذاكرة وإبطال مكاسب الكفاءة.

2. المنهجية: V2Drop

تقترح الورقة V2Drop (إسقاط الرموز البصرية المدرك للتباين)، وهو نهج "جاهز للاستخدام" (plug-and-play) ولا يتطلب إعادة تدريب، ينقل النموذج من الاعتماد على الإشارات الخارجية (الانتباه) إلى تحليل خصائص الرمز الجوهرية.

الرؤية الجوهرية

يفترض المؤلفون أن مقدار تباين الرمز (token variation magnitude) عبر طبقات النموذج اللغوي الكبير يرتبط بأهمية الرمز.

• الرموز النشطة (Active Tokens): الرموز التي تشهد تغيرات تمثيلية كبيرة (تباين عالٍ) بين الطبقات هي رموز تشارك بنشاط في عملية الاستدلال وتحتوي على معلومات ذات ص relevancia للمهمة.
• الرموز الخاملة (Lazy Tokens): الرموز التي تظل ثابتة نسبياً (تباين منخفض) عبر الطبقات تساهم قليلاً في التنبؤ النهائي ويمكن إزالتها بأمان.

الإطار التقني

1. مقاييس التباين: بدلاً من درجات الانتباه، يقيس V2Drop الفرق بين تمثيل الرمز في الطبقة $l$ والطبقة $l-1$. تقيم الورقة ثلاثة مقاييس:
   • معيار L2 (المسافة الإقليدية): الخيار الافتراضي، الذي يلتقط الحجم الإجمالي للتغيير.
   • معيار L1: يلتقط التغيرات المتفرقة.
   • تشابه جيب التمام (Cosine Similarity): يلتقط التغيرات الاتجاهية.
2. استراتيجية الإسقاط التدريجي:
   • لا يقوم V2Drop بحذف الرموز في خطوة واحدة، بل يقوم بـ إسقاط تدريجي متعدد المراحل في طبقات مختارة استراتيجياً (على سبيل المثال: الطبقات الضحلة، والمتوسطة، والعميقة من النموذج اللغوي الكبير).
   • في كل طبقة إسقاط، يتم ترتيب الرموز بناءً على درجات التباين الخاصة بها. يتم الاحتفاظ بأفضل $K$ من الرموز ذات التباين الأعلى، بينما يتم إسقاط الرموز "الخاملة".
   • يضمن هذا الاختزال التدريجي الحفاظ على الميزات الحرجة مع تصفية المعلومات الزائدة بشكل تراكمي.
3. الأساس النظري:
   • قدم المؤلفون نظرية تأثير التباين (Variation-Impact Theorem) بناءً على توسيع تايلور من الدرجة الأولى. لقد أثبتوا أنه تحت فرضيات النعومة، فإن التغير في مخرجات النموذج ($\Delta f$) الناجم عن رمز ما يتناسب تقريباً مع مقدار تباين الرمز ($\|\Delta x\|$) ومعيار مؤثر جاكوبي (Jacobian operator norm).
   • يثبت هذا رياضياً أن إسقاط الرموز ذات التباين الأدنى يقلل من الاضطراب في المخرج النهائي.

3. المساهمات الرئيسية

• التحليل المنهجي لتباين الرموز: أول دراسة شاملة تكشف أن تباينات الرموز البصرية داخل النماذج اللغوية البصرية الكبيرة تظهر خصائص مستقلة عن المهمة وتُشفر طبيعياً معلومات الأهمية، بشكل مستقل عن موقع الرمز.
• القضاء على التحيز الموضعي: من خلال الاعتماد على التباين الجوهري بدلاً من أوزان الانتباه، يتجنب V2Drop بشكل طبيعي تحيز "نهاية التسلسل" السائد في الطرق الموجهة بالانتباه، مما يضمن الاحتفاظ برموز ذات صلة دلالية وموزعة مكانياً بشكل موحد.
• الكفاءة والتوافق: يلغي V2Drop الحاجة إلى حساب أوزان الانتباه، مما يجعله متوافقاً تماماً مع FlashAttention والمعاملات الفعالة الأخرى. وينتج عن ذلك تقليل في ذروة استخدام الذاكرة مقارنة بطرق الضغط القائمة على الانتباه.
• تصميم جاهز للاستخدام (Plug-and-Play): لا تتطلب الطريقة إعادة تدريب النموذج اللغوي البصري الكبير ويمكن تطبيقها على نماذج متنوعة (مثل LLaVA و Qwen2-VL) ومهام مختلفة (فهم الصور والفيديو).

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق على عدة معايير (GQA, MME, MMBench, TextVQA, VideoMME, إلخ) باستخدام نماذج مثل LLaVA-1.5-7B و Qwen2-VL-7B و LLaVA-OneVision.

• الحفاظ على الأداء:
  • فهم الصور: يحتفظ V2Drop بـ 94.0% من الأداء الأصلي حتى عند تقليل الرموز بنسبة 77.8% (الاحتفاظ بـ 128 رمزاً فقط). وهو يتفوق على الطرق المتطورة مثل PDrop و SparseVLM.
  • فهم الفيديو: يحافظ على 98.6% من الأداء الأصلي مع الاحتفاظ بـ 25% فقط من الرموز في VideoMME، متفوقاً بشكل كبير على النماذج المرجعية في مهام الفيديو الطويلة حيث يكون التحيز الموضعي أكثر ضرراً.
• مكاسب الكفاءة:
  • تقليل زمن الاستجابة (Latency): يقلل V2Drop من زمن استجابة توليد النموذج اللغوي الكبير بنسبة 31.5% للصور و 74.2% للفيديوهات.
  • الإنتاجية (Throughput): يحقق سرعة استنتاج تصل إلى 1.87 ضعفاً لمهام الفيديو.
  • الذاكرة: على عكس الطرق التي تزيد من ذروة الذاكرة بسبب حسابات الانتباه، يقلل V2Drop أو يحافظ على ذروة استخدام ذاكرة وحدة معالجة الرسومات لتكون مقاربة للإسقاط العشوائي.
• دراسات الاستئصال (Ablation Studies):
  • اختيار المقياس: وفر معيار L2 أفضل توازن بين الأداء والكفاءة.
  • التدريجي مقابل لمرة واحدة: تفوق الإسقاط التدريجي بشكل كبير على الإسقط لمرة واحدة، مما يثبت أن الاختيار التدريجي يحافظ على المعلومات البصرية بشكل أفضل.

5. الأهمية

يمثل V2Drop تحولاً جوهرياً في استراتيجيات ضغط الرموز للنماذج اللغوية البصرية الكبيرة. فمن خلال الابتعاد عن الاستدلال القائم على الانتباه الذي يعاني من التحيز الموضعي والأعباء الحسابية، فإنه يقدم حلاً قوياً، ومبنياً على أسس نظرية، وعالي الكفاءة.

• القابلية للتوسع: يتيح نشر النماذج اللغوية البصرية الكبيرة على الأجهزة ذات الموارد المحدودة وللمهام ذات السياق الطويل (الصور عالية الدقة، الفيديوهات التي تستغرق ساعات) دون تغيير في البنية الهيكلية.
• القدرة على التعميم: مبدأ "الإدراك للتباين" (variation-aware) هو مبدأ مستقل عن النموذج، مما يشير إلى اتجاه جديد لأبحاث المستقبل في كفاءة الاستنتاج متعدد الوسائط التي تعطي الأولوية لديناميكيات الرموز الجوهرية على الإشارات الخارجية.