Rethinking Token Reduction for Large Vision-Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "إعادة التفكير في تقليص الرموز (Tokens) لنماذج الرؤية واللغة الكبيرة" (MetaCompress).

1. بيان المشكلة

تتفوق نماذج الرؤية واللغة الكبيرة (LVLMs) في الاستدلال البصري، لكنها تعاني من تكاليف استدلال عالية بسبب العدد الهائل من الرموز البصرية الناتجة، خاصة عند استخدام أبراج رؤية متعددة المقاييس (مثل LLaVA-NeXT وInternLM-XComposer-2.5). وتتصاعد التعقيد الحسابي لآلية الانتباه الذاتي (self-attention) بشكل تربيعي ($O(n^2)$) مع طول التسلسل، مما يجعل النشر في الوقت الفعلي أو في البيئات محدودة الموارد أمراً صعباً.

وعلى الرغم من وجود طرق حالية لتقليص الرموز، إلا أنها تواجه قيوداً حرجة في سيناريوهات الإجابة على الأسئلة البصرية متعددة الجولات (MT-VQA):

• الطرق المعتمدة على المطالبة (Prompt-Dependent) (مثل FastV): تعتمد هذه الطرق على المطالبة النصية الأولية لتحديد الرموز التي يجب الاحتفاظ بها. وفي الحوارات متعددة الجولات، تكون الأسئلة اللاحقة غير معروفة في البداية وقد تشير إلى مناطق عشوائية في الصورة (على سبيل المثال، تفاصيل الخلفية التي تم تجاهلها في الجولة الأولى). وبناءً على ذلك، تقوم هذه الطرق بالتخلص من المعلومات الحيوية اللازمة للجولات اللاحقة.
• الاستدلالات المستقلة عن المطالبة (Prompt-Agnostic Heuristics) (مثل PruMerge): تعتمد هذه الطرق على استدلالات مصممة يدوياً، مثل درجات الانتباه لرمز [CLS] أو رموز المطالبة، لتقليم أو دمج الرموز. ويرى المؤلفون أن هذه الاستدلالات غير مثالية لأنها لا تضمن نظرياً الحفاظ على المعلومات الضرورية للاستعلامات المستقبلية غير المرئية.

2. المنهجية: MetaCompress

يقترح المؤلفون MetaCompress، وهو إطار عمل لتقليص الرموز يعتمد على التعلم، وهو مستقل عن المطالبة، حيث يعامل تقليص الرموز كعملية رسم خرائط ضغط قابلة للتعلم بدلاً من كونها عملية اختيار استدلالية.

الصياغة الجوهرية

يوحد المؤلفون عمليات تقليم الرموز ودمجها في صياغة إسقاط خطي واحدة:
$$\tilde{X}_{IMG} = P X_{IMG}$$
حيث $X_{IMG}$ هو تسلسل الرموز البصرية المدخل، و$\tilde{X}_{IMG}$ هو التسلسل المضغوط، و$P \in \mathbb{R}^{m \times n}$ هي مصفوفة ضغط متفرقة ($m \ll n$).

المكونات الرئيسية

1. رؤية من التحليل الأولي:

   • قام المؤلفون أولاً بتدريب مصفوفة ضغط مثالية $P^*$ لكل صورة على حد ของ لتقليل تباعد KL بين مخرجات نموذج اللغة الكبير (LLM) باستخدام الرموز المضغوطة مقابل غير المضغطة.
   • النتيجة: أظهرت الرموز التي احتفظت بها $P^*$ المثالية عدم وجود ارتباط معنوي مع درجات الانتباه الاستدلالية (مثل الانتباه لـ [CLS] أو رموز المطالبة). وقد أثبت هذا تجريبياً أن معايير الاستدلال الحالية غير مثالية لسيناريوهات MT-VQA.

2. بنية المولد الفائق (Meta-Generator Architecture - $P_{meta}$):

   • بدلاً من تعلم مصفوفة فريدة لكل صورة، يتعلم MetaCompress مولداً $P_{meta}$ ينتج مصفوفة الضغط $P$ بناءً فقط على التسلسل البصري $X_{IMG}$.
   • البنية: تتكون من طبقة تضمين الموضع (position embedding layer)، وإسقاط خفض عينات الاستعلام ($\tilde{D}_q$)، وإسقاط المفتاح ($D_k$)، وطبقة ضرب داخلي موزونة.
   • الآلية: تقوم بحساب الضرب الداخلي بين الاستعلامات والمفاتيح التي تم خفض عينات توزيعها مكانياً لتوليد $P$. وهذا يسمح للنموذج بالتكيف مع دقات الصور المتغيرة وأعداد الرموز ديناميكياً دون إعادة تدريب.

3. نموذج التدريب:

   • الهدف: تقليل التفاوت في التنبؤ (تباعد KL) بين المخرجات الأصلية والمضغوطة.
   • التنظيم (Regularization): لمنع النموذج من الانهيار إلى حلول تافهة (مثل اختيار مصدر رمز واحد فقط)، قدم المؤلفون:
     • فقدان الإنتروبيا ($L_{entropy}$): يشجع على التنوع في اختيار الرموز.
     • تنظيم الانهيار ($L_{collapse}$): يمنع مصفوفة الضغط من تركيز جميع الأوزان على عمود واحد.
   • كفاءة البيانات: تم تدريب النموذج على مجموعة فرعية صغيرة (~20 ألف عينة) من MT-GQA وMT-VQA-v2، مما أظهر كفاءة عالية في البيانات.

3. المساهمات الرئيسية

1. إعادة تقييم تقليص الرموز: تعد هذه الورقة الأولى التي تستكشف بشكل منهجي تقليص الرموز في سيناريو MT-VQA، كاشفةً أن الطرق الاستدلالية التي تعتمد على درجات الانتباه هي دون المستوى الأمثل جوهرياً للتفاعلات متعددة الجولات.
2. إطار عمل MetaCompress: يقترح طريقة مبتكرة تعتمد على التعلم، ومستقلة عن المطالبة، توحد التقليم والدمج في رسم خرائط ضغط قابل للتعلم، مما يلغي الاعتماد على الاستدلالات المصممة يدوياً.
3. تدريب عالي الكفاءة في البيانات: يقدم نموذج تدريب خفيف الوزن يتعلم خرائط الضغط المثالية بأقل تكلفة حسابية ومتطلبات بيانات، مع الحفاظ على التوافق مع نماذج LVLM الحديثة متعددة المقاييس.
4. تعميم فائق: يثبت أن استراتيجية الضغط المتعلمة تتعمم بشكل جيد عبر مختلف جولات الحوار، ومجموعات البيانات، وبنيات النماذج دون الحاجة لضبط دقيق خاص بالمهمة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير لـ MT-VQA وهي (MT-VQA-v2، MT-GQA، ConvBench) عبر خمس بنيات لـ LVLM (وهي LLaVA-1.5، LLaVA-NeXT، وInternLM-XComposer-2.5).

• الدقة: تفوق MetaCompress باستمرار على النماذج المرجعية (Random, Sample, FastV, PruMerge) عبر جميع النماذج ومعدلات التقليص (50%–95%).
  • مثال: في نموذج LLaVA-NeXT-7b مع تقليص بنسبة 90%، حقق MetaCompress متوسط دقة قدره 75.18% في MT-GQA، متفوقاً بشكل كبير على FastV (50.31%) وPruMerge (غير قابل للتطبيق على هذه البنية).
  • حافظ على أداء قوي حتى في ConvBench، وهو معيار لم يتم التدريب عليه، مما يثبت القدرة العالية على الانتقال (transferability).
• الكفاءة:
  • حقق سرعة استدلال مقاربة (الوقت حتى أول رمز والوقت الإجمالي) واستخدام ذاكرة مشابه لأسلوب (Random/Sample) الأكثر كفاءة.
  • قلل العمليات الحسابية (FLOPs) بنسبة تقارب 80% (على سبيل المثال، من 71.4 TFLOPs إلى 13.3 TFLOPs لنموذج LLaVA-1.5-7b عند تقليص 90%) دون التدهور في الدقة الذي شهدته الطرق الاستدلالية.
• دراسات الاستئصال (Ablation Studies): أكدت أن جميع حدود الفقد الثلاثة (Prediction Discrepancy, Entropy, Collapse) ضرورية للأداء الأمثل. حيث أدى إزالة تنظيم الانهيار إلى تباعد التدريب.

5. الأهمية

• تحول في النموذج الفكري: ينقل تقليص الرموز من "الاختيار الاستدلالي" (بناءً على الأولويات البشرية مثل درجات الانتباه) إلى "التحسين القابل للتعلم" (رسم خرائط مدفوعة بالبيانات).
• العملية في الحوار: يحل عقبة حرجة أمام نشر نماذج LVLM في الوكلاء الحواريين في العالم الحقيقي حيث تكون الأسئلة المستقبلية غير متوقعة.
• القابلية للتوسع: الطريقة متوافقة مع نماذج LVLM المعقدة والحديثة التي تستخدم أبراج رؤية متعددة المقاييس، والتي غالباً ما فشلت طرق التقليم السابقة في دعمها.
• كفاءة الموارد: يوفر مساراً لنشر نماذج LVLM عالية الأداء على الأجهزة ذات الموارد المحدودة من خلال تقليل عبء الذاكرة والحوسبة بشكل جذري مع الحفاظ على قدرات الاستدلال عبر السياقات متعددة الجولات.

في الختام، يضع MetaCompress معياراً جديداً لكفاءة استدلال LVLM في سيناريوهات الحوار من خلال إثبات أن الضغط المستقل عن المطالبة والقابل للتعلم يتفوق على الاستراتيجيات الاستدلالية المعتمدة على المطالبة.