MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

إليك ملخص تقني مفصل لورقة البحث "MMTOK: MULTIMODAL COVERAGE MAXIMIZATION FOR EFFICIENT INFERENCE OF VLMS" (ICLR 2026).

1. بيان المشكلة

تقوم نماذج الرؤية واللغة (VLMs) بتحويل المدخلات المرئية إلى عدد كبير من "رموز الرؤية" (vision tokens) للاستفيد من النماذج اللغوية الكبيرة (LLMs) في الفهم. ومع ذلك، يؤدي هذا إلى خلق اختناق كبير:

• التكرار (Redundancy): رموز الرؤية تكرارية للغاية مقارنة برموز النصوص. على سبيل المثال، يمكن لصورة واحدة في LLaVA-NeXT أن تولد 2,880 رمز رؤية لاستعلام يحتوي على أقل من 10 رموز نصية.
• عدم الكفاءة: تعتمد النماذج اللغوية الكبيرة على آليات الانتباه الذاتي ذات التعقيد الحسابي التربيعي بالنسبة لإجمالي عدد الرموز. حجم رموز الرؤية الهائل يؤدي بشدة إلى تدهور سرعة الاستنتاج وزيادة استخدام الذاكرة.
• قصور الطرق الحالية: استراتيجيات تقليم الرموز (token pruning) الحالية هي في الغالب أحادية الوسائط (unimodal).
  • طرق الرؤية فقط (Vision-only): (مثل FastV، وVisionZip، وDivPrune) تعتمد على درجات الانتباه أو التنوع داخل الصورة، وغالباً ما تتجاهل الاستعلام المحدد.
  • طرق النص فقط (Text-only): (مثل SparseVLM) تستخدم انتباه النص-إلى-الرؤية ولكنها تتجاهل البنية العالمية للصورة.
  • الفجوة: تفشل هذه النهج في التقاط الطبيعة متعددة الوسائط (multimodal) المتأصلة لمهام نماذج الرؤية واللغة، حيث تعتمد صلة منطقة معينة من الصورة بالاستعلام على كل من المحتوى المرئي والتعليمات النصية المحددة.

2. المنهجية: MMTok

يقترح المؤلفون MMTok، وهو إطار عمل لا يتطلب تدريباً (training-free) يقوم باختيار مجموعة فرعية معلوماتية من رموز الرؤية عن طريق تعظيم التغطية متعددة الوسائط (multimodal coverage). الفكرة الجوهرية هي صياغة اختيار الرموز كـ مسألة تغطية قصوى (Maximum Coverage Problem).

الإطار الجوهري

يهدف الأسلوب إلى اختيار مجموعة فرعية $S$ من رموز الرؤية التي تعظم تغطية مجموعتين مستهدفتين في آن واحد:

1. الرموز النصية (Text Tokens): ضمان أن تكون رموز الرؤية المختارة ذات صلة دلالية باستعلام المستخدم.
2. رموز الرؤية الأصلية (Original Vision Tokens): ضمان أن تحافظ المجموعة الفرعية المختارة على المعلومات العالمية للصورة بأكملها.

المكونات التقنية

يعمل إطار العمل في ثلاث مراحل رئيسية:

أ. التغطية القصوى بين النص والرؤية ($M^{tv}$)

• الهدف: اختيار رموز الرؤية التي تغطي أفضل ما يمكن دلالات الاستعلام النصي.
• التشابه: يحسب مصفوفة التشابه بين الرموز النصية ($t$) ورموز الرؤية ($v$) بعد طبقة الإسقاط (للتوافق مع فضاء مدخلات النموذج اللغوي الكبير).
• الصيغة: $M^{tv}_{i,j} = t_i^\top v_j$.

ب. التغطية القصوى بين الرؤية والرؤية ($M^{vv}$)

• الهدف: اختيار رموز الرؤية التي تمثل الصورة بأكملاء بشكل أفضل (للتعامل مع الاستعلامات الغامضة مثل "صف الصورة").
• التشابه: يحسب مصفوفة التشابه بين رموز الرؤية قبل طبقة الإسقاط ($v'$) لالتقاط العلاقات المرئية الصرفة دون تدخل النص.
• الصيغة: $M^{vv}_{i,j} = (v'_i)^\top v'_j$.

ج. الدمج متعدد الوسائط والتحسين (Multimodal Fusion and Optimization)

• المعايرة (Calibration): بما أن $M^{tv}$ و $M^{vv}$ لهما مقاييس وتوزيعات مختلفة، يتم معايرتهما باستخدام Softmax مع معاملات درجة الحرارة ($\tau_t, \tau_v$) لإنشاء مصفوفات معايرة $M^{tv'}$ و $M^{vv'}$.
• دالة الهدف (Objective Function): دالة الهدف النهائية هي مجموع موزون لدالتي التغطية:
  $$f(S; M^{tv'}, M^{vv'}) = f(S; M^{tv'}) + \alpha f(S; M^{vv'})$$
  حيث يوازن $\alpha$ بين الصلة بالنص واكتمال الرؤية.
• الضمان النظري: ثبت أن دالة الهدف هي تحت نمطية (submodular). ورغم أن المسألة هي مسألة NP-hard، إلا أن خوارزمية جشعة (greedy algorithm) بسيطة (الخوارزمية 2) تضمن حلاً ضمن $(1 - 1/e) \approx 63\%$ من الحل الأمثل.
• التعقيد: تعمل عملية الاختيار الجشعة في زمن قدره $O(kn)$، حيث$k$هو عدد الرموز المراد اختيارها و$n$ هو إجمالي الرموز، مما يجعلها عالية الكفاءة.

3. المساهمات الرئيسية

1. صياغة التغطية متعددة الوسائط: أول من صاغ اختيار رموز الرؤية كمسألة تغطية قصوى تجمع صراحة بين التشابه النصي-الرؤيوي والتشابه الرؤيوي-الرؤيوي.
2. الكفاءة النظرية: يستفيد من خاصية "تحت النمطية" لتوفير ضمان نظري لخوارضية الاختيار الجشعة، مما يضمن أداءً قريباً من الأمثل مع عبء حسابي منخفض.
3. نموذج لا يتطلب تدريباً (Training-Free): على عكس الطرق التي تتطلب ضبطاً دقيقاً أو تدريباً إضافياً، يعمل MMTok بالكامل على النماذج المدربة مسبقاً، مما يجعله قابلاً للاستخدام المباشر (plug-and-play).
4. التكامل (Complementarity): يثبت أن الاختيار الموجه بالنص والاختيار القائم على التنوع البصري هما أمران متكاملان؛ حيث يؤدي الجمع بينهما إلى نتائج متفوقة مقارنة بالنماذج أحادية الوسائط الأساسية.

4. النتائج التجريبية

تم تقييم الطريقة على معايير متنوعة (MMBench, POPE, MME, GQA, إلخ) عبر عدة بنيات لنماذج الرؤية واللغة (LLaVA-1.5, LLaVA-NeXT, Qwen-2.5-VL).

• الحفاظ على الأداء:

  • في LLaVA-NeXT-13B، حقق MMTok تسريعاً بمقدار 1.87× مع الحفاظ على 98.7% من الأداء الأصلي في مجموعة بيانات POPE.
  • في LLaVA-1.5-7B، ومع استخدام 4 رموز رؤية فقط (تقليل من 576 إلى 4)، حافظت الطريقة على 87.7% من الأداء الأصلي.
  • عبر مختلف ميزانيات الرموز (64، 128، 192 رمزاً)، تفوق MMTok باستمرار على أفضل الطرق المرجعية (VisionZip, DivPrune, SparseVLM) بفوارق واضحة (على سبيل المثال، +1.8% على DivPrune عند 64 رمزاً).

• المهام ذات المساهمة العالية للصور (High-IC):

  • في المهام التي تكون فيها الصورة حاسمة (مجموعات بيانات High-IC مثل POPE و MME)، حافظ MMTok على حوالي 80% من الأداء باستخدام رمزين فقط من الرؤية، متفوقاً بشكل كبير على الطرق أحادية الوسائط التي انخفضت إلى حوالي 40-50%.

• الكفاءة:

  • وقت الاستنتاج: قلل وقت الاستنتاج بنسبة ~50% في POPE.
  • الذاكرة: قلل استخدام ذاكرة وقت التشغيل بنسبة >58% مقارم بالنموذج الأساسي.
  • العبء الإضافي (Overhead): عملية اختيار الرموز نفسها ضئيلة جداً (أقل من 7 مللي ثانية حتى لـ 2880 رمزاً).

• المتانة (Robustness):

  • فعال في Qwen-2.5-VL-7B، وهو نموذج يستخدم بالفعل دقة ديناميكية ودمج للرموز، مما يثبت أنه حتى الرموز المضغوطة للغاية تحتوي على مزيد من التكرار.
  • فعال في المحادثات متعددة الأدوار، حيث تضمن التغطية (رؤية-رؤية) بقاء الرموز المختارة ذات صلة بالأسئلة اللاحقة التي لم تُذكر صراحة في المطالبة الأولى.

5. الأهمية

يعالج MMTok اختناقاً حرجاً في نشر نماذج الرؤية واللغة: التكلفة الحسابية لمعالجة الصور عالية الدقة. من خلال إدراك أن اختيار الرموز هو بطبيعته مسألة متعددة الوسائط، تنقل الورقة النموذج من تقليم أحادي الوسيط إلى التغطية متعددة الوسائط.

• الأثر العملي: يتيح استنتاج نماذج الرؤية واللغة في الوقت الفعلي على الأجهزة الطرفية (edge devices) أو الخوادم ذات الإنتاجية العالية من خلال تقليل عدد الرموز بشكل جذري دون إعادة تدريب النماذج.
• الرؤية النظرية: يثبت أن النهج الجشع لتعظيم الدوال تحت النمطية كافٍ لمهام الاختيار متعددة الوسائط المعقدة، مما يوفر أساساً نظرياً قوياً لبنيات نماذج الرؤية واللغة الأكثر كفاءة في المستقبل.
• الاتجاه المستقبلي: يشير المؤلفون إلى أن الاختيار "المدرك للصعوبة" (تكييف عدد الرموز بناءً على صعوبة السؤال) واستخدام وكلاء خفيفي الوزن لتوليد أهداف نصية أغنى هي اتجاهات مستقبلية واعدة.

باختيداً، يوفر MMTok حلاً فعالاً ومبنياً على أسس رياضية، وعالي الفعالية لتسريع استنتاج نماذج الرؤية واللغة من خلال اختيار أكثر رموز الرؤية إخبارية بناءً على كل من المحتوى المرئي وقصد المستخدم.