Frequency-Modulated Visual Restoration for Matryoshka Large Multimodal Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "الترميم البصري بتعديل التردد لنماذج ماتريوشكا متعددة الوسائط الضخمة" (FMVR).

1. بيان المشكلة

تعتمد النماذج متعددة الوسائط الضخمة (LMMs)، مثل LLaVA، على مشفرات بصرية لتحويل الصور إلى رموز (tokens) منفصلة، والتي يتم معالجتها بعد ذلك بواسطة نموذج لغوي ضخم (LLM). ورغم فعالية هذا النهج، إلا أنه يواجه تحديين حرجين:

• الأعباء الحسابية: غالبًا ما يكون عدد الرموز البصرية كبيرًا (على سبيل المثال، 576 رمزًا لصورة بحجم 336×336 في LLaVA-1.5). وبما أن الوقت الحسابي واستهلاك الذاكرة يتزايدان تربيعيًا مع طول التسلسل، فإن أعداد الرموز المرتفعة تعيق بشكل كبير كفاءة الاستدلال والقابلية للتوسع، خاصة للصور عالية الدقة أو الفيديو.
• الفقدان الدلالي في الضغط: تحاول الطرق الحالية تقليل أعداد الرموز عبر التقليم (pruning) أو الضغط. ومع ذلك، تؤدي هذه الاستراتيجيات حتمًا إلى فقدان الدلالات البصرية، لا سيما التفاصيل الدقيقة والإشارات البصرية الضعيفة. وتوضح الورقة عبر تقنية Grad-CAM أن تقليل الرموز (مثلًا من 576 إلى 36) يسبب تدهورًا ملحوظًا في التركيز البصري، مما يؤدي إلى الهلوسة وضعف الاستدلال في المهام اللاحقة.

2. المنهجية

يقترح المؤلفون FMVR (الترميم البصري بتعديل التردد)، وهي استراتيجية قابلة للتركيب والتشغيل (plug-and-play) مصممة لاستعادة الدلالات البصرية من الرموز المضغوطة. تتكامل هذه الطريقة مع تعلم تمثيل ماتريوشكا (MRL) لتمكين التعديل المرن للرموز.

أ. بناء الرموز البصرية بنظام ماتريوشكا

بدلاً من أعداد الرموز الثابتة، يقوم النموذج ببناء رموز بصرية متداخلة ($S_i \in \{1, 9, 36, 144, 576\}$) عن طريق تطبيق تجميع (pooling) تدريجي بمقدار $2\times2$ وبخطوة قدرها 2. يسمح هذا للنموذج بتعديل عدد الرموز ديناميكيًا أثناء الاستدلال بناءً على الميزانيات الحسابية.

ب. الترميم البصري بتعديل التردد (FMVR)

يتم حقن FMVR في عمليات التجميع لتفكيك وتعديل مكونات التردد، مما يعمل على استعادة الدلالات المفقودة. وتتكون من وحدتين متوازيتين:

1. وحدة التجميع المتوسط (AvgPool Unit) (تعزيز البروز):

   • الآلية: تطبق التجميع المتوسط لاستخراج المكون منخفض التردد ($X^l_A$)، والذي يمثل السياق الدلالي العالمي.
   • الترميم: تحسب المتبقي ($X^h_A = X - X^l_A$) للحصول على المكون عالي التردد، والذي يعمل كـ مرشح للبروز (saliency filter).
   • التعديل: يتم تعديل المكون عالي التردد بواسطة معاملات قابلة للتعلم ($W^h_A$) ويُستخدم كخريطة انتباه لتعزيز تنشيط المناطق البصرية البارزة في المدخلات الأصلية ضربيًا.
   • الهدف: تعزيز الميزات البصرية المهيمنة والبارزة التي قد تضعف أثناء عملية الضغط.

2. وحدة التجميع الأقصى (MaxPool Unit) (تعزيز مضاد للبروز):

   • الآلية: تطبق التجميع الأقصى لاستخراج المكون عالي التردد ($X^h_M$)، والذي يمثل الميزات المحلية الأكثر أهمية.
   • الترميم: تحسب المتبقي ($X^l_M = X - X^h_M$) للحصول على المكون منخفض التردد، والذي يعمل كـ مرشح مضاد للبروز (anti-saliency filter).
   • التعديل: يتم تعديل المكون منخفض التردد بواسطة معاملات قابلة للتعلم ($W^l_M$) ويُستخدم لإعادة تنشيط الدلالات البصرية الضعيفة والمثبطة.
   • الهدف: منع الميزات البارزة القوية من طمس التفاصيل الدقيقة (مثل النصوص أو الأجسام الصغيرة) من خلال تقوية الإشارات الضعيفة بشكل صريح.

مجموعة الرموز المستعادة النهائية هي مجموع مخرجات كلتا الوحدتين.

3. المساهمات الرئيسية

• تحليل تقليل الرموز: تحدد الورقة وتوضح بصريًا أن تقليل الرموز البصرية يؤدي إلى تدهور قدرة النموذج على التركيز على الدلالات البصرية الدقيقة، مما يسبب الهلوسة.
• نموذج الترميم البصري: يعد هذا أول عمل يصيغ "الترميم البصري" خصيصًا للنماذج متعددة الوسائط الضخمة المضغوطة بالرموز، معالجًا التدهور الدلالي الناتج عن ندرة الرموز.
• آلية FMVR: طريقة بسيطة وقابلة للتركيب والتشغيل تفكك التمثيلات البصرية إلى مكونات منخفضة وعالية التردد. تستخدم التجميع المتوسط لتعزيز البروز والتجميع الأقصى لاستعادة الدلالات الضعيفة، مما يثري التمثيلات البصرية بحد أدنى من المعاملات.
• التكامل مع MRL: من خلال دمج FMVR مع تعلم تمثيل ماتريوشكا، يحقق النموذج استدلالًا بصريًا مرنًا، مما يسمح بتعديل عدد الرموز ديناميكيًا أثناء الاستدلال دون الحاجة لإعادة التدريب، مع الحفاظ على الأداء العالي.

4. النتائج التجريبية

قام المؤلفون بتقييم FMVR-LLaVA على 10 اختبارات معيارية تعتمد على الصور (مثل VQAv2، GQA، MME، MMVet) و4 اختبارات معيارية للفيديو.

• الكفاءة مقابل الدقة:
  • يقلل FMVR-LLaVA العمليات الحسابية (FLOPs) لنموذج LLaVA-1.5-7B بنسبة 89% (باستخدام 36 رمزًا مقابل 576 رمزًا) مع الحفاظ على ~100% من الدقة الأصلية.
  • باستخدام 36 رمزًا فقط، يتفوق FMFR-LLaVA على جميع طرق تقليم الرموز الأخرى (مثل FastV، وPyramidDrop، وSparseVLM)، بل ويتفوق على النموذج الأساسي LLaVA-1.5 (576 رمزًا) بنسبة 0.8% في المتوسط عبر 10 اختبارات معيارية.
  • حتى مع وجود رمز واحد فقط، يتفوق الأسلوب على العديد من النماذج المتطورة (مثل InstructBLIP وQwen-VL).
• الدقة العالية والفيديو:
  • في LLaVA-NeXT-7B (عالي الدقة)، يحقق FMVR مع 720 رمزًا أداءً مقاربًا (65.0%) للنموذج الأساسي الذي يستخدم 2880 رمزًا (65.2%).
  • في فهم الفيديو، يتفوق FMFR-LLaVA على Video-LLaVA بنسبة 5.1% في مهام الإجابة على الأسئلة مع استخدام عدد أقل بكثير من الرموز.
• دراسات الاستئصال (Ablation Studies): يؤدي إزالة وحدة التجميع المتوسط أو وحدة التجميع الأقصى إلى انخفاض في الأداء، مما يؤكد أن كلاً من مرشحات البروز ومضادات البروز ضرورية للترميم الدلالي الكامل.

5. الأهمية

تعالج هذه الورقة عقبة أساسية في نشر النماذج متعددة الوسائط الضخمة: المقايضة بين التكلفة الحسابية والدقة البصرية.

• القابلية للتوسع: تمكن النماذج (LMMs) من العمل بكفاءة على الأجهزة ذات الموارد المحدودة (مثل الهواتف المحمولة) من خلال ضبط أعداد الرموز ديناميكيًا دون التضحية بقدرات الاستدلال.
• الحفاظ على الدلالات: على عكس طرق الضغط السابقة التي تتخلص ببسا simply من الرموز، يقوم FMVR بـ ترميم المعلومات المفقودة بنشاط من خلال تعديل التردد، مما يضمن الحفاظ على التفاصيل البصرية البارزة والدقيقة على حد سواء.
• القدرة على التعميم: الطريقة مستقلة عن النموذج وقابلة للتركيب والتشغيل، وقد ثبتت فعاليتها عبر مختلف هياكل LLM (مثل Vicuna-7B، 13B) والهياكل المتقدمة (مثل Qwen2.5-VL).

باخت-صار، يقدم FMVR حلاً مبتكرًا لـ "لعنة الرموز" في النماذج متعددة الوسائط الضخمة، ويثبت أنه يمكن الحفاظ على الاستدلال عالي المستوى حتى مع التقليل الشديد للرموز البصرية من خلال الترميم الدلالي الذكي القائم على التردد.