ملخص تقني: كم عدد الرموز البصرية التي تحتاجها النماذج اللغوية متعددة الوسائط؟ توسيع نطاق تقليم الرموز البصرية باستخدام F3A

1. بيان المشكلة

مع توسع حجم وقدرات النماذج اللغوية متعددة الوسائط (VLMs)، أصبحت هذه النماذج تعتمد بشكل متزايد على تسلسلات طويلة من الرموز البصرية لتحقيق إدراك دقيق (مثل التعرف الضوئي على الحروف OCR، فهم المخططات، وتحليل الفيديو). ومع ذلك، تفرض هذه التسلسلات الممتدة تكاليف حوسبة كبيرة، حيث تهيمن على حسابات مرحلة الـ prefill، وتزيد من حجم ذاكرة التخزين المؤقت لـ KV، وترفع زمن الاستج de النهائي.

السؤال المركزي الذي يتناوله هذا العمل هو: مع نمو النماذج متعددة الوسائط، ما هو عدد الرموز البصرية المطلوبة فعليًا، وكيف ينبغي تخصيصها في ظل ميزانية محددة للرموز البصرية؟

تتعامل طرق التقليم الحالية التي لا تتطلب تدريبًا (مثل FastV، وVisionZip، وDivPrune، وCDPruner) عادةً مع تقليم الرموز كمسألة ترتيب ثابت أو اختيار لمجموعة فرعية بناءً على إشارات تقريبية أحادية المرحلة مثل انتباه فك التشفير (decoder attention)، أو التشابه البصري، أو التنوع الشرطي. ويرى المؤلفون أن هذه النهج غير مكتملة، خاصة في حالات الضغط الشديد. فقيمة الرمز ليست مجرد دالة لبروزه أو تكراره فحسب، بل تعتمد على الأدلة التي يقدمها للاستعلام الحالي. غالبًا ما تفشل الطرق القياسية في تخصيص الرموز ديناميكيًا عبر الصورة بناءً على المهمة المحددة، مما يؤدي إلى أداء دون المستوى عندما تكون ميزانيات الرموز ضيقة.

2. المنهجية: خوارزمية البحث عن الطعام لذبابة الفاكهة (F3A)

يقترح البحث F3A، وهو موجه (router) لا يتطلب تدريبًا يعيد صياغة تقليم الرموز البصرية كعملية بحث عن الأدلة مشروطة بالمهمة. مستلهمًا من خوارمايات البحث عن الطعام لدى ذبابة الفاكهة، تعمل F3A بعد برج الرؤية (vision tower) وقبل أن يستهلك النموذج اللغوي الرموز الصورية. وهي لا تتطلب تدريب النموذج، ولا تمرات إضافية للنموذج اللغوي الكبير (LLM)، ولا تغييرات في مسار فك التشفيد.

تتكون الطريقة من ثلاث مراحل متتالية:

أ. بناء حقل رائحة المهمة (Task Odor Field)

تبني F3A خريطة أدلة عالمية منخفضة التكلفة (حقل الرائحة) فوق الرموز البصرية.

• إشارات الرائحة: بدلاً من الانتباه المتعلم، تستخدم F3A قوالب حتمية وطبقة التجزئة/التضمين المجمدة للنموذج الأساسي لتوليد استعلامات أدلة خفيفة الوزن. وتشمل هذه: إشارة عالمية (سياق السؤال الكامل)، وإشارة مستهدفة (الكيان المستعلم عنه)، وإشارة مهمة (مثل OCR، أو العد، أو العلاقات المكانية).
• الاستشعار المتناثر: يتم مطابقة الإشارات مع رموز الشبكة البصرية باستخدام رؤوس استشعار متناثرة مجمدة (إسقاطات عشوائية). وهذا يولد درجة دليل عددية ($a_i$) لكل رمز، تمثل الأدلة ذات الصلة بالطلب دون الحاجة إلى تحديثات التدرج (gradient updates).

ب. عملية البحث عن الطعام ثلاثية المراحل

تقوم F3A بتخصيص ميزانية ثابتة للرموز ($K$) من خلال ثلاثة عوامل تشغيل:

1. البحث الأولي (الاستكشاف - Coarse Search):
   يتم تقسيم الشبكة البصرية إلى نوافذ غير متداخلة. يتم تقييم النوافذ بناءً على متوسط قيمة الرائحة فيها. تُختار النوافذ الأعلى لتشكيل مجموعة مرشحة ($P_1$)، ويتم الاحتفاظ بمجموعة فرعية "سقالة" ($S_1$) لضمان التغطية المكانية. هذا يتجنب الالتزام المفرط بالرموز عالية الدرجة المعزولة في وقت مبكر جدًا.

2. الإغلاق البصري (الاستغلال المحلي - Visual Lock-on):
   داخل المجموعة المرشحة الأولية، تقوم F3A بتنقيح الاختيار لتأكيد الأدلة المحلية وكبح التكرار.

• الدعم المحلي: يتم تقييم الرموز بناءً على الدعم في الجوار والاتفاق مع إشارات المهمة.
• تثبيط العودة (Inhibition of Return): يتم تطبيق عقوبة تكرار بناءً على التشابه البصري والتقارب المكاني مع الرموز المختارة بالفعل. هذا يشجع على اختيار أدلة متنوعة ومدعومة محليًا بدلاً من بقع متكتلة ومكررة.

3. قفزة الإنقاذ (الاستكشاف/الاسترداد - Rescue Jump):
   لمنع فقدان الأجسام الصغيرة، أو النصوص الطرفية، أو الأدلة المضادة خارج النوافذ المختارة، يتم حجز جزء من الميزانية ($\alpha_{jump}$).

• عدم اليقين/التغطية: يتم اختيار الرموز بناءً على عدم اليقين العالي (على سبيل المثال، الهوامش الصغيرة بين درجات الخيارات في مهام الاختيار من متعدد) أو انخفاض التغطية بواسطة المجموعة الفرعية الحالية.
• تضمن هذه الخطوة استرداد المناطق غير المغطاة، مما يمنع النموذج من الانهيار نحو مناطق ضيقة عالية الدرجة.

ج. إعادة بناء التسلسل

تستبدل مجموعة الرموز المختارة النهائية كتلة الرموز البصرية الكاملة قبل مرحلة الـ prefill للنموذج اللغوي الكبير. تظل بادئة النص الأصلية، وقالب الطلب، وأوزان النموذج دون تغيير. بالنسبة للنماذج المدركة للشبكة (grid-aware)، يتم ربط مؤشرات الرموز مرة أخرى بإحداثيات الشبكة الأصلية للحفاظ على المعلومات الموضعية.

3. المساهمات الرئيسية

• إعادة صياغة التقليم: يعيد المؤلفون صياغة تقليم الرموز البصرية الذي لا يتطلب تدريبًا كمسألة تخصيص رموز عبر المقاييس بدلاً من كونها مجرد عملية ضغط بسيطة. وقد قيموا الطلب على الرموز عبر نماذج كثيفة ونماذج مختلطة الخبراء (MoE) لتحديد عدد الرموز اللازمة للحفاظ على سلوك الرموز الكاملة.
• موجه F3A: قدموا F3A، وهو موجه أحادي الممر ولا يتطلب تدريبًا، يقوم بالبحث عن الأدلة المشروطة بالمهمة باستخدام إشارات مشروطة بالسؤال، والاستشعار المتناثر، وعملية بحث عن الطعام مستوحاة من الطبيعة (بحث أولي، إغلاق، وإنقاذ).
• التقييم واسع النطاق: تم تقييم الطريقة على نماذج Qwen3-VL التي تتراوح أحجامها من 2 مليار إلى 235 مليار معلمة (تغطي كل من البنى الكثيفة وMoE) عبر 11 معيارًا متعدد الوسائط. كما تم اختبارها على خلفيات Qwen2.5-VL وInternVL3.5 لإثبات قابليتها للنقل.

4. النتائج التجريبية

يغطي التقييم 10 نماذج و3 نسب احتفاظ (60%، 40%، 20%).

• الاحتفاظ بالأداء: عبر جميع أحجام النماذج، تفوقت F3A باستمرار على النماذج المرجعية (FastV، وVisionZip، وDivPrune، وCDPruner).
  • عند نسبة احتفاظ بالرموز البصرية تبلغ 20%، تحتفظ F3A بـ 93.86% من أداء الرموز الكاملة في المتوسط.
  • في أكبر نموذج (Qwen3-VL-235B-A22B)، تحتفظ F3A بـ 93.86% من الأداء حتى بعد إزالة 80% من الرموز البصرية.
• طلب الرموز ذو الدقة الثابتة: عند استهداف 97% من أداء الرموز الكاملة، تتطلب F3A فقط 39.9% من الرموز البصرية في المتوسط، مقارنة بـ 50.1% لأقوى النماذج المنافسة. وفي نموذج 235B، تحقق F3A ذلك بـ 41.2% من الرموز.
• سلوك التوسع: على عكس الطرق الأخرى، تستمر ميزة F3A بل وتنمو مع زيادة حجم النموذج. الزيادة المتوسطة في الدقة مقارنة بأقوى نموذج مرجعي هي قيمة موجبة عبر جميع الإعدادات الـ 18 (نسب الاحتفاظ بالنماذج) التي تم اختبارها.
• الكفاءة: تعمل F3A على تحسين المقايضة بين الدقة وزمن الاستجابة. في نموذج Qwen3-VL-8B عند نسبة احتفاظ 20%، قللت F3A زمن الاستجما النهائي من 354.7 مللي ثانية إلى 274.3 مللي ثانية، وحجم ذاكرة التخزين المؤقت لـ KV من 117.7 ميجابايت إلى 29.0 ميجابايت، مع الحفاظ على أعلى دقة بين طرق التقليم.
• الأهمية الإحصائية: أسفر اختبار الإشارة المزدوج (paired sign-test) عبر 30 إعدادًا لنسب الاحتفاظ بالنماذج عن قيمة p قدرها $1.9 \times 10^{-9}$، مما يؤكد أن F3A تتفوق باستمرار على أقوى نموذج مرجعي غير تابع لـ F3A.

5. الأهمية والادعاءات

يزعم البحث أن الاستدلال القابل للتوسع متعدد الوسائط لا يعتمد فقط على حجم النموذج، بل على التخصيص المنظم بالبحث للأدلة البصرية ذات الصلة بالمهمة.

• المشروط بالمهمة مقابل الثابت: تشير النتائج إلى أن التعامل مع التقليم كمسألة ترتيب ثابت هو أمر غير كافٍ للضغط الشديد. إن نهج "البحث عن الطعام"، الذي يحدد المواقع، ويصقل، ويسترد الأدلة ديناميكيًا بناءً على الاستعلام المحدد، ضروري للحفاظ على قدرة النماذج الأكبر تحت ميزانيات الرموز الضيقة.
• منظور الدقة الثابتة: يجادل العمل بأن الإجابة على سؤال "كم عدد الرموز المطلوبة" ليست نسبة احتفاظ عالمية، بل هي مسألة تخصيص تعتمد على المقياس. تثبت F3A أن التقليم الفعال يسم يسمح للنماذج الأكبر بتحقيق كامل قدراتها بعدد أقل بكثير من الرموز مما كان يُعتقد سابقًا.
• القدرة على التعميم: أظهرت الطريقة أنها قوية عبر عائلات نماذج مختلفة (Qwen3، وQwen2.5، وInternVL) وبنيات مختلفة (Dense وMoE)، مما يشير إلى أن مبدأ البحث عن الأدلة المشروطة بالمهمة هو حل عام لتقليم الرموز متعدد الوسائط.

يخلص المؤلفون إلى أن F3A توفر مسارًا عمليًا لتقليل تكاليف الاستدلال للنماذج متعددة الوسائط دون التضحية بقدرات الإدراك الدقيق التي تقود أداءها.