ملخص تقني: iVGR – استيعان الاستدلال المرتكز بصرياً داخلياً للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عبر التعلم التعزيزي

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) خطوات كبيرة في الاستدلال العام، ومع ذلك فهي تعاني في الإدراك دقيق التفاصيل في المشاهد البصرية عالية الدقة أو المعقدة. وبينما برزت سلسلة الأفكار (CoT) المرتكزة بصرياً كنموذج واعد لتعزيز الإدراك من خلال ربط الاستدلال صراحةً بالمناطق البصرية (عبر عمليات القص الديناميكية أو صناديق الإحاطة)، إلا أن فعاليتها خلال مرحلة الاستنتاج لا تزال غير مستكشفة بشكل كافٍ.

يكشف التحليل التجريبي في هذا العمل عن نتيجة غير متوقعة: إن فرض استخدام صناديق الأشياء الصريحة أو أدوات القص أثناء الاستنتاج غالباً ما يؤدي إلى تدهور الأداء مقارنة بسلسلة الأفكار النصية القياسية.

• النهج القائم على الأدوات (مثل DeepEyes) الذي يستدعي أدوات قص خارجية يعاني عندما يكون تحديد موقع القص ضعيفاً، مما يؤدي إلى إدخال ضوضاء بصرية تضر بالتنبؤ بالإجابة.
• نهج التمركز الصريح (مثل TreeVGR) الذي يتطلب توليد صناديق إحاطة ضمن سلسلة الأفكاء، يتراجع أداؤه باستمرار عن سلسلة الأفكار النصية عبر جميع مستويات جودة التحديد.

يفترض المؤلفون أن قدرة التحديد البصري يمكن استيعابها داخلياً في عملية الاستدلال النصي. إن التوليد الإلزامي للإحداثيات الصريحة أثناء الاستنتاج يسبب تداخلاً غير ضروري، مما يشتت النموذج عن هدفه الأساسي وهو التنبؤ بالإجابة.

2. المنهجية: iVGR

لمعالجة ذلك، يقترح المؤلفون iVGR (استيعان الاستدلال المرتكز بصرياً داخلياً)، وهو إطار عمل جديد للتعلم التعزيزي (RL) مصمم لنقل قدرات التحديد من تدفق مرتكز بصرياً إلى تدفق استدلال نصي بحت.

استراتيجية التدريب ثنائية المسار

جوهر iVGR هو آلية تدريب ثنائية المسار، حيث يقوم نموذج MLLM لكل استعلام بتوليد مسارين متميزين من المخرتجات:

1. المسار المرتكز (Grounded Stream): يتم توجيه النموذج للتنبؤ بصناديق الإحاطة صراحةً (<box>[x1, y1, x2, y2]</box>) عند الإشارة إلى الأشياء. يتم مكافأة هذا المسار على التنسيق، ودقة الإجابة، وجودة التحديد (IoU).
2. المسار النصي (Textual Stream): يقوم النموذج بعملية استدلال لغوي طبيعي قياسية دون قيود التمركز الصريح.

مكافأة الاتساق

الابتكار الحاسم هو مكافأة الاتساق، التي تعمل على مواءمة المسار النصي مع الاستدلال عالي الجودة من المسار المرتكز.

• اختيار المرجع: يحتفظ "أرشيف المخرجات" (Rollout Archive) بأعلى سلسلة أفكار مرتكزة جودة (بناءً على IoU والدقة) تم العثور عليها لكل استعلام.
• المواءمة الدلالية: يقوم حكم (Judge) من نموذج لغوي كبير خارجي بتقييم الاتساق الدلالي بين سلسلة الأفكار النصية والمرجع المرتكز المؤرشف. يمنح الحكم درجة (من 0.0 إلى 1.0) بناءً على ما إذا كان الوصف النصي يتطابق مع الحقائق البصرية التي أرساها المرجع المرتكز (على سبيل المثال، حذف التفاصيل، أو إضافة هلاوس، أو التناقض مع الحقائق).
• التحسين: يتم تحسين المسار النصي لتعظيم مكافأة الاتساق هذه، مما يعلّم النموذج فعلياً "رؤية" وتحديد الأشياء ضمن نصه بشكل ضمني دون إخراج إحداثيات.

توسيع نطاق الاختبار بمساعدة الأدوات

بينما يتم تدريب النموذج على الاستيعان الداخلي للتمركز، يحتفظ iVGR بالمرونة لاستخدام أدوات خارجية. في وقت الاختبار، يُقترح سير عمل حيث يقوم النموذج أولاً بتوليد سلسلة أفكار مرتكزة لاستخراج صناديق الإحاطة. تُستخدم هذه الصناديق بعد ذلك لقص الصورة (بما في ذلك "قص موحد" لجميع المناطق)، ويقوم النموذج بإجراء الاستدلال على هذه المدخلات متعددة المشاهد باستخدام سلسلة أفكار نصية قياسية.

3. المساهمات الرئيسية

• التحليل التجريبي: يوضح البحث أن التمركز البصري الصريح أثناء الاستنتاج غالباً ما يضر بالأداء، مما يشير إلى إمكانية نقل قدرات التحديد ضمنياً إلى سلسلة الأفكار النصية.
• إطار عمل iVGR: استراتيجية ثنائية المسار قائمة على التعلم التعزيزي تستخدم مكافأة الاتساق لاستيعان التحديد البصري داخل الاستدلال النصي، مما يلغي الحاجة إلى توليد إحداثيات صريحة أثناء الاستنتاج.
• القابلية للتوسع والتوافق: تم التحقق من صحة الطريقة على نماذج Qwen2.5-VL و Qwen3-VL، مما أظهر تحسينات كبيرة في المهام دقيقة التفاصيل والمهام العامة.

4. النتائج التجريبية

أُجريت تجارب مكثفة على معايير VQA دقيقة التفاصيل (V*, HR4K, HR8K) ومهام الاستدلال العامة (MME-RW-Lite, POPE, RealWorldQA, إلخ).

• مكاسب الأداء: يتفوق iVGR بشكل كبير على النماذج المرجعية الحالية. على نموذج Qwen2.5-VL-7B، يحقق iVGR تحسناً متوسطاً قدره 6.5% عبر المعايير، مع مكاسب كبيرة في المهام دقيقة التفاصيل (على سبيل المثال، +10.4% في HR8K).
• المقارنة مع SOTA: يتفوق على كل من الطرق القائمة على الأدوات (مثل DeepEyes) وطرق التمركز الصريح (مثل TreeVGR) دون الحاجة إلى أدوات خارجية خلال مرحلة الاستنتاج الأساسية.
• دليل الاستيعان الداخلي: يظهر تحليل درجات الانتباه أن المسار النصي لـ iVGR يركز على رموز الصورة (image tokens) بقوة أكبر حتى من النسخة التي تعتمد على المسار المرتكز فقط، مما يؤكد أن النموذج نجح في استيعان التمركز البصري داخلياً.
• التآزر مع الأدوات: عند تجهيز النموذج بآلية توسيع نطاق الاختبار بمساعدة الأدوات المقترحة (باستخدام القص)، يتحسن الأداء بشكل أكبر (على سبيل المثال، +1.5% في HR4K لنموذج Qwen3-VL-8B)، مما يثبت مرونة الطريقة.

5. الأهمية والادعاءات

يزعم البحث أن iVGR يوفر نموذجاً أكثر كفاءة ومتانة للاستدلال البصري دقيق التفاصيل. من خلال استيعان قدرة التحديد داخلياً، يتجنب النموذج الضوضاء والتداخل الناتج عن توليد الإحداثيات الصريحة الإلزامي أثناء الاستنتاج.

يضع المؤلفون iVGR كمنهجية تقوم بـ:

1. فك الارتباط بين قدرة التحديد البصري وضرورة تنسيقات المخرجات الصريحة.
2. تعزيز الإدراك دقيق التفاصيل دون التضحية بمرونة الاستدلال النصي القياسي.
3. الحفاظ على التوافق مع الأدوات الخارجية، مما يسمح بنهج هجين حيث يمكن الاستفادة من الأدوات في وقت الاختبار إذا كانت هناك حاجة لدقة أعلى.

يشير العمل إلى أن مستقبل الاستدلال المرتكز بصرياً لا يكمن في إجبار النماذج على إخراج الإحداثيات، بل في تدريبها على الاستدلال بفهم ضمني ومستوعن داخلياً للمساحة البصرية.