Bad Seeing or Bad Thinking? Rewarding Perception for Vision-Language Reasoning

تتعامل هذه الكتل مع التخطيط، وتشكيل الفرضيات، والاستنتاج المنطقي بناءً على الأدلة الراسخة.

هذا التحول يحول إدراك النموذج اللغوي البصري (VLM) من "صندوق أسود" إلى تسلسل شفاف وقابل للتفسير، مما يعزل موضع الخطأ.

2.2. التحقق من الإدراك (PV): اختبار "المفكر معصوب العينين"

للإشراف على كتل الإدراك دون الحاجة إلى أوصاف بصرية حقيقية، قدم المؤلفون التحقق من الإدراك (Perception Verification).

• الآلية: يعمل نموذج لغوي كبير (LLM) قوي يعتمد على النص فقط كـ "وسيط استدلالي". يتم تزويده بسؤال المستخدم ونصوص الإدراك التي أنشأها النموذج اللغوي البصري (كتل <recognition>) ولكن مع حجب الصورة الأصلية عنه.
• المنطق: إذا تمكن الوسيط النصي فقط من حل السؤال باستخدام أوصاف النموذج اللغوي البصري فقط، يُعتبر كتلة الإدراك "إحصائية كافية" للمهمة.
• المكافأة: يتم تعيين مكافأة ثنائية ($R_P \in \{0, 1\}$). يشير النجاح ($1$) إلى أن النموذج اللغوي البصري نجح في استخراج الحقائق البصرية الضرورية؛ بينما يشير الفشل ($0$) إلى "سوء الرؤية". هذا النهج يطبق مبدأ "عنق الزجاجة المعلوماتي" (Information Bottleneck)، حيث يكافئ التمثيلات البصرية الدنيا والكافية في آن واحد.

2.3. التحقق اللفظي المهيكل (SVV)

لمعالجة التباين العالي للمحكمين من النماذج اللغوية الكبيرة القياسية وهشاشة المتحققين القائمين على القواعد للمخرجات النهائية، اقترح المؤلفون التحقق اللفظي المهيكل (Structured Verbal Verification).

• الآلية: بدلاً من مطالبة النموذج اللغوي الكبير بـ "الحكم" بشكل ذاتي على إجابة ما، يتم تزويد المتحقق بخوارزمية لغة طبيعية مهيكلة (بروتوكول تحقق).
• التنفيذ: يتم توجيه النموذج اللغوي الكبير لـ "تنفيذ" هذا البروتوكول خطوة بخطوة (على سبيل المثال: تحديد أنواع الإجابات، استخراج المحتوى الموجود داخل الصناديق، وإجراء مقارنات دلالية خاصة بكل نوع).
• الفائدة: ينقل هذا الدور من التقدير الذاتي للمتحقق إلى التنفيذ المهيكل، مما يقلل بشكل كبير من التباين ويوفر إشارة مكافأة موثوقة ($R_O$) للإجابات الحرة.

2.4. تخصيًص الائتمان المدرك للنماذج (MoCA)

يكمن الابتكار الجوهري في كيفية توجيه المكافآت أثناء التعلم التعزيزي (تحديداً تحسين السياسة النسبي للمجموعات - GRPO).

• المشكلة: في نظام GRPO القياسي، تؤدي النتيجة الفاشلة ($R_O=0$) إلى إشارة ميزة سلبية تُطبق بشكل موحد عبر المسار بأكره، مما قد يؤدي إلى معاقبة خطوات الإدراك الصحيحة إذا فشل الاستدلال اللاحق.
• الحل: يستخدم MoCA مكافأة الإدراك الثنائية ($R_P$) كبوابة للتمييز بين أنماط الفشل:
  • "سوء التفكير" ($R_O=0, R_P=1$): كان الإدراك صحيحاً، لكن الاستدلال فشل. يطبق الإطار مصطلح حماية لرموز الإدراك، مما يمنع النموذج من "إلغاء تعلم" قدرات التأسيس البصري الصحيحة.
  • "سوء الرؤية" ($R_O=0, R_P=0$): فشل كل من الإدراك والاستدلال. يقوم الإطار بتضخيم العقوبة لرموز الإدراك لدفع التحسن في الاستخراج البصري.

3. المساهمات الرئيسية

1. البنية المفككة: ينقل البحث تدريب النماذج اللغوية البصرية من الإشراف الشامل على المخرجات إلى إطار عمل مفكك ومدرك للنماذج، مما يحول النموذج اللغوي البصري إلى مستدل معياري وقابل للتفسير.
2. التحقق من الإدراك عبر وسيط: نموذج جديد لـ "الاستدلال معصوب العينين" يتحقق من الدقة البصرية عبر اختبار ما إذا كان بإمكان مستدل نصي فقط حل المهمة باستخدام أوصاف النموذج فقط.
3. التحقق اللفظي المهيكل: طريقة لاستيعاب فوائد "التفكير" الوكيل (Agentic Thinking) دون عبء حسابي خارجي، مما يوفر تقييماً قوياً ومنخفض التباين للاستجابات الحرة.
4. آلية MoCA: استراتيجية لتخصيص الائتمان تعالج "تأثير الأرجوحة" عبر التمييز بين أخطاء الإدراك وأخطاء الاستدلال، مما يسمح بالتحسين المتزامن لكلا القدرتين.

4. النتائج التجريبية

قيم المؤلفون نموذج MoCA عبر مجموعة شاملة من الاختبارات المرجعية التي تشمل المهام المكثفة إدراكياً، والمكثفة استدلالياً، والمهام الغنية بالأنماط.

• مكاسب الأداء: أظهر نموذج MoCA (المبني على نموذج أساسي بـ 7 مليارات معلمة) تحسينات كبيرة عبر جميع الفئات مقارنة بنموذجه الأساسي وبالنماذج الأخرى الرائدة (SOTA) سواء كانت مفتوحة المصدر أو مملوكة.
  • المهام المرتكزة على الإدراك: حقق 86.6 في V* و87.0 في InfoVQA، متفوقاً على نماذج الإدراك المتخصصة مثل DeepEyes.
  • المهام المرتكزة على الاستدلال: سجل 73.8 في MathVista و54.8 في EMMA، متجاوزاً العديد من النماذج الأكبر حجماً.
  • الأنماط الغنية: حقق مستوى قياسياً جديداً (SOTA) بواقع 58.3 في فهم المستندات (DUDE).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التحقق من الإدراك (PV) إلى انخفاض كبير في المهام المكثفة إدراكياً (مثل -6.9 في V*)، مما يؤكد أن الإشراف المستهدف على الإدراك يعد عنق زجاجة حرج.
  • أدت إزالة منطق MoCA (باستخدام تشكيل مكافأة بسيط) إلى انخفاض في الأداء، مما يثبت ضرورة التمييز بين "سوء الرؤية" و"سوء التفكير" لمنع إلغاء التعلم.
  • أدت استبدال SVV بالتحفيز القياسي للنماذج اللغوية الكبيرة إلى عدم استقرار التدريب وانخفاض الأداء بسبب ارتفاع تباين المكافأة.
• الموثوقية: أكدت دراسات التقييم البشري أن الوسيط "المعصوب العينين" يحقق توافقاً كبيراً (دقة 86.31%) مع الأحكام البشرية بشأن كفاية الإدراك، مما يثبت موثوقيته كإشارة مكافأة.

5. الأهمية والادعاءات

يزعم البحث إعادة التفكير جذرياً في تدريب النماذج اللغوية البصرية من خلال معالجة السبب الجذري للمقايضة بين الإدراك والاستدلال: غياب التغذية الراجعة المدركة للنماذج. من خلال إخراج عملية الإدراك والتحقق منها مباشرة، يوضح المؤلفون أن نموذجاً لغوياً بصرياً واحداً يمكنه تحقيق مكاسب أداء متزامنة عبر طيف واسع من المهام دون العبء الهندسي الثقيل لأطر العمل الوكيل الخارجية.

يفترض العمل أن "تأثير الأرجوحة" ليس حتمية في النماذج اللغوية البصرية، بل هو نتيجة لتخصيص ائتمان غامض. يقدم إطار عمل MoCA المقترح مساراً قابلاً للتوسع وخفيف الوزن لتحقيق التآزر بين الإدراك والاستدلال، مما يستوعب نموذج "التفكير بالصور" مباشرة داخل عملية التوليد التلقائي للنموذج. ويؤكد المؤلفون أن نهجهم يتوازى مع الأطر الحالية القائمة على الأدوات الخارجية، ويقدم بديلاً متميزاً وفعالاً لتطوير الذكاء متعدد الوسائط القابل للتعميم.