Grounding the Score: Explicit Visual Premise Verification for Reliable Vision-Language Process Reward Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تأصيل الدرجة: التحقق الصريح من المقدمات البصرية لضمان موثوقية نماذج مكافأة العمليات في النماذج اللغوية البصرية الكبيرة (VLMs)."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عقبة حرجة في الاستدلال الرياضي، وهي التداخل بين الإدراك البصري (قراءة الرسوم البيانية، التعرف الضوئي على الحروف OCR، الهندسة) والاستدلال الرمزي (المنطق، الحساب).

• مشكلة "الحكم الصندوق الأسود": تقوم نماذج مكافأة العمليات البصرية اللغوية (VL-PRMs) الحالية بتعيين درجات لخطوات الاستدضاء الوسيطة، لكنها غالباً ما تعمل كصناديق سوداء. تكون الدرجة المنخفضة غامضة: فقد تشير إلى خطأ منطقي أو مجرد سوء إدراك من جانب المُحقِّق للصورة.
• الأخطاء المنهجية: يؤدي هذا الغموض إلى:
  • الإيجابيات الكاذبة (False Positives): مكافأة خطوات سلسة بناءً على مقدمات بصرية مهلوسة (مثل افتراض وجود "ثقب أسطواني" بينما هو غير موجود).
  • السلبيات الكاذبة (False Negatives): معاقبة خطوات منطقية صحيحة لأن المُحقِّق أخطأ في قراءة الصورة المدخلة.
• النتيجة: تقوض هذه الأخطاء عمليات إعادة الترتيب من نوع Best-of-$N$ وتحديد موقع الخطأ، حيث لا يستطيع النظام التمييز بين فشل الاستدلال وفشل الإدراك. كما أن الحلول القائمة على دمج الأدوات (مثل استدعاء أدوات خارجية لكل خطوة) مكلفة حاسوبياً للغاية للتوسع في الاختبار عند زمن التشغيل.

2. المنهجية: التحقق الصريح من المقدمات البصرية (EVPV)

يقترح المؤلفون إطار عمل EVPV، وهو إطار خفيف الوزن يفصل عدم اليقين الإدراكي عن التقييم المنطقي. بدلاً من معاملة المقدمة البصرية كأمر مُسلم به، يقوم EVPV بالتحقق منها صراحةً قبل تقييم خطوة الاستدلال.

المسار الأساسي

1. قائمة التحقق البصرية لكل خطوة:
   • يتم توجيه نموذج السياسة (المحلل) لتوليد مسار استدلال تكون فيه كل خطوة $s_t$ مصحوبة بـ إعلان تبعية بصرية ($d_t$).
   • إذا كانت الخطوة تعتمد على بيانات بصرية، فإنها تنتج تأكيداً بلغة طبيعية (على سبيل المثال: "نصف القطر هو 2"). وهذا يشكل قائمة تحقق بصرية $V$.
2. استخراج القيود الهيكلية:
   • يقوم مستخرج القيود ($E_\phi$) بمعالجة الصورة والسؤال المدخل مرة واحدة لكل حالة لتوليد مجموعة مهيكلة من الحقائق البصرية $C$ (بصيغة JSON).
   • تغطي هذه القيود:
     • القيم الرقمية: الأطوال، الزوايا، قيم الجداول.
     • العلاقات: التوازي، التعامد، التساوي، التقاطع.
     • البنية: علاقات الجزء بالكل، الاتصال، التجاور.
   • التدريب: يتم استخلاص المستخرج عبر التقطير من نموذج معلم قوي (Qwen3-VL) باستخدام الضبط الدقيق الخاضع للإشراف (SFT) وتحسين التفضيل المباشر (DPO) لضمان الدقة العالية.
3. إشارة الاتساق إلى الموثوقية:
   • يقوم النظام بمطابقة قائمة التحقق الخاصة بالسياسة مع القيود المستخرجة باستخدام دالة مطابقة مدركة للنوع.
   • يحسب النظام درجة موثوقية بصرية ($r \in [0, 1]$).
   • التجميع: تُستخدم المتوسط الهندسي لتجميع درجات الادعاء الفردية. يضمن ذلك أن أي هلوسة كارثية واحدة (ادعاء بقيمة $p_j \approx 0$) تخفض الموثوقية الإجمالية بشكل كبير، مما يعكس حقيقة أن مقدمة واحدة خاطئة تبطل المسار بأكمله.
4. معايرة المكافأة المحكومة بالموثوقية:
   • ينتج مُحقِّق الخطوات القياسي ($V_\theta$) مكافأة أساسية ($R_{base}$) بناءً على الصحة المنطقية.
   • آلية التحكم (Gating Mechanism): يتم تعديل المكافأة النهائية $R_t$ بواسطة إشارة الموثوقية $r$:
     $$R_t = \begin{cases} R_{base} & \text{إذا كان } \nu_t = 0 \text{ (لا توجد تبعية بصرية)} \\ \alpha(r) \cdot R_{base} & \text{إذا كان } \nu_t = 1 \text{ (توجد تبعية بصرية)} \end{cases}$$
   • حيث $\alpha(r)$ هي دالة سيجمويد (sigmoid). إذا كانت $r$ منخفضة (مقدمة غير موثوقة)، يتم تخفيف المكافأة نحو الحياد (0)، مما يمنع النظام من مكافأة أو معاقبة خطوة مبنية على هلوسة بثقة.

3. المساهمات الرئيسية

• فصل الإدراك عن الاستدلال: يقدم EVPV آلية للتحقق صراحةً من المقدمات البصرية قبل تقييم الخطوات المنطقية، مما يحل غموض "الصندوق الأسود" في النماذج الحالية.
• التحقق خفيف الوزن: على عكس الطرق المدمجة بالأدوات التي تتطلب استدعاءات API مكلفة لكل خطوة، يقوم EVPV باستخراج القيود مرة واحدة لكل مسألة ويعيد استخدامها لجميع الخطوات، مما يجعله قابلاً للتوسع لعمليات إعادة الترتيب Best-of-$N$.
• الأدلة المهيكلة: إن استخدام قيود JSON المهيكلة (رقمية، علاقاتية، بنيوية) بدلاً من الأوصاف النصية غير المهيكلة يحسن بشكل كبير من دقة التحقق من المقدمات.
• التحقق السببي: يقدم المؤلفون دليلاً سببياً على أن مكاسب الأداء مدفوعة بدقة القيود، وليس فقط هندسة الأوامر (Prompt Engineering)، وذلك من خلال إظهار تدهور الأداء بشكل رتيب عند إفساد القيود اصطناعياً.

4. النتائج التجريبية

تم تقييم الطريقة على VisualProcessBench (التحقق على مستوى الخطوة) وستة معايير استدلال متعددة الوسائط (مثل MathVista, MMMU, MathVerse) باستخدام سياسات InternVL2.5.

• التحقق على مستوى الخطوة:
  • حقق EVPF-PRM أعلى Macro-F1 (67.46%) على VisualProcessBench، متفوقاً على النماذج المرجعية القوية مثل VisualPRM (62.00%) و TIM-PRM (61.70%).
  • قلل بشكل كبير من الإيجابيات والسلبيات الكاذبة الناتجة عن سوء التفسير البصري.
• إعادة الترتيب Best-of-$N$:
  • حسن EVPV باستمرار دقة BoN@8 (أفضل 8) عبر جميع أحجام النماذج (8B, 26B, 38B).
  • بالنسبة لنموذج 38B، حقق EVPV تحسناً قدره +9.78 نقطة فوق Pass@1، متفوقاً على VisualPRM (+6.30) وعلى السياسة الأساسية.
  • كانت المكاسب أكثر وضوحاً في المعايير ذات الكثافة البصرية العالية (MathVista, WeMath)، مما يؤكد فعالية الطريقة في التعامل مع الاختناقات البصرية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة القيود المهيكلة (باستخدام التعليقات الوصفية فقط) إلى انخفاض الأداء بنحو 4 نقاط.
  • أدت إزالة الوسيط البصري تماماً (استخدام حكم نصي فقط) إلى انخفاض هائل (~12.5 نقطة)، مما يثبت أن القيود المهيكلة تكمل ولا تستبدل التحليل المباشر للصورة.
  • المنحنى السببي: أدى حقن الضجيج في القيود إلى انخفاض رتيب في الأداء، مما يثبت أن المكاسب ناتجة عن جودة التحقق من المقدمات.

5. الأهمية والأثر

• الموثوقية في التوسع عند زمن التشغيل: يتيح EVPV اختيار حلول قائمة على أسس صلبة بشكل أكثر موثوقية أثناء توسيع الحوسبة عند زمن التشغيل (Best-of-$N$)، وهو مطلب حيوي لنشر النماذج اللغوية البصرية الكبيرة في سيناريوهات العالم الحقيقي.
• القابلية للتفسير: من خلال جعل المقدمات البصرية صريحة، يوفر النظام واجهة تشخيصية لفهم لماذا تم تقييم خطوة ما بدرجة منخفضة (على سبيل المثال: "المقدمة كانت هلوسة" مقابل "المنطق كان معيباً").
• الكفاءة: يقدم بديلاً عالي الأداء للتحقق القائم على الأدوات، متجنباً زمن التأخير والتكلفة المرتبطين بتشغيل أدوات خارجية لكل خطوة استدلال.
• الاتجاه المستقبلي: يسلط هذا العمل الضوء على أن تحسين "تأصيل" (grounding) نماذج المكافأة لا يقل أهمية عن تحسين نماذج الاستدلال نفسها، مما يمهد الطريق لوكلاء متعددين الوسائط أكثر قوة.

باختدال، يحول EVPV نموذج مكافأة العمليات (PRM) من حكم سلبي إلى مُحقِّق نشط يتحقق من "الحقائق" قبل تقييم "المنطق"، مما يؤدي إلى أنظمة استدلال متعددة الوسائط أكثر متانة وموثوقية.