Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward

إليك ملخص تقني مفصل لورقة البحث "Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward":

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً كبيراً في قدرات الاستدلال من خلال التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR). ومع ذلك، تركز طرق RLVR الحالية بشكل أساسي على تحسين دقة الإجابة (Accuracy-Only RLVR). وقد حدد المؤلفون عقبة حرجة: تفشل هذه الطرق في تحسين قدرات الإدراك متعدد الوسائط الأساسية لنماذج MLLM بشكل فعال.

• المشكلة الجوهرية: غالباً ما ترتكب نماذج MLLM أخطاءً جسيمة في الإدراك البصري (مثل الخطأ في تحديد العلاقات الهندسية، أو تخيل كائنات غير موجودة) ولكنها تنجح في النهاية في تخمين الإجابة الصحيحة.
• النتيجة: نظرًا لأن إشارة المكافأة شحيحة (تعتمد فقط على الإجابة النهائية)، لا يتم معاقبة النموذج على الأوصاف البلية الخاطئة. وهذا يعزز مسارات استدلال معيبة حيث "يتخيل" النموذج طريقه للوصول إلى الإجابة الصحيحة، مما يحد من التقدم الإضافي في الاستدلال متعدد الوسائط الحقيقي.
• الدليل: استخدم المؤلفون اختبار مكنمار (McNemar's test) لإثبات أن نماذج MLLM المدربة باستخدام Accuracy-Only RLVR لا تظهر أي تحسن ذي دلالة إحصائية في الإدراك متعدد الوسائط مقارنة بنماذجها الأساسية.

2. المنهجية: Perception-R1

لمعالجة ندرة المكافأة في الإدراك متعدد الوسائط، يقترح المؤلفون Perception-R1، وهو إطار عمل جديد لـ RLVR يقدم مكافأة الإدراك البصري (Visual Perception Reward).

أ. المكونات الأساسية

1. استخراج التوصيفات البصرية (Visual Annotation Extraction):

   • جمع المؤلفون مسارات سلسلة التفكير (CoT) من نموذج MLLM ملكي متطور (Gemini-2.5-Pro) على مجموعة بيانات هندسية (Geometry3K).
   • تم استخدام نموذج لغوي قوي يعتمد على النصوص فقط (Qwen2.5-32B-IT) لاستخراج توصيفات بصرية ذرية من مسارات الـ CoT هذه. تمثل هذه التوصيفات عناصر بصرية واقعية (مثل "الخط AB عمودي على CD"، "نصف القطر هو 26") بدلاً من خطوات الاستدلال.
   • تعمل هذه التوصيفات كـ "حقيقة أرضية" للإدراك البصري، على غرار كيفية عمل الإجابة النهائية كحقيقة أرضية للدقة.

2. مكافأة الإدراك البصري ($r_v$):

   • أثناء تدريب RL، يقوم نموذج لغوي حَكَم ($\Phi$) بتقييم الاتساق بين الاستجابة التي يولدها النموذج والسياسة وبين التوصيفات البصرية المستخرجة.
   • تُحسب المكافأة بناءً على نسبة التوصيفات البصرية الذرية التي انعكست بشكل صحيح في مخرجات النموذج:
     $$r_v(y_i, V) = \frac{\sum o_{i,j}}{|V|}$$
     حيث يشير $o_{i,j} \in \{0, 1\}$ إلى ما إذا كان التوصيف $v_j$ موجوداً في الاستجة $y_i$.

3. دالة المكافأة المعززة:
   تجمع دالة المكافأة الإجمالية بين التنسيق، الدقة، الإدراك البصري، وعقوبة التكرار:
   $$r(y_i, a, V) = \alpha \cdot r_f(y_i) + \beta \cdot r_a(y_i, a) + \gamma \cdot r_v(y_i, V) + r_p(y_i)$$

   • $r_f$: مكافأة التنسيق (المخرجات المهيكلة).
   • $r_a$: مكافأة الدقة (الإجابة النهائية الصحيحة).
   • $r_v$: مكافأة الإدراك البصري (المكون الجديد).
   • $r_p$: عقوبة التكرار (لمنع التوليد المتدهور).

4. خوارزمية التدريب:
   يتم تحسين النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO)، وهو متغير من PPO يلغي الحاجة إلى نموذج ناقد (critic model) منفصل، مما يقلل من العبء الحسابي.

3. المساهمات الرئيسية

1. الاكتشاف التجريبي: تقدم الورقة دليلاً إحصائياً صارماً (عبر اختبار مكنمار) على أن Accuracy-Only RLVR لا يحسن الإدراك متعدد الوسائط بشكل كبير، مما يحدد هذه النقطة كعقبة رئيسية.
2. آلية مكافأة مبتكرة: تقديم مكافأة الإدراك البصري، التي تحفز صراحةً الوصف البصري الدقيق قبل الاستدلال، مما يخفف بفعالية من ندرة المكافأة في مجال الإدراك.
3. كفاءة البيانات: يحقق الأسلوب أداءً يضاهي أحدث المعايير باستخدام 1,442 عينة تدريب فقط، متفوقاً بشكل كبير على النماذج المرجعية التي تتطلب مئات الآلاف من العينات (مثل Vision-R1 الذي يستخدم 200 ألف عينة).

4. النتائج التجريبية

قيم المؤلفون Perception-R1 (المبني على Qwen2.5-VL-7B-IT) على 8 معايير متنوعة تغطي المجالات الرياضية والعامة.

• الأداء: حقق Perception-R1 أفضل أداء في 7 من أصل 8 معايير (MathVista, MathVerse, MathVision, WeMath, MMMU, MMMU-Pro, MMStar)، متفوقاً على النماذج المرجعية القوية مثل Vision-R1 و MM-Eureka و OpenVLThinker.
  • مثال: في MathVista، سجل 74.2 مقابل 73.1 لـ Vision-R1.
  • مثال: في MMMU-Pro، سجل 42.4 مقابل 37.6 لـ Vision-R1.
• تحسن الإدراك:
  • المجموعات الفرعية المعتمدة على الرؤية فقط: في المجموعات الفرعية "الرؤية فقط" (Vision Only) لـ MathVerse و MMMU-Pro (حيث تمت إزالة القرائن النصية)، أظهر Perception-R1 تحسناً جوهرياً على النماذج المرجعية، مما يثبت تعزيز قدرات الإدراك الصرفة.
  • الدلالة الإحصائية: أظهر اختبار مكنمار على Perception-R1 تحسناً كبيراً في قدرات الإدراك ($p < 0.05$) مقارنة بالنموذج الأساسي، على عكس نسخة Accuracy-Only RLVR.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف مكافأة الإدراك البصري إلى انخفاض الأداء عبر جميع المعايير.
  • أدى استخدام نموذج حَكَم أضعف إلى حدوث "اختراق للمكافأة" (reward hacking) وتدهور في الأداء، مما يسلط الض الضوء على الحاجة إلى حَكَم قادر.
  • الطريقة قوية تجاه الضجيج (حتى 20% من الأحكام المنقلبة) في إشارة المكافأة.

5. الأهمية والأثر

• تحول في النموذج الفكري: تتحدى الورقة نموذج التحسين السائد "القائم على الإجابة فقط" في التعلم التعزيزي متعدد الوسائط. وتجادل بأن الاستدلال المعقد يتطلب تعزيز الأساس الإدراكي صراحةً، وليس فقط النتيجة المنطقية النهائية.
• الكفاءة: من خلال التركيز على جودة إشارة المكافأة (محاذاة الإدراك) بدلاً من كمية البيانات، يثبت Perception-R1 أن المكافآت عالية الجودة والمحاذية للإدراك يمكن أن تقود قدرات الاستدلال بشكل أكثر فعالية من مجموعات البيانات الضخمة.
• القدرة على التعميم: يؤدي سلوك "الوصف ثم الحل" الذي يحفزه إدراك المكافأة البصرية إلى استدلال أكثر قوة وقابلية للتفسير، مما يقلل من الهلوسة في المهام الهندسية ومتعددة الوسائط العامة.

في الختام، يرسخ Perception-R1 حقيقة أن تعزيز الإدراك متعدد الوسائط هو شرط مسبق للتقدم في الاستدلال متعدد الوسائط، ويقدم إطار عمل قابلاً للتوسع وفعالاً من حيث البيانات لتحقيق ذلك عبر مكافأة إدراك بصري مبتكرة.