Self-Rewarding Vision-Language Model via Reasoning Decomposition

إليك ملخص تقني مفصل لورقة البحث: "Vision-SR1: نموذج رؤية-لغة ذاتي المكافأة عبر تفكيك الاستدلال وتحسين السياسة متعددة المكافآت."

1. بيان المشكلة

تواجه نماذج الرؤية واللغة (VLMs) حاليًا عائقين حرجين في قدراتها الاستدلالية:

• الهلوسة البصرية (Visual Hallucations): توليد أوصاف أو إجابات غير متوافقة مع المدخلات البصرية.
• الاختصارات اللغوية (Language Shortcuts): تجاوز الفهم البصي تمامًا والاعتماد على الأولويات النصية (الاختصارات اللغوية) لتخمين الإجابة الصحيحة.

غالبًا ما تؤدي طرق ما بعد التدريب الحالية، وخاصة أساليب التعلم المعزز (RL) مثل نماذج نمط R1، إلى تفاقم هذه المشكلات. فهي تعتمد عادةً على مطابقة الإجابة النهائية كإشارة مكافأة وحيدة. هذا الإشراف المتناثر يفشل في توجيه عملية الاستدلال البصري الوسيطة، مما يتسبب في جعل النماذج تعطي الأولوية للاستدلال القائم على اللغة على حساب الإدراك البصري. علاوة على ذلك، فإن الأساليب التي تحاول إضافة إشراف بصري تعتمد غالبًا على:

• التعليقات البشرية (Human Annotations): وهي مجهدة للعمالة، ومكلفة، ويصعب توسيع نطاقها.
• نماذج مكافأة خارجية (External Reward Models): والتي تسبب زمن انتقال عالي (latency)، وتتطلب موارد GPU إضافية، وتعاني من انزياح التوزيع أو التحيزات الموروثة من مصدر التقطير.

2. المنهجية: Vision-SR1

يقترح المؤلفون Vision-SR1، وهو إطار عمل للتعلم المعزز ذاتي المكافأة مكون من ثلاث مراحل يحسن الاستدلال البصري دون إشراف خارجي. الابتكار الجوهري هو تفكيك الاستدلال إلى مكونات بصرية ولغوية متميزة، يتم التحقق منها بواسطة النموذج نفسه.

أ. تفكيك الاستدلال (تنسيق "رؤية-فكر" See-Think)

يتم توجيه النموذج لتوليد مخرجات مهيكلة تفصل بين ثلاثة مكونات:

1. الاستدلال البصري ($c$): وصف بصري مكتفٍ ذاتيًا يلتقط جميع التفاصيل الضرورية من الصورة لحل المهمة.
2. الاستدلال اللغوي ($t$): سلسلة من الأفكال (Chain-of-Thought) بناءً على الوصف البصري.
3. الإجابة ($a$): الاستجابة النهائية.

ب. عملية التدريب ثلاثية المراحل

يتضمن التدريب جولتين من التمرير (rollout passes) وهدف تحسين محدد:

1. المرحلة الأولى (التمرير القياسي - Standard Rollout):

   • المدخلات: صورة ($i$) + استعلام ($q$).
   • المخرجات: استجابة مهيكلة ($c, t, a$).
   • المكافأة: يتم حساب مكافأة الإجابة ($r_{ans}$) بناءً على صحة الإجابة النهائية مقابل الحقيقة الأرضية (ground truth).

2. المرحلة الثانية (تمرير المكافأة الذاتية - Self-Reward Rollout):

   • المدخلات: استعلام ($q$) + الاستدلال البصري المولد ($c$) فقط. يتم استبعاد الصورة الأصلية.
   • العملية: يحاول النموذج استخلاص الإجابة الصحيحة باستخدام الوصف النصي فقط الذي تم توليده في المرحلة الأولى.
   • المكافأة: يتم تخصيص مكافأة بصرية ($r_{visual}$). إذا تمكن النموذج من الإجابة بشكل صحيح باستخدام الوصف المولد فقط، يُعتبر الوصف "مكتفيًا ذاتيًا" و"أمينًا". يعمل هذا كمكافأة داخلية للإدراك البصري الدقيق.

3. تحسين السياسة متعددة المكافآت (Multi-Reward Policy Optimization):

   • بدلاً من مجرد جمع المكافآت (الذي يؤدي لتشابك الإشارات)، يستخدم Vision-SR1 استراتيجية تحسين السياسة متعددة المكافآت القائمة على تحسين السياسة النسبي للمجموعات (GRPO).
   • المزايا المفككة (Decoupled Advantages): يتم حساب الميزة ($\hat{A}$) والاحتمالات اللوغاريتمية بشكل منفصل لتوليد الإجابة وتوليد الاستدلال البصري.
   • دالة الخسارة (Loss Function): تجمع الخسارة الإجمالية بين تدرجات السياسة لكلا المكافأتين ($L_{actor}$) وعقوبات تباعد KL المنفصلة ($L_{KL}$) لكل مكون. يضمن هذا وضوح نسبة التدرج (gradient attribution)، مما يسمح للنموذج بتحسين الإدراك البصري والاستدلال اللغوي بشكل مستقل.

ج. الكفاءة الحسابية

• لا توجد نماذج خارجية: لا يتطلب Vision-SR1 نماذج مكافأة خارجية أو معلقين بشريين.
• لا توجد وحدات GPU إضافية: تعيد آلية المكافأة الذاتية استخدام نموذج السياسة نفسه، مما يتجنب العبء الإضافي لاستضافة نماذج حكم منفصلة.
• العبء الإضافي (Overhead): يضيف التمرير ذو المرحلتين حوالي 10-15% فقط من العبء الحسابي مقارنة بـ GRPO القياسي ذي المرحلة الواحدة، مما يجعله قابلاً للتوسع بشكل كبير.

3. المساهمات الرئيسية

1. إطار عمل ذاتي المكافأة: يقدم طريقة يقوم فيها نموذج الرؤية واللغة بالتحقق من صحة التأسيس البصري الخاص به عن طريق إعادة توجيه نفسه بالوصف المولد، مما يلغي الحاجة إلى إشراف بصري خارجي.
2. تفكيك الاستدلال: يعزل بوضوح الإدراك البصري عن الاستدلال اللغوي، مما يجبر النموذج على إنتاج أوصاف بصرية مكتفية ذاتيًا قبل الاستدلال.
3. تحسين السياسة متعددة المكافآت: يقترح دالة خسارة مفككة تحسب المزايا وعقوبات تباعد KL بشكل منفصل للمكونات البصرية واللغوية، مما يمنع تشابك المكافآت ويسمح بتحسين دقيق.
4. مقياس معدل الاختصار اللغوي (LSR): يقدم مقياسًا جديدًا لقياس عدد المرات التي يجيب فيها النموذج بشكل صحيح رغم وجود استدلال بصري غير صحيح أو غير مكتفٍ ذاتيًا، مما يوفر وسيلة لقياس الاعتماد على الاختصارات اللغوية.

4. النتائج التجريبية

تم تقييم الطريقة على معايير متنوعة باستخدام نماذج Qwen2.5-VL (3B و 7B) و Mimo-VL-7B كقواعد أساسية.

• مكاسب الأداء: تفوق Vision-SR1 على النماذج المرجعية (بما في ذلك Vision-R1 و Perception-R1) في الفهم البصري العام (MMMU, RealWorldQA)، والاستدلال الرياضي (MathVerse, MATH-Vision)، وكشف الهلوسة (HallusionBench).
  • مثال: على القاعدة الأساسية 7B، حقق Vision-SR1 متوسط درجة 52.2، مقارنة بـ 44.5 لـ Vision-R1.
• تخفيف الهلوسة: قلل Vision-SR1 بشكل كبير من الهلوسات البصرية وحسن المتانة ضد الاختصارات اللغوية.
• تقليل LSR: أظهر Vision-SR1 معدل اختصار لغوي (LSR) أقل مقارنة بالنماذج المرجعية، مما يشير إلى اعتماد أقوى على الإدراك البصري الحقيقي بدلاً من الأولويات النصية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة آلية المكافأة الذاتية إلى انخفاض في الأداء، مما أكد ضرورة إشارة المكافأة البصرية.
  • حسنت الطريقة الاستدلال المكاني (MMSI-Bench, OmniSpatial) ومهام المعرفة العامة دون تدهور قدرات النصوص فقط بشكل كبير كما في طرق RL الأخرى.
• تحليل الانتباه (Attention Analysis): أظهر تحليل الطبقات أن ما بعد التدريب زاد من الانتباه لرموز (tokens) الرؤية في طبقات استخراج الميزات المبكرة وطبقات التكامل المتأخرة، مما يؤكد أن النموذج تعلم معالجة المعلومات البصرية بشكل أفضل.

5. الأهمية والأثر

• القابلية للتوسع: من خلال إزالة الاعتماد على نماذج المكافأة الخارجية والتعليقات البشرية، يقدم Vision-SR1 مسارًا قابلًا للتوسع لتحسين نماذج الرؤية واللغة دون التكاليف الباهظة لتسمية البيانات أو البنية التحتية للاستنتاج.
• معالجة "التفكير فوق الرؤية": يواجه الإطار مباشرة اتجاه التدريب في التعلم المعزز حيث تتعلم النماذج "التفكير" (الاستدلال عبر اللغة) دون "الرؤية" (إدراك الصورة). إنه يجبر النموذج على إثبات أنه قد رأى الصورة من خلال توليد وصف كافٍ.
• الكفاءة: تحقق الطريقة نتائج تضاهي أحدث ما توصل إليه العلم (SOTA) مع حد أدنى من العبء الحسابي، مما يجعل الاستدلال البصري المتقدم متاحًا للنماذج ذات الموارد المحدودة.
• الاتجاه المستقبلي: تسلط الورقة الضوء على أن مكاسب الدقة في التعلم المعزز يمكن أن تكون أحيانًا زائفة (استغلال الاختصارات)؛ ويوفر Vision-SR1 آلية لفك الارتباط بين التأسيس البصري الحقيقي وتعلم الاختصار اللغوي، مما يضع معيارًا جديدًا لتقييم استدلال نماذج الرؤية واللغة.