Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLMReward Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعليل أمر جوهري: تعلم معايير قابلة للنقل عبر النقد الموجه بالوكيل لنماذج المكافأة في النماذج البصرية اللغوية (VLM)."

1. بيان المشكلة

تعتمد النماذج البصرية اللغوية (VLMs) بشكل متزايد على نماذج المكافأة التوليدية (GRMs) لتقييم المخرجات. وبخلاف نماذج المكافأة ذات القيم القياسية (Scalar)، تنتج نماذج GRM نقداً مهيكلاً يتكون من ثلاثة أجزاء:

1. المعيار (Rubric - $R$): مجموعة من معايير التقييم.
2. التقييم (Evaluation - $E$): تقييم لكل معيار على حدة.
3. الحكم (Verdict - $A$): قرار التفضيل النهائي.

المشكلة الجوهرية: تعمل خطوط أنابيب تدريب GRM الحالية على تحسين الحكم النهائي ($A$) حصرياً. ويُعامل المعيار الوسيط ($R$) كمنتج ثانوي عرضي، مما يجعله غير مُشرف عليه وغير مُتحقق منه. يؤدي هذا إلى:

• التبرير اللاحق (Post-hoc Rationalization): قد تولد النماذج معايير تبرر فقط إجابة محددة مسبقاً بدلاً من توجيه تقييم مبني على أسس سليمة.
• ضعف القابلية للنقل (Poor Transferability): المعايير التي تولدها النماذج غالباً ما تفشل عند تطبيقها من قبل مقيمين مستقلين أو على توزيعات مهام مختلفة.
• محدودية الحلول الحالية: نهج "النموذج اللغوي الكبير كمُحكّم" (LLM-as-a-Judge) مكلف حوسبياً، والأهم من ذلك، أنه يوفر إشارات غير قابلة للاشتقاق (Non-differentiable)، مما يمنع تحسين جودة المعيار عبر التعلم التعزيزي (RL).

2. المنهجية: Proxy-GRM

يقترح المؤلفون Proxy-GRM، وهو إطار عمل يقدم آلية تدريب مغلقة الحلقة (Closed-loop) لتحسين جودة المعيار صراحةً باستخدام وكيل وسيط (Proxy Agent) مخصص.

أ. المفهوم الجوهري: قابلية نقل المعيار (Rubric Transferability)

تعرّف الورقة "قابلية نقل المعيار" بأنها قدرة المعيار المُولد على توجيه وكيل مستقل للوصول إلى حكم التفضيل الصحيح. إذا استطاع وكيل خارجي الحكم بشكل صحيح على زوج من الاستجابات باستخدام المعيار المُولد فقط (مع المدخلات الأصلية)، فإن المعيار يُعتبر عالي الجودة وقابلاً للنقل.

ب. الوكيل الوسيط (The Proxy Agent)

يتم تدريب وكيل وسيط خفيف الوزن خصيصاً لـ استهلاك المعايير، وليس لتوليدها.

• المدخلات: الاستعلام الأصلي ($q$)، الصورة ($I$)، الاستجابات المرشحة ($r_1, r_2$)، والمعيار المُولد ($R$).
• المخرجات: الحكم ($A \in \{1, 2\}$).
• التدريب: يتم تدريب الوكيل عبر الضبط الدقيق تحت الإشراف (SFT) والتعلم التعزيزي (RL) لاتباع المعايير بأمانة.
• الدور: يعمل كمدقق (Verifier). وتعمل دقة تنبؤاته كـ إشارة مكافأة لجودة المعيار لنموذج السياسة الأساسي.

ج. خط تدريب النموذج

يتضمن الإطار مرحلتين رئيسيتين:

1. تدريب الوكيل الوسيط:

   • Proxy-SFT: ضبط دقيق تحت الإشراف على 5 آلاف عينة عالية الجودة لتعلم اتباع المعايير.
   • Proxy-RL: تدريب إضافي على 10 آلاف عينة لتحسين المتانة.
   • النتيجة الرئيسية: يتفوق Proxy-SFT (القائم على SFT) على Proxy-RL (القائم على RL) كمدقق، مما يشير إلى أن تحسين النتيجة النهائية فقط عبر RL قد يؤدي إلى تدهور الدقة المطلوبة في عملية التقييم.

2. تدريب نموذج السياسة (GRM):

   • البداية الباردة (Cold-Start): يتم إجراء SFT لنموذج VLM الأساسي على 10 آلاف عينة لتعلم تنسيق المخرجات.
   • التعلم التعزيزي (GRPO): يتم تحسين السياسة باستخدام دالة مكافأة مركبة:
     $$r = r_{acc} + r_{proxy} + 0.5 \cdot r_{format}$$
   • $r_{acc}$: دقة الحكم النهائي.
   • $r_{proxy}$: المكون المبتكر. تبلغ قيمتها (+1) إذا اتفق الوكيل الوسيط المجمد مع الحقيقة الأرضية (Ground Truth) باستخدام المعيار المُولد؛ و(-1) خلاف ذلك.
   • $r_{format}$: الالتزام بهيكل XML.

3. المساهمات الرئيسية

1. تحديد قابلية نقل المعيار: تحدد الورقة أن قابلية نقل المعيار هي بُعد حاسم لم يُستكشف كفاية في جودة GRM، وتقترح حلاً منهجياً.
2. التدريب الموجه بالوكيل ذو الحلقة المغلقة: تقدم إطار عمل حيث يوفر وكيل وسيط مستقل إشارة مكافأة قابلة للاشتقاق لجودة المعيار، مما يحل مشكلة "الحلقة المفتوحة" في نهج "LLM-as-a-Judge".
3. رؤية مفاجئة حول الوكلاء الوسطاء: تثبت أن الوكلاء الوسطاء القائمين على SFT يتفوقون على الوكلاء القائمين على RL في مهام التقييم، مما يكشف عن توتر بين تحسين مستوى النتيجة وتحسين دقة العملية.
4. كفاءة البيانات: تحقق نتائج رائدة (SOTA) باستخدام ~50 ألف عينة تدريب فقط، وهو ما يعادل أقل بـ 4 مرات من البيانات المستخدمة في الطرق المماثلة (مثل R1-Reward و Unified-Reward) التي تتدرب على أكثر من 200 ألف عينة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة اختبارات مرجعية رئيسية: VL-RewardBench، و Multimodal Reward Bench، و MM-RLHF-Reward Bench.

• الأداء: حقق Proxy-GRM (باستخدام Proxy-SFT) نتائج رائدة (SOTA) عبر جميع الاختبارات.
  • VL-RewardBench: دقة 75.22% (مقابل 73.8% لأفضل نموذج سابق، Unified-Reward-Think).
  • Multimodal Reward Bench: دقة 85.62% (متفوقاً على نماذج مغلقة المصدر مثل Claude-3.7-Sonnet و GPT-4o).
  • MM-RLHF-Reward Bench: دقة 82.94%.
• كفاءة البيانات: تفوق النموذج على النماذج المرجعية التي تدربت بـ 4 أضعاف كمية البيانات، مما يثبت أن التحقق الموجه بالوكيل هو إشارة تعلم أكثر كفاءة من مجرد زيادة حجم البيانات.
• القابلية للنقل: حسنت المعايير المولدة بواسطة Proxy-GRM بشكل كبير من أداء نماذج التقييم غير المرئية (على سبيل المثال، عندما استخدم Unified-Reward-SFT معايير Proxy-GRM، ارتفعت دقته بنحو 3.76 نقطة). وهذا يؤكد أن المعايير تلتقط مبادئ تقييم عالمية بدلاً من الاختصارات الخاصة بالنماذج.
• دراسات الاستئصال (Ablation Studies):
  • اختيار الوكيل: Proxy-SFT > Proxy-RL. أدت النماذج العامة الأكبر (32B) إلى أداء أسوأ من نموذج 7B المتخصص (Proxy-SFT)، مما يسلط الض light على قيمة التدريب المستهدف.
  • تجمعات الوكلاء المتعددين (Multi-Agent Ensembles): أدى الجمع بين عدة وكلاء وسطاء إلى تدهور الأداء بسبب إشارات المكافأة المتضاربة، مما يشير إلى أن وجود وكيل واحد مُعاير جيداً أفضل من تجمع وكلاء غير متجانسين.
  • تجميع المكافآت: تفوق الجمع الضمني البسيط للمكافآت ($r_{acc} + r_{proxy}$) على المخططات المعقدة التي تعدل مكافآت الدقة صراحةً بناءً على تغذية الوكيل الراجعة.

5. الأهمية

يغير هذا العمل بشكل جذري نموذج تدريب نماذج المكافأة من الإشراف القائم على النتيجة فقط إلى الإشراف القائم على العملية. من خلال التعامل مع المعيار ككيان أساسي يجب التحقق منه بشكل مستقل، نجح المؤلفون في:

• القضاء على "التبرير" حيث تقوم النماذج بتزييف المنطق لمطابقة إجابة مرغوبة.
• إنشاء معايير تقييم قوية، قابلة للتفسير، وقابلة للنقل عبر مختلف النماذج والمهام.
• إثبات إمكانية تعلم نواتج استدلال عالية الجودة بكفاءة دون الحاجة إلى مجموعات بيانات ضخمة، بشرما تضمنت حلقة التدريب آلية للتحقق من جودة عملية الاستدلال نفسها.

الكود متاح على: https://github.com/Qwen-Applications/Proxy-GRM.