ملخص تقني: التقييم التلقائي كمعيار للمكافأة (ARR)

بيان المشكلة

يواجه محاذاة النماذج التوليدية متعددة الوسائط مع التفضيلات البشرية حالياً عوائق ناتجة عن محدودية أساليب التعلم المعزز من التغذية الراجعة البشرية (RLHF) السائدة. تعمل الطرق الحالية عادةً على اختزال البنية الغنية متعددة الأبعاد للتقييم البشري (التي تشمل الجماليات، والدقة الدلالية، والسياق) إلى درجات عددية مبهمة أو تصنيفات ثنائية. هذا النهج الاختزالي يتخلص من قابلية المعايير البشرية للتفسير، مما يخلق تمثيلات "متشابكة" عرضة لـ "اختطاف المكافأة" (reward hacking) والتحيزات التقييمية المنهجية، مثل التحيز الموضعي (حيث يفضل الحكام الصور بناءً على ترتيبها بدلاً من جودتها).

بينما تحاول طرق "المعايير كأداة مكافأة" (RaR) الحديثة إعادة إدخال الهيكلية من خلال معايير صريحة، إلا أنها غالباً ما تعتمد على معايير ثابتة أو خاضعة للإشراف أو مصممة يدوياً. وهذا يحد من قابليتها للتوسع، وتحديداً في دقة المطالبات (prompts) وكفاءة البيانات، لا سيالما عند التوسع في بيئات التوليد متعددة الوسائط المعقدة. تفترض الورقة أن العائق الأساسي في المحاذاة متعددة الوسائط ليس نقصاً في معرفة التفضيلات داخل نماذج الرؤية واللغة الكبيرة (VLMs)، بل هو غياب واجهة مستقرة ومجزأة لتطبيق تلك المعرفة.

المنهجية

يقترح المؤلفون التقييم التلقائي كمعيار للمكافأة (ARR)، وهو إطار عمل يقوم بخارجية المعرفة الضمنية بالتفضيلات وتحويلها إلى معايير صريحة مشروطة بالحالة، وتحسين سياسة المعايير (RPO)، وهو خوارزمية تدريب تستخدم هذه المعايير للمحاذاة التوليدية.

1. التقييم التلقائي كمعيار للمكافأة (ARR)

يعيد ARR صياغة نمذجة المكافأة من تحسين الأوزان الضمنية إلى التفكيك الصريح القائم على المعايير. وهو يعمل من خلال مسار (توليد-تحقق-تحسين) لا يتطلب تدريباً:

• توليد المعايير: بالنظر إلى زوج من التفضيلات (المطالبة $x$، الصورة المفضلة $y^+$، الصورة غير المفضلة $y^-$)، يقوم نموذج VLM بتوليد معيار لغوي طبيعي $r_i$ يشرح سبب تفضيل $y^+$ على غيرها.
• التحقق والتحسين: تقوم خطوة تحقق منفصلة بالتحقق مما إذا كان المعيار المولد يدعم باستمرار تسمية التفضيل الأصلية. إذا فشل التحقق، يتم تحسين المعيار بشكل تكراري حتى يصل إلى الحد الأقصى من المحاولات ($T_{max}$). ويتم استبعاد المعايير التي تفشل بعد التحسين.
• الهيكلة الهرمية: يتم دمج المعايير التي تم التحقق منها والمخصصة لكل حالة بواسطة نموذج لغوي كبير (LLM) في معيار واحد منظم هرمياً ($R_{structured}$). يقوم هذا المعيار المنظم بتجميع المعايير حسب التفصيل الدلالي (مثل التركيب، الإضاءة، الملمس) ويعمل كمطالبة نظام (system prompt) للقاضي.
• إشارة المكافأة: بدلاً من الانحدار العددي، يستخدم قاضي الـ VLM المعيار الهيكلي ($R_{structured}$) لاتخاذ قرارات تفضيل ثنائية. تحصل المخرجات المفضلة على مكافأة ثابتة موجبة ($+\lambda$)، بينما تحصل المخرات غير المفضلة على قيمة سالبة ثابتة ($-\gamma$).

2. تحسين سياسة المعايير (RPO)

RPO هي خوارزمية تحسين سياسة عبر الإنترنت مصممة لدمج التقييم الهيكلي لـ ARR مباشرة في حلقة التدريب التوليدي.

• الآلية: لكل مطالبة، تقوم السياسة الحالية $\pi_\theta$ بتوليد مسارين مرشحين. يقوم قاضي ARR المجمد، المشروط بالمعيار الهيكلي، بتقييمهما لإنتاج تفضيل ثنائي.
• الهدف: يتم تخصيص ميزة (advantage) قدرها $+\lambda$ للمسار الفائز و $-\gamma$ للخاسر. يتم توزيع هذه الميزة بشكل موحد عبر جميع خطوات التوليد.
• التحسين: يتم تحديث السياسة باستخدام هدف شبيه بـ PPO مع تنظيم KL. وعلى عكس الطرق السابقة التي تعامل المعايير كمرشحات مساعدة، يقوم RPO بتكييف هدف التحسين مباشرة على القرارات الثنائية المستندة إلى المعايير، مما يؤدي إلى استقرار تدرجات السياسة ومحاذاة التحديثات مع أبعاد الجودة القابلة للتفسير.

المساهمات الرئيسية

1. التقييم التلقائي كمعيار للمكافأة (ARR): إطار عمل لا يتطلب تدريباً يقوم بخارجية التفضيلات البشرية الضمنية وتحويلها إلى معايير صريحة وقابلة للتفسير ومشروطة بالحالة. يتيح تقييماً متعدد الوسائط قابلاً للتوسع بكفاءة عالية في البيانات، حيث يتطلب فقط عينات قليلة موسومة ولا يتطلب أي تحديث للمعلمات في نموذج القاضي.
2. تحسين سياسة المعايير (RPO): إطار لتحسين السياسة يستبدل إشارات المكافأة العددية المبهمة بمقارنات هيكلية مستندة إلى المعايير. يدمج الأحكام المشروطة بالمعايير مباشرة في هدف التحسين، مما يلغي الحاجة إلى نموذج مكافأة منفصل وقابل للتدريب.
3. تشخيص اختناق الواجهة: من خلال دراسات الاستئصال، يوضح المؤلفون أن العائق الرئيسي في المحاذاة متعددة الوسائط هو غياب الواجهة المجزأة، وليس نقص المعرفة. ويظهرون أن جودة المعايير تتناسب مع قدرات المحاذاة لنموذج VLM الأساسي، وأن الفهم الأعمق للمعايير الجوهرية يقود المتانة بشكل أكثر فعالية من زيادة حجم النموذج أو حجم البيانات.

النتائج التجريبية

قيم المؤلفون ARR وRPO على اختبارات توليد (نص-إلى-صورة) واختبارات تحرير الصور.

• أداء التقييم: في اختبارات تشمل HPDv3 وMM-RewardBench2 وEditReward-Bench، تفوقت قضاة الـ VLM المشروطة بـ ARR (مثل Qwen3-VL، وGPT-5، وGemini 3.1 Pro) على كل من نماذج المكافأة العددية المدربة وقضاة الـ VLM المباشرين. أدى ARR إلى تحسين دقة التفضيل بنسبة 1.7 إلى 6.3 نقطة مئوية. والأهم من ذلك، قلل ARR بشكل كبير من التحيز الموضعي، حيث ضيق الفجوة في الأداء بين الترتيب الأمامي والعكسي للصور من ~30-34 نقطة (في النماذج الأساسية) إلى 8.9-10.3 نقطة باستخدام المعايير الموجهة بشرياً.
• الأداء التوليدي: عند استخدامه لتدريب النماذج عبر RPO، حقق الإطار مكاسب جوهرية دون ضبط دقيق للقاضي أو استخدام تعليقات توضيحية واسعة النطاق للمكافأة.
  • النص-إلى-صورة: في GenEval، تحسن الأداء من 0.66 إلى 0.80؛ وفي DPG-Bench، من 83.84 إلى 85.76.
  • تحرير الصور: في GEdit-Bench، تحسنت الدرجات من 7.54 إلى 7.85 (بالنسبة لنموذج Qwen-Image-Edit-2509 الأساسي).
• التعميم: أظهر الإطار قدرة قوية على التعميم في حالات Zero-shot وFew-shot. وأكدت تجارب نقل المعايير بين النماذج أن المعايير التي تولدها عائلة نماذج معينة يمكن أن توجه بفعالية قضاة من عائلة أخرى، مما يؤكد أن هيكل المعيار نفسه هو المحرك للمتانة.

الأهمية والادعاءات

تدعي الورقة أن "الاختناق" في المحاذاة متعددة الوسائط ليس عجزاً في معرفة التفضيلات داخل نماذج VLMs، بل هو غياب واجهة مستقرة ومجزأة لتطبيقها. ومن خلال جعل التفضيلات الضمنية خارجية عبر معايير صريحة وقابلة للتحقق، يحقق ARR-RPO محاذاة أكثر موثوقية وكفاءة في البيانات.

يؤكد المؤلفون أن هذا النهج:

• يخفف من اختطاف المكافأة: من خلال ترسيخ الإشراف في معايير صريحة وقابلة للفحص بدلاً من الوسطاء العدديين المتعلمين.
• يعزز القابلية للتفسير: يستبدل التحسين المبهم بتحسين مستند إلى المعايير، مما يسمح بنقل مباشر لدقة المقيم إلى جودة التوليد.
• لا يتطلب ضبطاً دقيقًا للقاضي: يعمل الإطار مع نماذج VLMs مجمدة، مما يجعله فعالاً حاسوبياً وقابلاً للتوسع.

تتمثل الرؤية الجوهرية في أن توفير واجهة هيكلية ومجزأة لتطبيق التفضيلات كافٍ لدفع تحسينات كبيرة في كل من موثوقية التقييم والأداء التوليدي، مما يتحدى الفكرة القائلة بأن النماذج الأكبر أو البيانات الأكثر هي المتطلبات الأساسية لتحقيق محاذاة أفضل.