تقدم الورقة البحثية نماذج مكافأة الاستدلال (ReasRMs)، وتحديداً عائلة RM-R1، التي تعيد صياغة نمذجة المكافأة كمسألة استدلال باستخدام آلية "سلسلة المعايير" (chain-of-rubrics) ومسار تدريب ثنائي المرحلة لتحقيق قدرة فائقة على التفسير والأداء مقارنة بالنماذج الضخمة الحالية.
تخيل أنك توظف موظفًا جديدًا لمساعدتك في تصحيح آلاف الواجبات المنزلية. لديك نوعان من المرشحين:
"المصحح السريع" (نموذج المكافأة التقليدي): هذا الشخص ينظر إلى الإجابة، يلقي نظرة خاطفة على النتيجة النهائية، ويكتب فورًا درجة (مثل "8/10") على ورقة. هو سريع، ولكن إذا سألته لماذا أعطى هذه الدرجة، يكتفي بهز كتفيه. قد يكون محقًا، لكن ليس لديك أدنى فكرة عما إذا كان قد فهم الرياضيات حقًا أم أنه مجرد خمن بناءً على خط اليد.
"المعلم المفكر" (RM-R1): هذا الشخص لا يكتفي بإعطاء درجة فحسب. بل يجلس، يقرأ السؤال، يحل المسألة بنفسه على ورقة مسودة، يكتب قائمة مراجعة (Checklist) مفصلة لما يجب أن تبدو عليه الإجابة الجيدة، ثم يقارن عمل الطالب مقابل هذه القائمة، وبعد ذلك يعطي درجة مع شرح كامل.
تقدم هذه الورقة البحثية RM-R1، وهو في الأساس "المعلم المفكر". يجادل المؤلفون بأنه لجعل الذكاء الاصطناعي يتصرف بشكل أفضل، نحتاج إلى التوقف عن استخدام "المصححين السريعين" والبدء في استخدام "المعلمين المفكرين" لتعليمهم.
إليك تفصيل فكرتهم باستخدام تشبيهات بسيطة:
1. المشكلة: المصحح "الصندوق الأسود"
تستخدم معظم أنظمة الذكاء الاصطناعي حاليًا نماذج المكافأة القياسية (Scalar Reward Models) (المصححين السريعين). فهي تنظر إلى استجابتين للذكاء الاصطناعي وتختار الفائز عبر إخراج رقم واحد.
العيب: الأمر يشبه حكماً في مباراة ملاكمة يشير فقط إلى الفائز دون شرح لماذا. إذا ارتكب الذكاء الاصطناعي خطأً، فلن نعرف ما إذا كان خطأً في المنطق، أو مشكلة في السلامة، أو مجرد خلل في التنسيق. ولأنهم لا "يفكرون" قبل الحكم، فغالما يتم خداعهم بالإجابات التي تبدو منمقة ولكنها خاطئة.
2. الحل: "التفكير كأداة للمكافأة"
يقترح المؤلفون RM-R1 (نموذج مكافأة الاستدلال). بدلاً من مجرد إعطاء درجة، يعمل هذا النموذج مثل محقق أو معلم.
التشبيه: تخيل معلم رياضيات يصحح اختبارًا. المعلم السيئ ينظر فقط إلى الرقم النهائي. أما المعلم الجيد (RM-R1) فينظر إلى الخطوات: "هل وضعوا المعادلة بشكل صحيح؟ هل أظهروا خطوات عملهم؟ هل المنطق سليم؟"
السر: RM-R1 لا يقول فقط "أ هي أفضل". بل يقول: "أ أفضل لأنها اتبعت 4 قواعد (معايير/Rubrics) ابتكرتها للتو لهذا السؤال تحديدًا، و ب فشلت في القاعدة رقم 2".
3. كيف قاموا بتدريبه: نظام "المتدرج"
لا يمكنك مجرد إخبار ذكاء اصطناعي ذكي بأن "يفكر بعمق أكبر". عليك تعليمه كيف يفكر. استخدم المؤلفون عملية تدريب من خطوتين:
الخطوة 1: مرحلة "المحاكاة" (Distillation) تخيل طباخًا ماهرًا (ذكاء اصطناٍ اصطناعي ذكي جدًا مثل GPT-4) يطبخ طبقًا معقدًا. إنه يكتب كل خطوة، وكل مقياس للمكونات، وكل سبب لاختياراته. المتدرج (RM-R1) يشاهد هذا ويقلد الوصفة.
في الورقة البحثية: أخذوا "آثار الاستدلال" (Reasoning Traces) عالية الجودة (التفكير خطوة بخطوة) من نماذج الذكاء الاصطناعي رفيعة المستوى وعلموا RM-R1 محاكاة عملية التفكير العميق تلك.
الخطوة 2: مرحلة "الامتحان التجريبي" (Reinforcement Learning) الآن أصبح المتدرج بمفرده. يُعطى اختبارًا، ولكن مع لمسة مختلفة: لا يحصلون على مكافأة إلا إذا كانت الإجابة صحيحة وكان استدلالهم منطقيًا أيضًا.
"سلسلة المعايير" (Chain-of-Rubrics - CoR): هذا هو المكون السري. قبل الحكم، يسأل النموذج نفسه: "هل هذا سؤال دردشة أم سؤال رياضيات؟"
إذا كان رياضيات: "أحتاج لحل المسألة بنفسي أولاً لأرى من أصاب".
إذا كان دردشة: "أحتاج لإنشاء قائمة مراجعة (معايير) للتعاطف، والسلامة، والمساعدة، ثم تقييم الإجابات بناءً على تلك القائمة".
تتيح هذه المرونة للنموذج تكييف "أسلوب تفكيره" مع المشكلة المحددة، تمامًا كما يفعل الخبير البشري.
4. النتائج: صغير ولكن قوي
عادةً، لكي تصبح أفضل في مهمة ما، تحتاج إلى كمبيوتر أكبر وأكثر تكلفة (نموذج أكبر).
المفاجأة: بنى المؤلفون نماذج RM-R1 التي كانت صغيرة نسبيًا (من 7 مليار إلى 32 مليار معلمة/Parameter).
الفوز: على الرغم من كونها أصغر، إلا أنها هزمت النماذج الضخمة والمكلفة (مثل نماذج 70B أو 340B) وحتى النماذج العملاقة المملوكة لشركات مثل GPT-4o في مهام نمذجة المكافأة.
لماذا؟ لأنها "تفكر" بشكل صحيح، وليس فقط "تخمن" بناءً على الحجم. إنه الفرق بين محقق صغير عبقري وبين عملاق مرتبك.
5. لماذا يهم هذا؟
الشفافية: يمكننا أخيرًا رؤية لماذا يعتقد الذكاء الاصطناعي أن إجابة ما أفضل من غيرها. لم يعد صندوقًا أسود.
السلامة: من خلال إجبار الذكاء الاصطناعي على إنشاء قائمة مراجعة لقواعد السلامة قبل الحكم، يصبح من الصعب جدًا على الذكاء الاصطناعي الموافقة على استجابة ضارة عن طريق الخطأ.
الكفاءة: لا نحتاج لبناء نماذج ضخمة تستهلك الكثير من الطاقة للحصول على نتائج جيدة؛ نحتاج فقط لتعليم النماذج الأصغر كيفية التفكير بعمق.
الملخص
RM-R1 هو نوع جديد من أحكام الذكاء الاصطناعي. بدلاً من التسرع في إعطاء درجة، يتوقف، وينشئ قائمة مراجعة مخصصة للسؤال المحدد، ويحل المشكلة بنفسه (إذا لزم الأمر)، ثم يقيم الإجابة بشرح منطقي مفصل. نهج "التفكير أولاً، ثم الحكم لاحقًا" هذا يجعل الذكاء الاصطناعي أكثر أمانًا، وأكثر دقة، وأسه ألح فهمًا، كل ذلك مع استخدام قدر أقل من قوة الحوس_بة مقارنة بالعمالقة في هذا المجال.
إليك ملخص تقني مفصل لورقة البحث "RM-R1: Reward Modeling as Reasoning" (ICLR 2026).
1. بيان المشكلة
يعد نمذجة المكافأة (Reward Modeling - RM) مكوناً حاسماً في مواءمة النماذج اللغوية الكبيرة (LLMs) مع التفضيلات البشرية عبر التعلم التعزيزي من التغذية الراجعة البشرية (RLHF). تندرج النهج الحالية عموماً تحت فئتين، كل منهما تعاني من قيود كبيرة:
نماذج المكافأة القياسية (Scalar Reward Models - ScalarRMs): تتعامل مع نمذجة المكافأة كمسألة تصنيف، حيث تُخرج درجة عددية واحدة (scalar). ورغم كفاءتها، إلا أنها تفتقر للشفافية، إذ لا تقدم خطوات استدلال وسيطة لتبرير القرارات، مما يحد من قدرتها على التعامل مع مهام التفضيل المعقدة التي تتطلب استدلالاً مكثفاً.
نماذج المكافأة التوليدية (Generative Reward Models - GenRMs): تولد أحكاماً نصية حرة. ورغم كونها أكثر شفافية، إلا أن استدلالها غالباً ما يكون سطحياً، وغير منظم، وعرضة للهلوسة، مما يؤدي إلى أداء دون المستوى مقارنة بنماذج ScalarRMs في الاختبارات المرجعية الصارمة.
المشكلة الجوهرية التي تعالجها الورقة هي كيفية إنشاء نموذج مكافأة يجمع بين القابلية للتفسير الموجودة في النماذج التوليدية وبين الدقة والمتانة في المهام كثيفة الاستدلال، والانتقال من مجرد مطابقة الأنماط السطحية إلى التقييم العميق والمستند إلى أسس منطقية.
2. المنهجية: RM-R1
يقترح المؤلفون RM-R1، وهو فئة جديدة من نماذج مكافأة الاستدلال (Reasoning Reward Models - REASRMs) التي تصيغ نمذجة المكافأة صراحةً كمسألة استدلال. تتضمن المنهجية خط تدريب من مرحلتين وآلية استدلال مبتكرة.
أ. خط التدريب (Training Pipeline)
يتكون عملية التدريب من مرحلتين متمايزتين مصممتين لبناء ثم صقل قدرات الاستدلال:
تقطير الاستدلال (البداية الدافئة - Warm Start):
الهدف: حقن أنماط استدلال عالية الجودة في نموذج مضبوط بالتعليمات (مثل Qwen-2.5-Instruct) قبل مرحلة التعلم التعزيزي.
العملية: يقوم المؤلفون بتخليق مجموعة بيانات (Ddistill) باستخدام نماذج "أوراكل" (مثل o3 أو Claude-3.7-Sonnet). لكل زوج من التفضيلات، يولد نموذج الأوراكل مسار استدلال مهيكل (r(i)) يبرر الاستجابة المفضلة، مدمجاً مع الملصق (label) الصحيح.
الهدف: ضبط دقيق (SFT) قياسي عبر تقليل النقص في الاحتمالية (NLL) لتعليم النموذج كيفية توليد سلاسل الاستدلال هذه.
المبرر: غالباً ما يفشل التعلم التعزيزي (RL) الصرف في اكتشاف أنماط استدلال عالية الجودة من الصفر، خاصة بالنسبة للنماذج الأصغر. يوفر التقطير "بداية دافئة" بمنطق متماسك.
التعلم التعزيزي مع مكافآت قابلة للتحقق (RLVR):
الهدف: تعميم قدرات الاستدلال ومنع الإفراط في التخصيص (overfitting) لأنماط تدريب محددة.
العملية: يتم التعامل مع النموذج كسياسة (rθ) ويتم تحسينه باستخدام تحسين السياسة النسبي للمجموعات (GRPO).
دالة المكافأة: تُستخدم مكافأة بسيطة قائمة على القواعد: R=1 إذا تطابق حكم النموذج النهائي مع الحقيقة، و R=−1 بخلاف ذلك. تم استبعاد مكافآت التنسيق (format rewards) لأن النموذج المقطر يلتزم بالفعل بالهيكل.
الأهمية: تجبر هذه المرحلة النموذج على تعلم لماذا تعد الاستجابة أفضل، بدلاً من مجرد محاكاة بيانات التقطير، مما يعزز القدرة على التعميم.
ب. آلية الاستدلال: سلسلة المعايير (Chain-of-Rubrics - CoR)
الابتكار الرئيسي هو استراتيجية التوليد Chain-of-Rubrics (CoR)، والتي تكيف عملية الاستدلال بناءً على نوع المهمة. يصنف النموذج المدخل أولاً كـ دردشة (Chat) أو استدلال (Reasoning):
لمهام الدردشة (مثل السلامة، التعاطف، والمساعدة العامة):
يقوم النموذج بتوليد معايير تقييم ذاتية مصممة خصيصاً للسياق المحدد (مثل "التعاطف"، "السلامة النفسية").
يبرر اختيار المعايير وأوزانها.
يقيم الاستجابات المرشحة مقابل هذه المعايط لإنتاج حكم نهائي.
لمهام الاستدلال (مثل الرياضيات، والبرمجة):
يقوم النموذج بحل المشكلة بنفسه أولاً لتأسيس حل صحيح (ground-truth).
يقيم الاستجابات المرشحة بناءً على الصحة والتماسك المنطقي بالنسبة لحله الخاص.
يضمن نهج "الحل ثم الحكم" هذا فهم النموذج لمنطق المجال قبل نقد الآخرين.
3. المساهمات الرئيسية
صياغة نمذجة المكافأة كاستدلال: تثبت الورقة أن صياغة نمذجة المكافأة كعملية استدلال تعزز بشكل كبير كلاً من القابلية للتفسير والأداء، مما يتحدى هيمنة النماذج القياسية (scalar models).
بنية RM-R1: تقديم عائلة من النماذج (من 7 مليار إلى 32 مليار معلمة) مدربة عبر وصفة محددة: التقطير + RLVR + سلسلة المعايير (Chain-of-Rubrics).
التحليل التجريبي المنهجي: يقدم المؤلفون دراسة استئصال (ablation study) شاملة تثبت أن:
التقطير أمر بالغ الأهمية لتهيئة قدرات الاستدلال.
تصنيف المهام (دردشة مقابل استدلال) داخل المطالبة (prompt) ضروري للأداء الأمثل.
قوانين القياس (scaling laws) تنطبق: النماذج الأكبر تستفيد من تدريب الاستدلال هذا أكثر من النماذج الأصغر.
أداء رائد (SOTA): يحقق RM-R1 نتائج متفوقة في عدة اختبارات مرجعية.
4. النتائج التجريبية
تم تقييم النماذج بناءً على ثلاثة اختبارات مرجعية رئيسية: RewardBench، و RM-Bench، و RMB.
الأداء العام: حققت نماذج RM-R1 (تحديداً نسخة 32B) متوسط درجة قدره 81.5%، متفوقة على أفضل نموذج مفتوح الأوزان سابقاً (INF-ORM-Llama3.1-70B، بنسبة 78.8%) وعلى النماذج المملوكة مثل GPT-4o (77.7%) و Claude-3.5-Sonnet بفارق يصل إلى 4.9%.
كثافة الاستدلال: في RM-Bench (الاختبار الأكثر اعتماداً على الاستدلال)، سجل RM-R1-DeepSeek-Distilled-Qwen-32B مستوى قياسياً جديداً بنسبة دقة 91.8% في الرياضيات و 74.1% في البرمجة، متفوقاً بشكل كبير على الأرقام القياسية السابقة.
الكفاءة: رغم صغر حجمه (32B مقابل 70B/340B)، تفوق RM-R1 على نماذج أكبر، مما أظهر كفاءة عالية في البيانات (تدرب على حوالي 8.7 ألف مثال تقطير فقط).
رؤى الاستئصال (Ablation Insights):
حقق التعلم التعزيزي للبداية الباردة (Cold Start RL) وحده نتائج ضعيفة مقارنة بالمسار الكامل.
كان التقطير هو المكون الأكثر تأثيراً في تحسين الأداء في المهام الصعبة.
ساهم تصنيف المهام (التمييز بين الدردشة والاستدلال) في تعزيز أداء الاستدلال بشكل كبير.
5. الأهمية والعمل المستقبلي
تحول في النموذج الفكري (Paradigm Shift): تجادل الورقة بأن مستقبل نمذجة المكافأة يكمن في الاستدلال التوليدي بدلاً من التقييم القياسي (scalar scoring). إنها تسد الفجوة بين الإشراف على العمليات (process supervision) والمكافآت القائمة على النتائج (outcome-based rewards).
القابلية للتفسير: على عكس النماذج القياسية، يوفر RM-R1 مبررات شفافة وخطوة بخطوة (المعايير ومسارات الاستدلال) لأحكامه، مما يجعل من السهل تصحيح الأخطاء (debug) والوثوق به في التطبيقات الحرجة للسلامة.
القابلية للتوسع: تشير النتائج إلى أن قدرات الاستدلال في نماذج المكافأة تتناسب طردياً مع حجم النموذج وحسابات الاستدلال (inference compute)، مما يوفر مساراً لمواءمة أكثر متانة لنماذج LLM المستقبلية الأكبر.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار ليشمل جمع التفضيلات النشط (استعلام البشر فقط عندما تكون المعايير غير كافية) و نمذجة المكافأة متعددة الوسائط/الوكيلة (agentic).
في الختام، يرسخ RM-R1 حقيقة أن دمج الاستدلال العميق في نمذجة المكافأة ليس مجرد أمر مفيد فحسب، بل هو ضروري لمهام المواءمة عالية المخاطر، مما يضع معياراً جديداً لكيفية تدريب وتقييم نماذج المكافأة.