ملخص تقني: توسيع نطاق الحوسبة عند التقييم باستخدام نماذج الاستدلال كأدوات تقييم

بيان المشكلة

تتناول الورقة البحثية فجوة في النموذج الحالي لتطوير النماذج اللغوية الكبيرة (LM). فبينما ثبت جلياً أن توسيع نطاق "الحوسبة عند الاختبار" (على سبيل المثال، توليد سلاسل طويلة من التفكير، CoT، أو أخذ عينات من عدة مرشحات) يحسن بشكل كبير قدرات حل المشكلات للمولدات، لا يزال من غير الواضح ما إذا كان مبدأ التوسيع هذا ينطبق على المُقيِّمين (Evaluators). تعتمد المُقيِّمات الحالية غالباً على التقييم المباشر (نماذج مكافأة النتيجة - ORMs) أو التفكير قصير السلسلة (نماذج مكافأة العملية - PRMs) دون الاستفادة الكاملة من القوة الحسابية المتاحة وقت الاستنتاج. يتساءل المؤلفون: هل يمكن تحسين قدرة النموذج اللغوي على التقييم من خلال توسيع نطاق الحوسبة عند الاختبار، وهل يمكن لهذا التقييم المحسّن أن يعزز أداء المولد لاحقاً؟

المنهجية

يقترح المؤلفون إطار عمل لـ توسيع نطاق التقييم عند الاختبار باستخدام مُقيِّمات الاستدلال. بخلاف المُقيِّمات المباشرة التقليدية التي تتنبأ بالدرجات دون استدلال، أو المُقيِّمات التوليدية ذات السلاسل القصيرة من التفكير (CoT)، فإن مُقيِّمات الاستدلال هي نماذج استدلال جاهزة (مدربة عبر التعلم المعزز RL أو التقطير Distillation لإنتاج سلاسل تفكير طويلة) يتم توجيهها للعمل كقضاة.

تتضمن المنهجية ثلاثة مكونات أساسية:

1. مُقيِّمات نتيجة الاستدلال (Reasoning Outcome Evaluators): يقوم النموذج بتوليد سلسلة تفكير (CoT) طويلة لتحليل الاستجابة بأكملاء قبل التنبؤ بدرجة الصحة (0 أو 1). تُشتق الدرجة من لوجيت (logits) رموز التنبؤ.
2. مُقيِّمات عملية الاستدلال (Reasoning Process Evaluators): يقوم النموذج بتقييم الاستجابة خطوة بخطوة.
   • التقييم متعدد الخطوات: بدلاً من توليد سلسلة تفكير واحدة للاستجابة بأكملها، يقيم المُقيّم كل خطة استدلال بشكل فردي، مولداً سلسلة تفكير وحكماً متميزاً لكل منها.
   • التقسيم القائم على النموذج: للتعامل مع المخرجات غير المهيكلة (مثل الكود البرمجي)، يستخدم المؤلفون نموذجاً لغوياً لإدراج علامات [SPLIT] بين الخطوات، بدلاً من الاعتماد على التقسيم الهيورستي (heuristic) عبر أسطر جديدة.
   • التجميع: يتم تجميع درجات الخطوات باستخدام دالة mean_logit بدلاً من استخدام الحد الأدنى البسيط، وهو ما أثبت فعالية أكبر في التجارب.
3. التقييم المدمج: الدرجة النهائية هي استكمال وزني (weighted interpolation) لدرجة النتيجة ودرجة العملية ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$)، حيث تم استخدام $\alpha=0.5$ للموازنة بين الإشارتين.

يقارن المؤلفون مُقيِّمات الاستدلال هذه مقابل:

• المُقيِّمات المباشرة: نماذج PRM و ORM القياسية التي تتنبأ بالدرجات مباشرة دون سلسلة تفكير (CoT).
• مُقيِّمات الاستدلال أحادية الخطوة: النماذج التي تولد سلسلة تفكير واحدة للحكم على جميع الخطوات في آن واحد (وهي عملية حذف تجريبي لطريقتهم المقترحة).

المساهمات الرئيسية

1. إثبات توسيع نطاق التقييم عند الاختبار: تثبت الورقة أن إجبار المُقيِّمات على توليد المزيد من رموز الاستدلال (توسيع نطاق الحوسبة عند التقييم) يؤدي إلى تحسينات رتيبة في أداء التقييم.
2. تفوق تقييم العملية متعدد الخطوات: يوضح المؤلفون أن تقييم كل خطوة بشكل فردي (متعدد الخطوات) أكثر فعالية بكثير من التقييم أحادي الخطوة أو الاتساق الذاتي (توليد عدة سلاسل تفكير لنفس المهمة) في ظل ميزانيات حوسبة ثابتة.
3. الأداء في وضع الصفر (Zero-Shot): مُقيِّمات الاستدلال، التي لم تُدرب صراحةً كمُقيِّمات، تتفوق على نماذج PRM المتطورة والمصقولة بدقة (على سبيل المثال، مُقيِّم استدلال بحجم 32B يتفوق على PRM بحجم 72B في اختبار ProcessBench) وذلك فقط من خلال توسيع نطاق الحوسبة عند الاختبار.
4. تحسين المولد عبر التقييم: تظهر الورقة أن تخصيص المزيد من الحوسبة للتقييم (باستخدام Best-of-8 مع مُقيِّمات الاستدلال) يحقق أداءً أفضل للمولد مقارنة بتخصيص نفس القدر من الحوسبة لتوليد المزيد من المرشحات (Best-of-64 مع المُقيِّمات المباشرة). يشير هذا إلى أن المُقيّم الأقوى والأكثر كثافة حوسبية يخفف من مشكلة "الإفراط في تحسين نموذج المكافأة" (reward model over-optimization).

النتائج التجريبية

تقييم العملية (ProcessBench)

• المعيار: درجة F1 في تحديد أول خطوة خاطئة في الحل.
• النتائج:
  • تتفوق نماذج الاستدلال (مثل DeepSeek-R1-Distill-Qwen-32B) بشكل كبير على النماذج الموجهة بالتعليمات (instruction-tuned) ذات الأحجام المماثلة أو الأكبر.
  • متعدد الخطوات مقابل أحادي الخطوة: يحقق تقييم العملية متعدد الخطوات مكاسب جوهرية مقارنة بالطرق أحادية الخطوة. على سبيل المثال، حقق نموذج الاستدلال 32B درجة F1 بلغت 78.6 باستخدام التقييم متعدد الخطوات، متجاوزاً Qwen2.5-Math-PRM بحجم 72B (الذي سجل 78.3)، وهو ما كان يمثل الحالة الأفضل سابقاً.
  • الاتساق الذاتي: بينما يساعد الاتساق الذاتي، إلا أن التقييم متعدد الخطوات يوفر فوائد تكميلية. ويؤدي الجمع بينهما إلى أعلى الدرجات (مثلاً 82.8 لنموذج 32B).

حل المشكلات (أخذ عينات Best-of-N)

• الإعداد: تقوم المولدات (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) بتوليد $N$ من الاستجابات. وتقوم المُقيِّمات بترتيبها.
• المقارنة: مُقيِّمات الاستدلال (Best-of-8) مقابل المُقيِّمات المباشرة (Best-of-64) تحت ميزانية حوسبة إجمالية ثابتة.
• النتائج:
  • تتفوق مُقيِّمات الاستدلال (باستخدام Best-of-8) على المُقيِّمات المباشرة (باستخدام Best-of-64) بنسبة تتراوح بين 4.30% إلى 6.63% عبر مختلف الاختبارات (AIME, MATH, LeetCode، إلخ).
  • أداء الكود البرمجي: تظهر مُقيِّمات الاستدلال مكاسب قوية بشكل خاص في مهام البرمجة (LeetCode)، حيث تعاني نماذج PRM المباشرة غالباً من الإفراط في التحسين وضعف نقل المجال.
  • الدرجات المدمجة: دمج درجات العملية والنتيجة يعزز الأداء بشكل أكبر، حيث يعمل كأداة لكسر التعادل للاستجابات التي لا تستطيع مُقيِّمات النتيجة التمييز بينها.

التقييم الذاتي

• تستكشف الورقة أيضاً استخدام نموذج استدلال لتوليد وتقييم مخرجاته الخاصة. وتشير النتائج إلى أن نماذج الاستدلال يمكنها التقييم الذاتي بفعالية، مستردةً جزءاً كبيراً من الفجوة بين أداء Best-of-1 وأداء الـ Oracle، وغالباً ما تتفوق على المولدات الموجهة بالتعليمات التي يتم تقييمها بواسطة نفس نموذج الاستدلال.

الأهمية والادعاءات

تدعي الورقة أن توسيع نطاق التقييم عند الاختبار هو استراتيجية قابلة للتطبيق وقوية توازي توسيع نطاق الاستدلال للمولدات. تكمن الأهمية الأساسية في اكتشاف أن إنفاق المزيد من الحوسبة على التقييم يمكن أن يكون أكثر فعالية من إنفاقها على التوليد ضمن ميزانية ثابتة.

يجادل المؤلفون بأن:

1. قدرة الاستدلال تنتقل: القدرة على الاستدلال (عبر سلسلة تفكير طويلة) ليست فقط لحل المشكلات، بل هي متأصلة في التقييم عالي الجودة.
2. المتانة: مُقيِّمات الاستدلال أقل عرضة للإفراط في تحسين نموذج المكافأة، مما يوفر إشارات أكثر قوة لاختيار أفضل مرشح.
3. التعميم: هذا النهج يعمل عبر مجالات الرياضيات والبرمجة، ويمتد حتى إلى النماذج غير القائمة على الاستدلال عند توجيهها للتقييم خطوة بخطوة.

تخلص الورقة إلى أنه على الرغم من أن مُقيِّمات الاستداء الحالية ليست مدربة صراحةً للتقييم، إلا أن أنماط الاستدلال الأصلية لديها (التحقق الذاتي، التراجع عن الخطوات) تجعلها قضاة متفوقين. ويُقترح كعمل مستقبلي استكشاف تدريب هذه النماذج خصيصاً كـ مُقيِّمات وتوسيع المنهجية لتشمل المهام غير القابلة للتحقق مثل الكتابة الإبداعية.