💬 NLP

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

تقدم هذه الورقة VerifyBench وVerifyBench-Hard، وهما معياران جديدان صُمِّما لتقييم أنظمة المكافأة القائمة على المراجع لنماذج الاستدلال الكبيرة، مما يكشف أنه بينما تُظهر أدوات التحقق الحالية واعداً في المهام القياسية، إلا أنها لا تزال تتطلب تحسيناً كبيراً في الحالات الصعبة لدعم تدريب التعلم التعزيزي بشكل كامل.

المؤلفون الأصليون: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب عبقري ولكنه مغرور أحياناً (نموذج لغوي كبير) كيفية حل الألغاز الرياضية والمنطقية المعقدة. تريد أن يصبح أفضل، لذا تستخدم نظاماً يسمى التعلم التعزيزي (Reinforcement Learning). في هذا النظام، يحاول الطالب حل مسألة، ويقوم "المعلم" (نظام المكافأة) بإعطائه درجة: "عمل جيد!" أو "حاول مرة أخرى".

لفترة طويلة، كان المعلمون يقارنون ببساطة بين إجابتين مختلفتين قدمهما الطالب ويقولون: "الإجابة أ أفضل من الإجابة ب". ولكن مؤخراً، ظهر جيل جديد من الطلاب فائقي الذكاء (مثل o1 من OpenAI أو DeepSeek-R1). هؤلاء الطلاب لا يخمنون فحسب؛ بل يفكرون خطوة بخطوة. ولتدريبهم، نحتاج إلى نوع مختلف من المعلمين: معلم يتحقق من إجابة الطالب مقابل "مفتاح إجابة ذهبي" (الحقيقة المطلقة) ويقول: "نعم، هذا صحيح تماماً"، أو "لا، هذا خطأ".

المشكلة هي أننا لم نكن نملك طريقة جيدة لاختبار ما إذا كان هؤلاء "المتحققون من مفاتيح الإجابات" يقومون بعملهم بشكل جيد حقاً.

هنا يأتي دور VerifyBench، المعيار الجديد الذي تم تقديمه في هذه الورقة البحثية. فكر في VerifyBench كأنه "امتحان معلمين" معياري مصمم خصيصاً لاختبار مدى كفاءة هؤلاء "المتحققين من مفاتيح الإجابات".

مستوايا الامتحان

أنشأ الباحثون نسختين من هذا الامتحان لاختبار المعلمين بمستويات مهارة مختلفة:

1. VerifyBench (الامتحان القياسي):

ما هو: مجموعة من 1,000 سؤال تغطي الرياضيات والمنطق والاستدلال العام.
الإعداد: لكل سؤال، لديهم السؤال، والإجابة الذهبية، وإجابتان للطالب: واحدة صحيحة والأخرى خاطئة.
الهدف: يجب على "المعلم" (المتحقق من الذكاء الاصطناعي) النظر في إجابة الطالب والإجابة الذهبية ليقرر: "هل الطالب على صواب أم خطأ؟"
النتيجة: معظم معلمي الذكاء الاصطناعي الحاليين جيدون جداً في هذا، حيث يحققون دقة تزيد عن 90% في الحالات السهلة.

2. VerifyBench-Hard (امتحان "الكابوس"):

ما هو: نسخة أصعب تحتوي على 945 سؤالاً.
كيف تم إنشاؤه: أخذ الباحثون الأسئلة التي لم يستطع حتى أذكى نماذج الذكاء الاصطناعي الاتفاق على إجابتها. إذا قال النموذج (أ) "صحيح" وقال النموذج (ب) "خطأ"، فقد تم تصنيف هذا السؤال على أنه "صعب".
الهدف: هل يمكن للمعلم اكتشاف الحقيقة عندما يكون حتى الذكاء الاصطناعي الآخر مرتبكاً؟
النتيجة: هنا تصبح الأمور فوضوية. حتى أفضل معلمي الذكاء الاصطناعي انخفضت دقة أدائهم إلى حوالي 70-80%. وهذا يوضح أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال يعاني ليكون حكماً مثالياً عندما تصبح الأمور معقدة.

لماذا يهم هذا الأمر؟ (تشبيه "المدخلات الرديئة تؤدي لمخرجات رديئة")

تخيل أنك تدرب حصاناً للسباق.

إذا كان مدربك (نظام المكافأة) حكماً رائعاً، فسيخبر الحصان: "خطوة رائعة!" عندما يركض بشكل جيد، ويقول له: "تمهل!" عندما يتعثر. سيصبح الحصان أسرع.
أما إذا كان مدربك حكماً سيئاً، فقد يثني على الحصان عندما يتعثر ويوبخه عندما يركض بسرعة. سيصاب الحصان بالارتباك ويتوقف عن التحسن.

تظهر الورقة البحثية أنه إذا استخدمنا "معلماً" ضعيفاً لتدريب نماذج الاستدلال، فقد تتعلم هذه النماذج أشياء خاطئة. يساعد VerifyBench في العثور على أفضل "المعلمين" قبل أن نستخدمهم لتدريب الجيل القادم من الذكاء الاصطناعي الفائق.

النتائج الرئيسية بلغة بسيطة

الإجابات المرجعية حاسمة: وجدت الورقة أن معلمي الذكاء الاصطناعي يعملون بشكل أفضل بكثير عندما يُسمح لهم بالنظر إلى "مفتاح الإجابة الذهبي" أثناء التصحيح. بدون ذلك، يشبهون المعلم الذي يصحح اختباراً دون مفتاح إجابة—التخمين يكون أصعب بكثير!
الحجم مهم (ولكن ليس كل شيء): نماذج الذكاء الاصطناعي الأكبر حجماً هي عموماً معلمون أفضل. ومع ذلك، وجد الباحثون أنه حتى النماذج الأصغر والأسرع يمكن أن تكون معلمين جيدين إذا تم تدريبها بشكل صحيح، وهو أمر مهم لأن النماذج الكبيرة مكلفة في التشغيل.
أين يفشلون: يواجه معلمو الذكاء الاصطناعي صعوبة أكبر في:
- الرياضيات المعقدة: عندما تتضمن الإجابة أرقاماً متعددة أو معادلات صعبة.
- الفروق الدقيقة الدلالية: عندما تكون الإجابة جملة لها نفس المعنى ولكن مكتوبة بشكل مختلف (مثلاً: "القط سعيد" مقابل "سعيد هو القط").
- الترتيب: أحياناً لا يهم ترتيب الأرقام (مثلاً: "1، 2" هي نفسها "2، 1")، لكن الذكاء الاصطناعي يرتبك ويعتبرها خاطئة.

الخلاصة

لق[د بنى المؤلفون VerifyBench لسد فجوة ضخمة في عالم الذكاء الاصطناعي. قبل ذلك، لم يكن لدينا طريقة معيارية للتحقق مما إذا كانت الأنظمة التي تصحح إجابات الذكاء الاصطناعي جيدة حقاً في التصحيح.

باستخدام هذا المعيار الجديد، يمكن للباحثين الآن:

تحديد أي معلمي الذكاء الاصطناعي هم الأكثر موثوقية.
تدريب معلمين أفضل لإصلاح الأخطاء.
بناء نماذج استدلال أذكى يمكنها حل مشكلات العالم الحقيقي بأخطاء أقل.

باختصار، VerifyBench هو فحص مراقبة الجودة الذي يضمن أن "المعلمين" في عالم الذكاء الاصطناعي مؤهلون حقاً للتدريس.

إليك ملخص تقني مفصل لورقة البحث "VERIFYBENCH: BENCHMARKING REFERENCE-BASED REWARD SYSTEMS FOR LARGE LANGUAGE MODELS".

1. بيان المشكلة

أدى ظهور نماذج الاستدلال الكبيرة (LRMs) مثل OpenAI's o1 وDeepSeek-R1 إلى تحويل نموذج التعلم المعزز (RL) من التحسين القائم على التفضيل القياسي إلى أنظمة المكافأة القائمة على المرجع (Reference-based reward systems). في هذه الأنظمة، يتم تقييم مخرجات النموذج مقابل إجابات مرجعية صحيحة (مثل الحلول الرياضية الصحيحة أو الاستنتاجات المنطقية) بدلاً من التفضيلات النسبية بين استجابتين.

ومع ذلك، فإن معايسات المكافأة الحالية (مثل RewardBench وRM-Bench) تركز بشكل حصري تقريبًا على مقارنات التفضيل الزوجي (ترتيب الاستجابة A مقابل الاستجابة B). وهي تفشل في تقييم القدرة الحاسمة على التحقق المطلق: تحديد ما إذا كانت استجابة واحدة صحيحة أم خاطئة بناءً على إجابة مرجعية. هذا الفجوة تعيق التقييم المنهجي وتحسين أنظمة المكافأة المستخدمة لتدريب نماذج الاستدلال المتطورة.

2. المنهجية

قدم المؤلفون VerifyBench ومتغيرها الصعب VerifyBench-Hard، المصمم خصيصًا لتقييم أنظمة المكافأة القائمة على المرجع.

أ. بناء المعيار (Benchmark Construction)

تتضمن خطة البناء ثلاث مراحل رئيسية:

تنسيق الاستعلامات (Query Curation):
- VerifyBench: تم تجميعه من 41 مجموعة بيانات مفتوحة المصدر تغطي الاستدلال العام والمنطقي والرياضي.
- VerifyBench-Hard: مستمد من نفس المجموعة ولكن تم ترشيحه ليشمل فقط الحالات "المثيرة للجدل" حيث تظهر النماذج اللغوية الكبيرة ذات الأداء العالي اختلافًا كبيرًا في أحكامها.
توليد الإكمال (Completion Generation):
- قامت نماذج لغوية كبيرة متعددة، سواء كانت مفتوحة المصدر أو مملوكة (22 نموذجًا لـ VerifyBench، و18 لـ VerifyBench-Hard)، بتوليد إكمالات أحادية المحاولة (single-shot completions) للأسئلة المنسقة.
التوسيم والترشيح (Annotation & Filtering):
- توسيم نوع الإجابة: تم تصنيف الأسئلة إلى أربعة أنواع قياسية: القيم العددية، التعبيرات الجبرية، الاختيار من متعدد، والنصوص الحرة.
- التوسيم البشري: قام مُوسمان بشريان على الأقل بالتحقق من صحة كل إكمال مقابل الحقيقة الأرضية (ground truth). وتم حل الخلافات بواسطة مُوسمين إضافيين (meta-annotators).
- التوازن:
  - VerifyBench: تم بناؤه بتوزيع متوازن (1,000 سؤال فريد، كل منها مقترن باستكمال واحد صحيح وواحد خاطئ بالضبط) لضمان التقييم العادل عبر أنواع الإجابات.
  - VerifyBench-Hard: تم اشتقاقه عبر أخذ عينات طبيعية للحالات الصعبة، مما أدى إلى انحراف نحو الإكمالات الخاطئة (291 صحيح مقابل 709 خاطئ) ليعكس الصعوبة في العالم الحقيقي.

ب. إطار التقييم

تحدد الورقة مقياسًا جديدًا لنماذج المكافأة القائمة على المرجع ( $R_\phi$ ). على عكس المقاييس الزوجية، تُقاس الدقة بقدرة النموذج على التنبؤ بتسمية صحة ثنائية ( $y$ ) لاستجابة واحدة ( $r$ ) بمعلومية الاستعلام ( $q$ ) والحقيقة الأرضية ($gt$):
$\text{Accuracy} = \frac{1}{|D|} \sum I [E(R_\phi(q, gt, r)) = y]$
حيث تقوم الدالة $E(\cdot)$ برسم درجات المكافأة المستمرة إلى تنبؤات صحة منفصلة.

3. المساهمات الرئيسية

VerifyBench & VerifyBench-Hard: أول معايير مخصصة لتقييم أنظمة المكافأة القائمة على المرجع، متجاوزة التفضيل الزوجي إلى التحقق من الصحة المطلقة.
تنسيق عالي الجودة: مجموعة بيانات منسقة بعناية تضم 2,000 عينة متوازنة (VerifyBench) و1,000 عينة صعبة (VerifyBench-Hard) مع تحقق بشري صارم.
التحليل التجريبي الشامل:
- تقييم خطوط الأساس المتنوعة: الوظائف القائمة على القواعد (مثل math-verify)، والنموذج كحكم (LLM-as-a-Judge)، والمحققات المتخصصة القائمة على النماذج.
- دراسة الاستبعاد (Ablation Study): أثبتت أن توفير الإجابات المرجعية في المطالبة (prompt) أمر بالغ الأهمية، حيث ينخفض الأداء بنسبة 5-18% عند حذف المراجع.
- تحليل الارتباط: أثبتت أن المحققات التي تؤدي جيدًا في VerifyBench تؤدي إلى نتائج أفضل في تدريب التعلم المعزز (RL) اللاحق.

4. النتائج الرئيسية

فجوة الأداء: بينما تحقق النماذج اللغوية الكبيرة المتطورة (مثل GPT-4o وQwen3-32B) دقة عالية (~93–95%) في VerifyBench القياسي، ينخفض الأداء بشكل كبير في VerifyBench-Hard (أفضل دقة ~72.4%). يشير هذا إلى فجوة أداء بنسبة 20%، مما يسلط الض الضوء على وجود مساحة كبيرة للتحسين في التعامل مع الحالات الغامضة أو المعقدة.
الحساسية لحجم النموذج: تعاني النماذج الأصغر (أقل من 3 مليارات معلمة) بشكل كبير، حيث تصل دقتها إلى 25-44% في VerifyBench-Hard، بينما تحافظ النماذج الأكبر (أكثر من 70 مليار معلمة) على أداء قوي.
فئات الخطأ: حدد التحليل أنماط فشل محددة:
- القيم العددية: أخطاء مع الأعداد المركبة أو الإجابات متعددة القيم حيث لا يهم الترتيب.
- التعبيرات: الفشل في التعرف على التكافؤ الرياضي (مثل التعبيرات غير المبسطة).
- النصوص: صعوبة في التحقق من الاتساق الدلالي بدلاً من مطابقة النصوص الدقيقة.
التأثير على تدريب التعلم المعزز (RL): أظهرت التجارب باستخدام محققات مختلفة لتدريب نموذج أساسي (Qwen2.5-3B) عبر خوارزمية GRPO ارتباطًا قويًا: المحققات ذات درجات VerifyBench الأعلى أنتجت نماذج مدربة بالتعلم المعزز ذات أداء أفضل بكثير في مهام الرياضيات اللاحقة (MATH500, AMC23). وعلى العكس من ذلك، أدت المحققات الضعيفة إلى تدهور أداء النموذج.

5. الأهمية

سد فجوة حرجة: يوفر أول إطار معياري لتقييم آليات المكافأة المحددة المستخدمة في تدريب نماذج الاستدضاء الحديثة (RLVR)، والتي لم تكن مقيمة سابقًا بواسطة المعايير الموجودة.
توجيه التطوير المستقبلي: من خلال تحديد أن المحققات الحالية تعاني مع الحالات "الصعبة" والنماذج صغيرة الحجم، توجه الورقة البحث المستقبلي نحو تحسين متانة وكفاءة التحقق.
الفائدة العملية: يؤكد تحليل الارتباط أن VerifyBench ليس مجرد مقياس نظري بل هو أداة عملية لاختيار وتدريب نماذج المكافأة التي تعزز مباشرة قدرات الاستدلال للنماذج اللغوية الكبيرة.

في الختام، يضع VerifyBench معيارًا جديدًا لتقييم أنظمة المكافأة القائمة على المرجع، مما يوفر أساسًا مبدئيًا لتعزيز موثوقية ودقة التعلم المعزز في نماذج الاستدلال الكبيرة.