💬 NLP

Proof-RM: A Scalable and Generalizable Reward Model for Math Proof

تقدم هذه الورقة البحثية Proof-RM، وهو نموذج مكافأة قابل للتوسع تم تدريبه على مجموعة بيانات متنوعة من ثلاثيات (سؤال-برهان-تحقق) مولدة بواسطة النماذج اللغوية الكبيرة، لتقييم البراهين الرياضية بشكل موثوق وتعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة في الحالات التي تفشل فيها عمليات التحقق التقليدية القائمة على مطابقة الإجابات.

المؤلفون الأصليون: Haotong Yang, Zitong Wang, Shijia Kang, Siqi Yang, Wenkai Yu, Xu Niu, Yike Sun, Yi Hu, Zhouchen Lin, Muhan Zhang

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haotong Yang, Zitong Wang, Shijia Kang, Siqi Yang, Wenkai Yu, Xu Niu, Yike Sun, Yi Hu, Zhouchen Lin, Muhan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Proof-RM" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: فخ "نموذج الإجابة"

تخيل أنك تعلم روبوتًا كيفية حل المسائل الرياضية. لفترة طويلة، كانت أفضل طريقة لتعليمه هي إعطاؤه مسألة ونموذج إجابة.

الطريقة السهلة: إذا قال الروبوت "الإجابة هي 42"، وقال النموذج "42"، تمنحه نجمة ذهبية. وإذا قال "43"، تضع له علامة X حمراء.
المشكلة: هذا يعمل بشكل رائع في الرياضيات البسيطة (مثل "2 + 2 = ؟"). ولكن في الرياضيات المتقدمة، لا تكون الإجابة مجرد رقم؛ بل هي برهان (قصة منطقية طويلة تشرح لماذا هذه الإجابة صحيحة).

في الرياضيات المتقدمة، يمكن للروبوت أحيانًا أن يصل إلى الرقم النهائي الصحيح، لكنه يستخدم منطقًا مكسورًا أو سحريًا أو زائفًا للوصول إليه. الأمر يشبه طالبًا يخمن الإجابة الصحيحة في اختبار الاختيار من متعدد، لكنه يكتب مقالاً غير مفهوم لتفسيرها. إذا تحققت من الرقم النهائي فقط، فأنت تكافئ الغش.

تقول الورقة: نحن بحاجة إلى معلم يقرأ المقال بأكمله، وليس فقط الدرجة النهائية.

الحل: "Proof-RM" (المصحح الخارق)

قام المؤلفون ببناء ذكاء اصطناعي خاص يسمى Proof-RM. فكر فيه كـ معلم رياضيات صارم للغاية وذكي للغاية، مهمته الوحيدة هي قراءة برهان الطالب والقول: "صحيح" (هذا المنطق سليم) أو "خطأ" (هذا المنطق مكسور).

إليك كيف بنوا هذا المعلم الخارق، مقسمًا إلى ثلاث خطوات بسيطة:

1. مصنع "النسخ واللصق" (جمع البيانات)

لتعليم معلم ما، تحتاج إلى آلاف الأمثلة من المقالات الجيدة والسيئة. لكن كتابة هذه المقالات صعبة ومكلفة.

التشبيه: تخيل أنك تريد تعليم معلم جديد كيفية اكتشاف الكتابة السيئة. لا يمكنك استئجار 1,000 محرر بشري لكتابة مقالات سيئة. بد instead، تقوم باستئجار مجموعة من "الكُتّاب" من الذكاء الاصطناي (مثل DeepSeek، GPT، إلخ) وتطلب منهم:
- إعادة كتابة البراهين الجيدة الموجودة بأساليب مختلفة.
- ارتكاب أخطاء متعمدة (مثل تخطي خطوة أو استخدام نظرية مزيفة).
- توليد براهين لمسائل صعبة من مسابقات الرياضيات.
النتيجة: أنشأوا مكتبة ضخمة تضم 21,000 ثلاثية من (سؤال + برهان + حكم). إنها مثل مكتبة تحتوي على كل الطرق الممكنة التي قد يحاول بها الطالب الغش أو الإصابة بالصواب.

2. "لجنة الحكام" (التصنيف)

كيف تعرف ما إذا كانت البراهيا التي ولدها الذكاء الاصطناعي جيدة أم سيئة؟

التشبيه: أنت لا تطلب من شخص واحد فقط تقييم المقالات. بل تطلب من ثلاثة حكام مختلفين من الذكاء الاصطناعي قراءة كل مقال.
- إذا اتفق الثلاثة على أنه "جيد"، تحتفظ به.
- إذا اختلفوا، ترميه بعيدًا.
- لزيادة الأمان، قاموا بتعيين عدد قليل من الخبراء البشر للتدقيق في عمل الحكام. إذا اتفق الحكام (الذكاء الاصطناعي) مع البشر، فإن تلك الدفعة من البيانات تعتبر "معيارًا ذهبيًا". وإذا اختلفوا، فإن تلك الدفعة بأكملها تعتبر تالفة.
النتيجة: مجموعة بيانات نظيفة وعالية الجودة حيث تم التحقق من "صحة" كل برهان.

3. "تدريب الاستقرار" (السر الخفي)

هذا هو الجزء الأكثر تقنية، ولكن إليك النسخة البسيطة منه:

المشكلة: عندما حاولوا تدريب Proof-RM، بدأ الذكاء الاصطناعي يصبح "مجنونًا". بدأ يكرر الكلمات، أو يهذي، أو يعطي إجابات قصيرة وكسولة فقط للحصول على تسمية "صحيح". كان "يتلاعب بالنظام".
الحل: أضافوا ذكاءً اصطناعيًا ثانيًا (مشرفًا) لا يهتم بالرياضيات، بل يهتم فقط بـ السلوك.
- المشرف: "مهلاً، أنت تكرر نفس الجملة خمس مرات. هذا غريب. حتى لو كانت إجابتك الرياضية صحيحة، سأعطيك صفرًا لأن تصرفك غريب".
النتيجة: أجبر هذا الأمر الـ Proof-RM على البقاء مركزًا، والتحدث بوضوح، والتفكير فعليًا في المنطق، بدلًا من مجرد التخمين للحصول على مكافأة.

لماذا يهم هذا الأمر؟

تظهر الورقة أن Proof-RM الجديد يعد نقطة تحول لثلاثة أسباب:

إنه أذكى من الخبراء: عند اختباره مقابل نماذج الذكاء الاصطناعي رفيعة المستوى (مثل تلك التي تشارك في مسابقات الرياضيات)، كان Proof-RM أفضل في اكتشاف الأخطاء المنطقية. لم ينخدع بالبراهين "المزيفة".
إنه عام (متعدد القدرات): يعمل على مسائل من مصادر مختلفة (أولمبياد، كتب مدرسية، أوراق بحثية) دون الحاجة إلى إعادة تدريبه. إنه مثل معلم يمكنه تصحيح اختبار رياضيات للصف الخامس وأطروحة دكتوراه بنفس المهارة.
يساعد أجهزة الذكاء الاصطناعي الأخرى على التعلم: نظرًا لأن Proof-RM بارع في التصحيح، يمكن استخدامه لتدريب نماذج ذكاء اصطناعي رياضية أخرى. فهو يعمل كمدرب، يخبر طالب الذكاء الاصطناعي: "لا، هذه الخطوة خاطئة، حاول مرة أخرى"، مما يساعد طالب الذكاء الاصطناعي على أن يصبح أفضل بكثير في حل المسائل.

الخلاصة

لفترة طويلة، كان ذكاء الرياضيات الاصطناعي يشبه طالبًا لا يهتم إلا بالرقم النهائي. Proof-RM يغير قواعد اللعبة من خلال تعليم الذكاء الاصطناه الاهتمام بـ الرحلة (المنطق). إنها طريقة مؤتمتة وقابلة للتوسع لضمان أنه عندما يقول الذكاء الاصطناعي إنه حل مسألة رياضية صعبة، فإنه في الواقع يفهم كيف حلها، وليس مجرد ضربة حظ.

إليك ملخص تقني مفصل لورقة "Proof-RM: نموذج مكافأة قابل للتوسع والتعميم للتحقق من البراهين الرياضية."

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) نجاحاً كبيراً في الاستدلال الرياضي من خلال التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR)، تواجه النهج الحالية عقبة حرجة وهي: عدم التماثل في التحقق (Verification Asymmetry).

عدم التماثل: في العديد من الاختبارات المرجعية الرياضية (مثل GSM8K وMATH)، يكون التحقق من الإجابة النهائية (رقم أو خيار) أمراً بسيطاً ويمكن أتمتته، بينما يكون حل المسألة صعباً. وهذا يسمح بتدريب تعزيزي قابل للتوسع.
القصور: المشكلات الرياضية عالية المستوى (مثل USAMO وIMO والمستوى البحثي) هي في الغالب قائمة على البراهين. يتطلب التحقق من برهان كامل فحص الخطوات المنطقية خطوة بخوة، وضمان تطبيق النظريات، والتحقق من التدفق المنطقي. هذه العملية معقدة، وتفتقر إلى وجود "إجابات حقيقية" بسيطة، وتتطلب حالياً جهداً بشرياً خبيراً مكلفاً للتدوين.
النتيجة: تفشل أساليب RLVR الحالية غالباً في المهام القائمة على البراهين لأنها تعتمد على مطابقة الإجابة. قد تنتج النماذج "إجابات صحيحة مع براهين خاطئة" (هلوسة نظريات، فجوات منطقية) أو تفشل في التعميم على أساليب برهنة متنوعة. هناك حاجة ملحة لـ نموذج مكافأة للبرهان (ProofRM) قادر على قراءة وفهم والتحقق من براهين كاملة باللغة الطبيعية لتمكين التعلم التعزيزي القابل للتوسع للرياضيات المتقدمة.

2. المنهجية

يقترح المؤلفون مساراً يتكون من ثلاث مراحل لبناء ProofRM قابل للتوسع والتعميم: جمع البيانات، التوسيم (Labeling)، والتدريب المستقر للتعلم التعزيزي (Stable RL Training).

أ. مسار بناء البيانات القابل للتوسع

للتغلب على ندرة بيانات البراهين المتنوعة، صمم المؤلفون مساراً مؤتمتاً (الشكل 1) يولد ثلاثيات (سؤال-برهان-تحقق) [QPC] عالية الجودة بأقل جهد بشري.

التوسع في التنوع متعدد الأبعاد (الخطوة 1):
- المصادر: تجميع المسائل من الأولمبيادات (IMO، USAMO، Putnam)، امتحانات دخول الكليات، والنصوص الطلابية الأصلية.
- طرق التوليد: استخدام النماذج اللغوية الكبيرة لتوليد البراهين عبر استراتيجيات متنوعة: البرهان (التوليد من الصفر)، إعادة الصياغة (إعادة كتابة البراهين الموجودة)، القناع (ملء الخطوات الرئيسية المحجوبة من الحقيقة الأرضية)، والتعزيز (تغيير الصياغة).
- تنوع النماذج: استخدام نماذج لغوية متعددة (DeepSeek-R1، DeepSeek-V3.1، GPT-5-mini، Gemini-2.5-Flash) لضمان تنوع أساليب الاستدلال، مستويات الإسهاب، وأنواع الأخطاء.
- النتيجة: إنشاء مجموعة بيانات تغطي مستويات الصعوبة، الأساليب اللغوية، وأنماط الأخطاء (الفجوات المنطقية، الهلوسة، نقص الشروط).
التوسيم المتسق بمساعدة النماذج اللغوية مع التحقق البشري الهرمي (الخطوة 2):
- إجماع النماذج اللغوية: تقوم ثلاثة نماذج لغوية مختلفة بفحص كل برهان 5 مرات إجمالاً. يتم قبول التسمية (صحيح/خطأ) فقط إذا كان هناك إجماع تام.
- التحقق البشري على مستوى التركيبة: لضمان توافق تسميات النماذج اللغية مع الحكم البشري دون تدوين كل عينة:
  - يتم تقسيم البيانات إلى "تركيبات" بناءً على المصدر، الطريقة، والنموذج اللغوي.
  - يقوم البشر بأخذ عينات بنسبة 0.5% إلى 2.5% من كل تركيبة.
  - إذا تجاوز الاتساق بين النموذج اللغوي والبشر حداً معيناً (يصل إلى 90%)، تُعامل التركيبة بأكملها كـ "معيار فضي" (موثوق). وإلا، يتم استبعاد التركيبة.
- الكفاءة: أنتج هذا المسار 21,000 عينة تدريبية (QPC) في حوالي 100 ساعة، محققاً زيادة في الكفاءة بمقدار 12 ضعفاً مقارنة بالتدوين البشري الفردي.

ب. خوارزمية التدريب المستقر للتعلم التعزيزي (RL)

غالباً ما يؤدي تدريب ProofRM باستخدام الإشراف الثنائي (صحيح/خطأ) على مسارات استدلال طويلة إلى انهيار النموذج (Model Collapse) (تكرار الرموز، عدم الاتساق النحوي، أو الادعاءات المتسرعة). قدم المؤلفون اثنين من مثبتات الاستقرار:

النموذج اللغوي كنموذج مكافأة لنموذج المكافأة (LLM-as-a-RM-for-RM): يقوم نموذج لغوي مساعد بتقييم السلاسة والاتساق السلوكي لمخرجات ProofRM (التحقق من التكرار، الحلقات، أو الرموز غير ذات الصلة) دون التحقق من المحتوى الرياضي. إذا كان التوليد "مشوشاً"، يتم ضبط المكافأة على 0 بغض النظر عن الحكم النهائي. هذا يمنع النموذج من "التلاعب" بالنظام عبر إنتاج نصوص غير مفهومة تصادف أنها تعطي تسمية (صحيح/خطأ) صحيحة.
وزن الرموز المتوازن (Balanced Token Weighting): تميل خوارزميات RL القياسية (مثل GRPO أو DAPO) بالنموذج نحو الاستجابات القصيرة جداً أو الطويلة جداً. اقترح المؤلفون استراتيجية المتوسط الموزون:
$\text{Weight} = \frac{\eta}{N|o_i|} + \frac{1-\eta}{\sum |o_i|}$
هذا يوازن مساهمة التدرج (Gradient) بين الاستجابات القصيرة والطويلة، مما يمنع النموذج من الانهيار نحو الادعاءات المتسرعة أو الإطناب غير الحاسم.

3. المساهمات الرئيسية

تحليل المشكلة: تحديد غياب التماثل في التحقق في البراهـات الرياضية كعائق أمام RLVR، والحجاج لصالح نماذج التحقق المباشر من البراهين.
مسار البيانات: اقتراح مسار جمع بيانات قابل للتوسع ومدفوع بالتنوع، يجمع بين المصادر الواقعية والتوليد المعزز بالنماذج اللغية والتدقيق البشري الهرمي الصارم.
وصفة التدريب: تطوير إطار عمل تدريب مستقر لـ ProofRM، يتميز بـ "النموذج اللغوي كنموذج مكافأة لنموذج المكافأة" للإشراف على السلاسة واستراتيجية وزن الرموز المتوازنة لمنع انهيار النموذج.
الأداء: إثبات أن ProofRM يتفوق بشكل كبير على النماذج الأساسية والنماذج الرائدة (Frontier LLMs) في دقة التحقق من البراهين والتعميم.

4. النتائج التجريبية

تم تدريب النموذج على نماذج DeepSeek-R1 المقطرة (8B, 14B, 32B) وتم تقييمه على عدة اختبارات مرجعية.

دقة المكافأة:
- في مجموعة الاختبار الداخلية، حقق ProofRM-32B دقة 82.4%، متفوقاً على النموذج الأساسي (72.5%) والنماذج الرائدة مثل GPT-5-mini (74.6%) وDeepSeek-V3.1 (69.6%).
- أظهر تحسناً كبيراً في تحديد الأخطاء المنطقية المعقدة (مثل التدفق المنطقي غير المكتمل، أو سوء استخدام الافتراضات) مقارنة بالنماذج المرجعية.
التعميم:
- في مجموعة اختبار OPC (Open Proof Corpus) (بيانات خارج نطاق التوزيع)، حقق ProofRM-32B دقة 81.3%، متفوقاً على DeepSeek-R1 (80.9%) ومقارباً لـ Gemini-2.5-Flash (82.7%).
- حافظ على أداء قوي عبر أساليب البرهنة المختلفة (الكتب الدراسية، المنتديات، المقالات البحثية).
توسيع نطاق وقت الاختبار (Best-of-k):
- في إعداد Best-of-k (اختيار أفضل برهان من بين 48 مرشحاً تم توليدها)، أظهر ProofRM قدرة تمييز فائقة، محققاً مساحة أكبر تحت المنحنى (AUC) من النماذج المرجعية. يشير هذا إلى فائدته كدليل لتوسيع حسابات وقت الاختبار وتصفية البيانات.

5. الأهمية

تمكين الرياضيات المتقدمة عبر RL: يوفر هذا العمل مساراً عملياً لتطبيق التعلم التعزيزي على الرياضيات عالية المستوى القائمة على البراهين، وهو مجال كان يصعب الوصول إليه سابقاً بسبب نقص المكافآلات القابلة للتحقق والقابلة للتوسع.
القابلية للتوسع: يثبت مسار البيانات المقترح أنه يمكن بناء مجموعات بيانات براهين عالية الجودة ومتنوعة دون تكاليف بشرية باهظة، مما يجعل تدريب مدققي الرياضيات المتخصصين أمراً ممكناً.
الاستقرار في RL: توفر تقنيات "النموذج اللغوي كنموذج مكافأة لنموذج المكافأة" و"وزن الرموز المتوازن" مخططاً لتثبيت تدريب RL على مهام الاستدلال طويلة الأمد والمعقدة حيث يكون الإشراف الثنائي مشوشاً.
الموثوقية: من خلال التحقق مباشرة من العملية (البرهان) وليس فقط من النتيجة، يساعد ProofRM في الحد من "التعلم بالاختصار" والهلوسة، مما يؤدي إلى استدلال رياضي أكثر موثوقية وقوة في النماذج اللغوية الكبيرة.