💬 NLP

Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs

لمعالجة تشبع المعايكات الحالية الناجم عن الحوسبة القائمة على القوالب، تقدم هذه الورقة البحثية ReasoningMath-Plus، وهو معيار مرعي للعمليات يتضمن 150 مسألة معقدة هيكلياً وإطار تقييم مقابل (HCRS ونموذج مكافأة العمليات) يكشف عن فجوات كبيرة بين دقة الإجابة العالية وكفاءة الاستدلال الهيكلي الحقيقية في النماذج اللغوية الكبيرة الرائدة.

المؤلفون الأصليون: Xiang Zheng, Weiqi Zhai, Wei Wang, Boyu Yang, Wenbo Li, Ruixiang Luo, Haoxiang Sun, Yucheng Wang, Zhengze Li, Meng Wang, Yuetian Du, Guojie Lin, Yaxuan Wang, Xiaoxiao Xu, Yanhu Mo, Xuan Ren, Hu Wei, B

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiang Zheng, Weiqi Zhai, Wei Wang, Boyu Yang, Wenbo Li, Ruixiang Luo, Haoxiang Sun, Yucheng Wang, Zhengze Li, Meng Wang, Yuetian Du, Guojie Lin, Yaxuan Wang, Xiaoxiao Xu, Yanhu Mo, Xuan Ren, Hu Wei, Bing Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح واجب الرياضيات الخاص بأحد الطلاب.

الطريقة القديمة (اختبار "الإجابة فقط"):
في الماضي، إذا كتب الطالب الرقم النهائي الصحيح في أسفل الصفحة، كنت تمنحه درجة "امتياز". لم تكن تهتم بكيفية وصوله إلى تلك النتيجة. ربما خمن، أو ربما نسخ الإجابة من ورقة غش، أو ربما ارتكب خطأً فادحاً في الخطوة الأولى لكنه تداركه لاحقاً بالصدفة. طالما كانت الإجابة النهائية صحيحة، كانت الدرجة مثالية.

المشكلة:
مؤخراً، أصبحت نماذج الذكاء الاصطناعي (LLMs) بارعة جداً في اختبارات "الإجابة فقط" هذه، لدرجة أنها تحقق درجات تقترب من المثالية. لكن الباحثين قلقون: هل هي تفكر حقاً، أم أنها مجرد تحفظ للأنماط وتخمين؟ الأمر يشبه طالباً حفظ نموذج الإجابة للاختبار لكنه لا يفهم الرياضيات.

الحل الجديد: REASONINGMATH-PLUS
قام مؤلفو هذه الورقة البحثية ببناء اختبار جديد وأكثر صعوبة يسمى REASONINGMATH-PLUS. بدلاً من التحقق من الإجابة النهائية فقط، يريدون فحص "عملية التفكير" خطوة بخطوة.

إليك كيف فعلوا ذلك، باستخدام تشبيهات إبداعية:

1. "الهيكل العظمي" مقابل "اللحم والجلد"

تخيل جسماً بشرياً. الهيكل العظمي هو البنية الأساسية التي تدعم كل شيء. أما اللحم والجلد فهو العضلات والجلد الذي يجعل المظهر يبدو جيداً.

الاختبارات الحالية تتحقق فقط مما إذا كان الجسم يبدو كبشر (الإجابة النهائية).
هذا الاختبار الجديد يوفر "هيكلاً منطقياً أدنى" (Minimal Reasoning Skeleton) لكل مسألة. وهو عبüm عن قائمة قصيرة كتبها البشر تحتوي على الخطوات المنطقية الجوهرية المطلوبة لحل المسألة (مثلاً: "الخطوة 1: تحديد القيود"، "الخطوة 2: استبعاد الخيارات المستحيلة").
يُسمح للذكاء الاصطناعي بكتابة قدر ما يشاء من "اللحم والجلد" (كلمات إضافية، شروحات، تصحيحات ذاتية)، لكن المصحح يتحقق مما إذا كان "هيكل" الذكاء الاصطناعي يطابق الهيكل الذي وضعه البشر. إذا فقد الذكاء الاصطناعي عظمة حيوية واحدة، ينهار الهيكل، حتى لو كانت الإجابة النهائية صحيحة.

2. درجة "الخطر" (تأثير الدومينو)

قدمت الورقة نظاماً للتصحيح يسمى HCRS (درجة القواعد القائمة على السلسلة الواعية بالمخاطر).

التشبيه: تخيل صفاً من قطع الدومينو. إذا أسقطت قطعة الدومينو الأولى بشكل خاطئ، ستنهار السلسلة بأكملها. أما إذا أسقطت القطعة الأخيرة بشكل خاطئ، فإن الـ 99 قطعة الأولى كانت لا تزال صحيحة.
الابتكار: معظم أنظمة التصحيح تعامل كل خطأ بالتساوي. لكن هذا النظام يدرك أن الأخطاء المبكرة كارثية. فهو يطبق "عقوبة خطر" ثقيلة إذا ارتكب الذكاء الاصطناعي خطأ في الخطوة 1 أو 2. الأمر يشبه قولنا: "لا يمكنك إصلاح أساس متهالك بطلاء السقف".
النتيجة: العديد من نماذج الذكاء الاصطناعي التي حصلت على الإجابة الصحيحة سجلت درجات منخفضة لأن منطقها بدأ بخطأ منطقي. وهذا يكشف عن "التخمينات المحظوظة".

3. المصحح ذو المسارين

استخدم الباحثون "معلمين" مختلفين لتصحيح عمل الذكاء الاصطناعي:

المعلم (أ) (مدقق الهيكل): يمتلك هذا المعلم "الهيكل الذهبي" (الخطة المثالية خطوة بخطوة). يقوم بمقارنة خطوات الذكاء الاصطناعي مباشرة مع هذه الخطة. إنه معلم صارم ودقيق.
المعلم (ب) (متحقق النتيجة): هذا المعلم ليس لديه الخطة. هو يرى السؤال والنتيجة النهائية فقط. وعليه أن يخمن ما إذا كانت الخطوات منطقية بمجرد النظر إلى النتيجة. هذا يحاكي سيناريو واقعي حيث لا نملك دائماً "نموذج الإجابة" لعملية التفكير.
كما قاموا بتدريب ذكاء اصطناعي أصغر (نموذج مكافأة العمليات - Process Reward Model) ليعمل مثل المعلم (ب)، حيث يتعلم من تصحيحات المعلم (أ) ليتمكن من تصحيح عملية التفكير دون الحاجة للهيكل في كل مرة.

الكشف الكبير

عندما أجروا الاختبارات، كانت النتائج صادمة:

دقة الإجابة: حصلت أفضل نماذج الذكاء الاصطناعي على حوالي 5.8 من 10 في الإجابة النهائية.
جودة التفكير: عندما تم تقييمهم بناءً على عملية التفكير (باستخدام درجة الخطر الجديدة)، انخفضت نفس النماذج إلى متوسط 4.36 من 10.

الخلاصة:
تجادل الورقة بأننا كنا مخدوعين بمقاييس "الإجابة فقط". فنماذج الذكاء الاصطناعي تحصل على الإجابات الصحيحة، ولكن غالباً عبر مسارات هشة، غير منطقية، أو تعتمد على الحفظ. من خلال النظر تحت الغطاء وفحص التفكير الهيكلي، نكتشف أن قدرة "تفكيرهم" الحقيقية أضعف بكثير مما كنا نعتقد.

باختصار: هذه الورقة تشبه الميكانيكي الذي يتوقف عن مجرد فحص ما إذا كان محرك السيارة يعمل (الإجابة)، ويبدأ بدلاً من ذلك بفحص الأسلاك، وخطوط الوقود، وتوقيت المحرك (عملية التفكير) ليرى ما إذا كانت السيارة ستعمل بأمان في رحلة طويلة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "كشف عمليات الاستدلال: معيار مدرك للعملية لتقييم الاستدلال الرياضي الهيكلي في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) مؤخرًا دقة تقترب من التشبع في معايير الاستدلال الرياضي الراسخة (مثل GSM8K، وMATH، وAIME). ومع ذلك، يرى المؤلفون أن هذه الدرجات العالية قد لا تعكس كفاءة استدلال حقيقية، بل تعكس قدرة النماذج على استغلال الحسابات القائمة على القوالب، أو التفكيك الحسابي الضحل، أو الأنماط المحفوظة من بيانات التدريب المسبق.

تعاني طرق التقييم الحالية من ثلاثة عيوب رئيسية:

انحياز الإجابة فقط (Answer-Only Bias): تركز المعايير بشكل أساسي على صحة الإجابة النهائية، مما يحجب "التخمينات المحظوظة" حيث يصل النموذج إلى الإجابة الصحيحة عبر سلاسل استدلال معيبة أو غير متينة.
الافتقار إلى التشخيص الهيكلي: نادرًا ما تقيم مجموعات البيانات الحالية مهارات استدلال هيكلية محددة مثل تنسيق القيود المتعددة، والتركيب المنطقي البنائي، والاستدلال المكاني.
تلوث البيانات (Data Contamination): تزيد الاعتمادية الكبيرة على الموارد التعليمية العامة من خطر تداخل البيانات مع مجموعات بيانات التدريب المسبق، مما يجعل من الصعب التمييز بين الاستدلال والحفظ.

2. المنهجية

تقدم الورقة إطار عمل شاملاً يتكون من معيار جديد، وآلية تشخيص هيكلية، ونموذج تحقق متعلم.

أ. معيار REASONINGMATH-PLUS

مجموعة البيانات: مجموعة منسقة من 150 مسألة مصممة لاختبار الاستدلال الهيكلي بدلاً من التلاعب بالرموز.
مجالات التركيز: تؤكد المسائل على المنطق الحدسي، والتركيب التوافقي ونظرية الأعداد، والاستدلال المكاني. وهي مصممة لتتطلب تنسيق عدة قيود وبناء سلاسل استدلال دنيا ولكنها كافية.
التوصيفات (Annotations): تتضمن كل مسألة:
- إجابة نهائية ذهبية.
- حل كامل مكتوب بشرياً.
- هياكل الاستدلال الدنيا (Minimal Reasoning Skeletons): تسلسل موجز (من 2 إلى 10 خطوات، بمتوسط 5 خطوات) من التأكيدات الوسيطة الأساسية المطلوبة لحل صحيح. تعمل هذه الهياكل كمرجع هيكلي للتقييم على مستوى الخطوة دون تقييد التجسيد السطحي للنموذج (على سبيل المثال، السماح بتتبع أطول مع التحقق الذاتي).
دعم ثنائي اللغة: تم توفير نسخ متوازية باللغتين الصينية والإنجليزية للتخفيف من الانحيازات المرتبطة باللغة.

ب. إطار التقييم

يقترح المؤلفون إطار تقييم ثنائي المنظور لتقييم صحة الاستدلال بما يتجاوز صحة النتيجة:

الفرع (أ): التشخيص الهيكلي الموجه بالهيكل (HCRS)
- الآلية: يستخدم نموذج لغوي خارجي (Gemini-3-Pro) للتحقق من كل خطوة في تتبع استدلال النموذج مقابل "هيكل الاستدلال الأدنى".
- HCRS (درجة القاعدة القائمة على السلسلة والمدركة للمخاطر): دالة تسجيل حتمية تجمع صحة الخطوات.
  - الدرجة الأساسية: عدد الخطوات الصحيحة المعيرة.
  - عقوبة التنسيق: تعاقب الانحرافات عن طول الاستدلال المتوقع.
  - عقوبة المخاطر (Hazard Penalty): تطبق عقوبة موزونة بناءً على موقع أول خطأ. يتم فرض عقوبات أكبر على الأخطاء المبكرة لأنها تنتشر وتسيطر على الاستدلال اللاحق، وهي ظاهرة غالبًا ما يتم تجاهلها في المقاييس القياسية.
- المخرج: درجة خاصة بالعملية فقط ( $S_{HCRS}$ ) ودرجة شاملة ( $S_{hol}$ ) تجمع بين صحة العملية وصحة الإجابة.
الفرع (ب): التحقق المشروط بالنتيجة (PRM)
- الآلية: نموذج مكافأة عملية (PRM) مدرب على التنبؤ بصحة الخطوة دون الوصول إلى الهيكل الاستدلالي الذهبي.
- التدريب: تم التدريب على 33 ألف حالة على مستوى الخطوة تم إنشاؤها بواسطة 14 نموذجاً لغوياً كبيراً وتم وسمها بواسطة "قاضٍ معلم" (Gemini-3-Pro) بناءً فقط على نص المسألة والإجابة النهائية الذهبية.
- الوظيفة: يعمل كمتحقق متعلم وقابل للتوسع يلتقط التماسك الدلالي والتقدم المنطقي، مكملاً عمليات التحقق الهيكلية الصارمة لـ HCRS.

3. المساهمات الرئيسية

REASONINGMATH-PLUS: معيار جديد يستهدف تحديداً إخفاقات الاستدلال الهيكلي (الاستنتاج متعدد القيود، الاستدلال البنائي) التي لا يتم تمثيلها بشكل كافٍ في مجموعات البيانات الحالية.
هياكل الاستدلال الدنيا: نموذج توصيف جديد يوفر مرجعاً هيكلياً خاصاً بالمهمة لإجراء تحليل دقيق ومتحكم فيه على مستوى العملية.
دالة تسجيل HCRS: آلية تسجيل حتمية مدركة للمخاطر، تعاقب صراحةً الكسور المنطقية المبكرة، مما يكشف عن هشاشة سلاسل الاستدلال التي تغفلها مقاييس النتيجة فقط.
التقييم ثنائي الوضع: إطار يدمج التشخيص الهيكلي القائم على القواعد (HCRS) مع التحقق الدلالي المتعلم (PRM)، والذي تم التحقق من صحته مقابل أحكام الخبراء البشريين.

4. النتائج التجريبية

قيم المؤلفون 14 نموذجاً لغوياً رائداً (بما في ذلك GPT-5، وGemini-2.5-Pro، وQwen3، وClaude، إلخ) على هذا المعيار.

ظاهرة "التخمين المحظوظ":
- بينما حققت النماذج الرائدة دقة عالية في الإجابة النهائية (تصل إلى 5.8/10)، كانت درجات HCRS الشاملة أقل بكثير (بمتوسط 4.36/10، وأفضل نموذج سجل 5.14/10).
- كشف تحليل 996 عينة ذات إجابات نهائية صحيحة أن 6.63% منها كانت ذات درجات عملية منخفضة ( $S_{HCRS} \le 3$ )، مما يشير إلى أنها كانت "تخمينات محظوظة" ذات استدلال معيب.
تصنيف النماذج:
- وفر HCRS تصنيفاً أكثر وضوحاً من دقة الإجابة وحدها. على سبيل المثال، احتل Gemini-2.5-Pro المركز الأول (4.89)، بينما انخفضت نماذج مثل Cogito v2 بشكل كبير (2.35) بعد تطبيق العقوبات، مما كشف عن اعتمادها على مسارات استدلال هشة.
- تسببت "عقوبة المخاطر" وحدها في خفض حوالي 2.7 إلى 3.2 نقطة (حوالي 30% من المقياس) للعديد من النماذج، مما يسلط الض الضوء على تأثير الأخطاء المبكرة.
توافق النماذج:
- حقق نموذج PRM معامل ارتباط بيرسون تنافسي قدره 0.602 مع الأحكام البشرية، متتبعاً عن كثب "القاضي المعلم" (0.639)، مما يثبت أن المتحققات المتعلمة يمكنها التقاط جودة الاستدلال بفعالية دون الحاجة لهياكل صريحة.
- أدى تطبيق عقوبات HCRS على PRM إلى تحسين توافقه مع الأحكام البشرية (زيادة الارتباط من 0.604 إلى 0.633)، مما يشير إلى أن الفحوص الهيكلية القائمة على القواعد تعزز المتحققات المتعلمة.
الأداء حسب المجال:
- أظهرت النماذج تباعداً كبيراً في مجالي التحليل التوافقي (Combinatorics) والاحتمالات (Probability)، حيث يعد الاستدلال الهيكلي أمراً حاسماً. غال true النماذج متوسطة المستوى حافظت على درجات دقة عالية ولكنها انهارت في الدرجات الشاملة، مما يشير إلى استدلال هش في هذه المجالات.

5. الأهمية

يغير هذا العمل بشكل جذري نموذج تقييم الاستدلال في النماذج اللغوية الكبيرة من التقييم القائم على النتيجة إلى التقييم المدرك للعملية.

تشخيص المتانة: يثبت العمل أن دقة الإجابة العالية هي مؤشر ضعيف على كفاءة الاستدلال الحقيقية. يمكن للنماذج أن "تهلوس" طريقها نحو الإجابة الصحيحة، وهو خطر يستطيع HCRS قياسه بفعالية.
توحيد تقييم العملية: من خلال تقديم هياكل الاستدلال الدنيا ودالة التسجيل المدركة للمخاطر، توفر الورقة طريقة قابلة للتكرار للتدقيق الدقيق لسلاسل الاستدلال، وتحديد أين ولما-ذا يفشل الاستدلال (على سبيل المثال، الكسور المنطقية المبكرة).
الاتجاهات المستقبلية: يجسد هذا الإطار الفجوة بين التشخيص الهيكلي عالي الدقة والتحقق المتعلم القابل للتوسع، مما يقدم نموذجاً شفافاً لتطوير أنظمة استدلال أكثر متانة وقابلية للتحقق. ويشير إلى أن المعايير المستقبلية يجب أن تعطي الأولوية لـ هيكل الحل، وليس فقط للنتيجة.