💬 NLP

The CompMath-MCQ Dataset: Are LLMs Ready for Higher-Level Math?

تقدم هذه الورقة CompMath-MCQ، وهي مجموعة بيانات مرجعية جديدة مكونة من 1,500 سؤال من نوع الاختيار من متعدد أعدها خبراء وتغطي الرياضيات الحسابية بمستوى الدراسات العليا، صُممت لتقييم وكشف القيود الحالية للنماذج اللغوية الكبيرة في الاستدلال الرياضي المتقدم بشكل صارم.

المؤلفون الأصليون: Bianca Raimondi, Francesco Pivi, Davide Evangelista, Maurizio Gabbrielli

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bianca Raimondi, Francesco Pivi, Davide Evangelista, Maurizio Gabbrielli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك كنت تُعلم روبوتًا كيفية القيام بالرياضيات. لفترة طويلة، اختبرته فقط على أشياء مثل "إذا كان لدي 3 تفاحات واشتريت 2 أخرى، فكم أصبح لدي؟" أو ألغاز مخادعة من مسابقات الرياضيات. وقد أصبح الروبوت جيدًا جدًا في تلك الأمور.

ولكن الآن، تريد أن تعرف: هل يمكن لهذا الروبوت حقًا التعامل مع فصل دراسي جامعي متقدم في الرياضيات؟ هل يمكنه حل أنواع المسائل التي يواجهها طالب الدراسات العليا أو الباحث، مثل تحسين الأنظمة المعقدة أو حساب كيفية تحرك السوائل في فضاء ثلاثي الأبعاد؟

هذا هو بالضبط موضوع هذه الورقة البحثية. لقد صمم المؤلفون اختبارًا جديدًا وشديد الصعوبة يسمى CompMath-MCQ ليروا ما إذا كانت "روبوتات الذكاء الاصطناي" الأذكى اليوم مستعدة لدخول الدوريات الكبرى.

إليك قصة كيف فعلوا ذلك، مشروحة ببساطة:

1. المشكلة: الروبوت لم يُختبر على الأشياء "الحقيقية" الصعبة

حتى الآن، كانت معظم اختبارات الرياضيات للذكاء الاصطناعي تشبه:

رياضيات المدرسة الابتدائية: مسائل لفظية بسيطة.
أولمبياد الرياضيات: ألغاز مخادعة تتطلب "ومضة عبقرية" بدلاً من العمل المتواصل خطوة بخوة.
البراهين الرسمية: منطق صارم للغاية يشبه لغة البرمجة.

لكن هذه الاختبارات تفتقد إلى المنطقة الوسطى: الرياضيات الحسابية بمستوى الدراسات العليا. هذا هو المحتوى الذي تتعلمه في درجة الماجستير: الجبر الخطي، التحسين (Optimization)، واستخدام لغة بايثون لحل مشكلات علمية حقيقية.

أدرك المؤلفون أنه إذا أردنا معرفة ما إذا كان الذكاء الاصطناعي "ذكيًا" حقًا في الرياضيات، فنحن بحاجة لاختباره على هذه المواد المحددة وعالية المستوى.

2. الحل: اختبار جديد تمامًا و"مانع للتسريب"

قام الفريق بإنشاء 1,500 سؤال جديد كليًا بنظام الاختيار من متعدد.

لماذا الاختيار من متعدد؟
عادةً، عندما تسأل الذكاء الاصطناعي سؤالًا صعبًا، قد يعطيك إجابة طويلة ومشتتة يصعب تقييمها. هل حصل على الرقم الصحيح لكنه شرحه بشكل خاطئ؟ هل حصل على المنطق الصحيح ولكن الرقم الخطأ؟
من خلال استخدام الاختيار من متعدد (أ، ب، أو ج)، يصبح التقييم واضحًا مثل مفتاح الضوء: يعمل أو لا يعمل. إنه عادل، سريع، ومن المستحيل الجدال فيه.

لماذا "مانع للتسريب"؟
هذا هو الجزء الأهم. يتم تدريب نماذج الذكاء الاصطناعي على كميات هائلة من البيانات من الإنترنت. إذا اختبرتهم على أسئلة موجودة بالفعل عبر الإنترنت (مثل مسائل الكتب المدرسية القديمة)، فقد يكون الذكاء الاصطناعي قد "حفظ" الإجابة فحسب، ولم يتعلم الرياضيات فعليًا.

التشبيه: تخيل إعطاء طالب اختبارًا في أسئلة رآها بالفعل في ورقة غش. سيحصل على درجة امتياز، لكنه لم يتعلم أي شيء.
الحل: كتب المؤلفون كل سؤال من هذه الأسئلة الـ 1,500 بأنفسهم. إنهم أساتذة يدرسون هذه المواد. هذه الأسئلة لم تظهر أبدًا على الإنترنت من قبل. لذا، إذا أجاب الذكاء الاصطناعي عليها بشكل صحيح، فذلك لأنه فهم الرياضيات حقًا، وليس لأنه حفظ ورقة الإجابات.

3. ضبط الجودة: نظام "التحقق المزدوج"

كتابة أسئلة رياضية صعبة أمر معقد. أحيانًا يكون السؤال مربكًا، أو تكون الإجابة "الصحيحة" خاطئة في الواقع.
لإصلاح ذلك، استخدموا شبكة أمان من خطوتين:

هيئة محلفين من الروبوتات: طلبوا من 8 نماذج مختلفة من الذكاء الاصطناعي الإجابة على الأسئلة. إذا أخطأت جميع الروبوتات في سؤال ما، أو إذا شعرت جميعها بالارتباك واختارت نفس الإجابة الخاطية، عرف البشر أن هناك خطبًا ما في السؤال.
الخبراء البشريون: قام الأساتذة بعد ذلك بمراجعة تلك الأسئلة المشبوهة يدويًا لإصلاح أي أخطاء أو توضيح الصياغة.

هذا ضمن أن يكون الاختبار عادلاً وأن تكون الإجابات صحيحة بالتأكيد.

4. النتائج: الروبوتات جيدة، لكنها ليست مثالية

أجروا الاختبار على أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5، وClaude، ونماذج مفتوحة المصدر متنوعة). إليكم ما وجدوه:

الانتصارات "السهلة": كان الذكاء الاصطناعي جيدًا بشكل مفاجئ في الاحتمالات (تخمين الاحتمالات) وبرمجة بايثون. يبدو أن الإنترنت يحتوي على الكثير من البيانات حول هذه المواضيع لدرجة أن الروبوتات قد رأتها مليون مرة.
عنق الزجاجة "الصعب": عانى الذكاء الاصطناعي أكثر من غيره في حساب التفاضل والتكامل الشعاعي (Vector Calculus) (الرياضيات المتعلقة بالفضاء ثلاثي الأبعاد، والتدرجات، والأشكال المعقدة).
- التشبيه: فكر في الأمر هكذا: الذكاء الاصطناعي بارع في اتباع وصفة (البرمجة) أو تخمين الطقس (الاحتمالات). لكن عندما تطلب منه تصور كيفية تدفق نهر حول صخرة في فضاء ثلاثي الأبعاد وحساب القوة الدقيقة عند كل نقطة، يبدأ في التوهان. يرتكب أخطاء صغيرة في الإشارات أو ينسى خطوة في سلسلة طويلة من المنطق.
الفجوة: حققت النماذج "المغلقة" الأكثر تقدمًا (مثل GPT-5 وClaude) أفضل أداء، لكن حتى هي لم تصب إلا حوالي 80-90% في المواضيع الأكثر صعوبة. إنهم ليسوا مستعدين تمامًا لاستبدال طالب دكتوراه بشري بعد.

الخلاصة الكبرى

هذه الورقة البحثية هي بمثابة جرس إنذار. نحن نجعل الذكاء الاصطناعي أكثر ذكاءً كل يوم، ولكن عندما يتعلق الأمر بالرياضيات الحسابية المتقدمة والخطوة بخطوة، فلا يزال أمام الروبوتات الكثير من النمو للقيام به.

يمكنهم حل الألغاز، لكنهم لا يزالون يتعثرون في الرياضيات المعقدة والواقعية التي يستخدمها العلماء والمهندسون كل يوم. لقد نشر المؤلفون هذا الاختبار للجمهور حتى يتمكن الجميع من تتبع التقدم ومساعدة هذه الروبوتات على تعلم الأشياء الصعبة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مجموعة بيانات CompMath-MCQ: هل نماذج اللغات الكبيرة جاهزة للرياضيات المتقدمة؟"

1. بيان المشكلة

بينما أظهرت نماذج اللغات الكبيرة (LLMs) أداءً قويًا في مسائل الرياضيات الابتدائية (مثل GSM8K)، والأسئلة بنمط المسابقات (مثل MATH، والأولمبياد)، وإثبات النظريات الصورية، إلا أن هناك فجوة كبيرة في تقييمها على الرياضيات الحسابية والمستوى الدراسي العالي (الدراسات العليا). تعاني المعايكات الحالية من ثلاثة قيود رئيسية:

تسرب البيانات (Data Leakage): يتم استقاء العديد من مجموعات البيانات من الكتب المدرسية العامة أو المستودعات عبر الإنترنت، مما يعني أن النماذج قد تكون حفظت الإجابات أثناء مرحلة ما قبل التدريب بدلاً من إظهار قدرة حقيقية على التعميم.
تحيز التقييم (Evaluation Bias): غالبًا ما تعتمد التنسيقات مفتوحة النهاية على المطابقة الاستدلالية أو الحكم البشري الذاتي، مما يؤدي إلى نتائج غير متسقة وغير قابلة للتكرار.
عدم تطابق النطاق (Scope Mismatch): تركز المعايكات الحالية على "البراعة" (الأولمبياد) أو "المنطق الرمزي" (البراهين الصورية)، وتتجاهل الاستدلال الإجرائي والتقني والحسابي المطلوب في المناهج الدراسية التطبيقية لمرحلة الدراسات العليا (مثل التحسين العددي، وحساب التفاضل والتكامل الشعاعي، والحوسبة العلمية).

2. المنهجية

أ. بناء مجموعة البيانات (CompCompMath-MCQ)

قدم المؤلفون CompMath-MCQ، وهي معيار جديد يتكون من 1,500 سؤال اختيار من متعدد (MCQ) تم تأليفها أصليًا.

المصدر: تمت كتابة جميع الأسئلة يدويًا من قبل أساتذة مساقات الدراسات العليا لضمان التوافق مع المنهج الدراسي وعدم وجود تسرب للبيانات (لا يوجد تداخل مع مجموعات البيانات التدريبية الموجودة).
المجالات: تغطي مجموعة البيانات خمسة مجالات أساسية في الرياضيات الحسابية:
1. الجبر الخطي (22.1%)
2. التحسين العددي (22.0%)
3. الاحتمالات (23.3%)
4. حساب التفاضل والتكامل الشعاعي (19.5%)
5. الحوسبة العلمية القائمة على لغة بايثون (13.1%)
التنسيق: يحتوي كل سؤال على ثلاثة خيارات بالضبط (خيار واحد صحيح، وخياران مضللان منطقيان صُمما ليعكسا المفاهيم الخاطئة الشائعة).

ب. إطار التحقق (Validation Framework)

لضمان جودة مجموعة البيانات واتساقها الداخلي، تم استخدام إجراء تحقق مكون من مرحلتين:

الفحص الآلي (الاختلاف بين نماذج اللغات الكبيرة):
- تم تشغيل ثمانية نماذج متنوعة (3 مغلقة المصدر و5 مفتوحة المصدر) على جميع الأسئلة.
- المقاييس: قام المؤلفون بحساب معدل الخطأ لكل سؤال ( $e_i$ ) وإجماع الإجابة الخاطئة ( $c_i$ ).
- المنطق: إذا اختارت نماذج متعددة باستمرار نفس الإجابة الخاطئة، فهذا يشير إلى أن السؤال غامض أو أن الإجابة الصحيحة وُسمت بشكل خاطئ. تم إعطاء الأولوية للأسئلة التي تم تحديدها كشاذة إحصائيًا (عبر الاختبارات الثنائية).
المراجعة البشرية من قبل الخبراء:
- تم فحص الأسئلة التي تم تحديدها يدويًا من قبل المؤلفين للتحقق من الصحة الرياضية، ووضوح الصياغة، وصحة الإجابة الصحيحة.
- تم تصحيح أو إزالة العناصر الغامضة أو الخاطئة.

ج. بروتوكول التقييم

تم تقييم مجموعة البيانات باستخدام مكتبة lm-eval لضمان قابلية التكرار.

النماذج مفتوحة الأوزان: تم تقييمها باستخدام ترتيب الاحتمالية اللوغاريتمية (log-likelihood ranking). بدلاً من توليد النص، يقوم النموذج بتسجيل احتمالية كل خيار من خيارات الإجابة الثلاثة الثابتة. ويتم اختيار الخيار الذي يمتلك أعلى احتمالية لوغاريتمية مُطبعة حسب الطول. وهذا يلغي أخطاء التحليل (parsing errors) والعشوائية في فك الترميز.
النماذج مغلقة الأوزان: تم تقييمها عبر التوليد القائم على التلقين (prompt-based generation) مع قيود صارمة (على سبيل المثال، إخراج فقط <Answer>0</Answer>، أو <Answer>1</Answer>، أو <Answer>2</Answer>). تم استخدام فك ترميز حتمي (درجة الحرارة $\tau=0$ ).

3. المساهمات الرئيسية

معيار خالٍ من التسرب: أول مجموعة بيانات معيارية للرياضيات الحسابية بمستوى الدراسات العليا تم تأليفها بالكامل حديثًا، مما يلغي مخاوف تلوث البيانات.
التوافق مع المناهج الدراسية: التركيز على المواضيع التطبيقية والحسابية (التحسين، حساب التفاضل والتكامل الشعاعي، الحوسبة العلمية) ذات الصلة بأبحاث الدكتوراه، بدلاً من مجرد حل الألغاز.
إطار عمل قوي للتحقق: خط إنتاج مبتكر يجمع بين الكشف عن الشذوذ الإحصائي عبر نماذج متعددة مع المراجعة البشرية من قبل الخبراء لضمان حقيقة أرضية عالية الجودة.
تقييم موضوعي: من خلال استخدام تنسيق الاختيار من متعدد وترتيب الاحتمالية اللوغاريتمية، يتيح المعيار مقارنة آلية بالكامل، وحتمية، وخالية من التحيز عبر بنيات النماذج المختلفة.

4. النتائج والمناقشة

أُجريت التقييمات الأساسية على نماذج متطورة (مثل GPT-5، وClaude Sonnet 4.5، وQwen3، وLlama-3.1).

الأداء العام: لا يزال الاستدلال الحسابي المتقدم يمثل تحديًا كبيرًا. حتى أفضل النماذج (GPT-5، وClaude Sonnet 4.5) تحقق حوالي 91% - 90% من الدقة الإجمالية، مما يشير إلى وجود مجال للتحسين.
تباين المجالات:
- المجالات الأقوى: حققت الاحتمالات وبايثون أعلى الدرجات (غالبًا >95% لأفضل النماذج). يشير هذا إلى أن مجموعات البيانات التدريبية الحالية تغطي هذه المواضيع بكثافة، وأن الاستدلال الموجه نحو الكود ("الكود كطريقة تفكير") يساعد في الأداء.
- المجال الأضعف: كان حساب التفاضل والتكامل الشعاعي هو المجال الأكثر صعوبة، حيث سجلت أفضل النماذج درجات أقل بكثير (على سبيل المثال، Gemini 3 Flash بنسبة 83.5%، وQwen3 30B بنسبة 78.6%). تضمنت الأخطاء المتكررة أخطاء في الإشارات، والاشتقاقات الجزئية غير الصحيحة، وفشل في قاعدة السلسلة (chain rule).
اتجاهات النماذج:
- التخصص: غالبًا ما تفوقت النماذج المتخصصة في المجال (مثل Qwen2.5-Math) على النماذج العامة الأكبر حجمًا (مثل Llama-3.1 8B).
- ارتباط الكود: أظهرت النماذج ذات القدرات البرمجية القوية (مثل Qwen3-Coder 30B) أداءً متفوقًا في بايثون والجبر الخطي، مما يدعم الفرضية القائلة بأن الكفاءة البرمجية ترتبط بالاستدلال الرياضي الحسابي.
- المفتوحة مقابل المغلقة: النماذج المفتوحة الأوزان والمتخصصة (مثل Qwen3-Coder 30B) تضيق الفجوة بسرعة مع الأنظمة المملوكة، حيث تحقق دقة إجمالية تبلغ ~89.4%.

5. الأهمية

تعمل مجموعة بيانات CompMath-MCQ كـ "حلقة وصل مفقودة" في مشهد تقييم نماذج اللغات الكبيرة. فهي تتجاوز الحسابات الأساسية والألغاز التجريدية لتختبر الفهم التقني والمفاهيمي المطلوب في الحوسبة العلمية الواقعية وأبحاث الدراسات العليا. ومن خلال توفير معيار خالٍ من التسرب، وقابل للتكرار، ومتوافق مع المناهج الدراسية، فإنها تقدم أرضية اختبار موثوقة للتقدم المستقبلي في الاستدلال الرياضي، وتوضح تحديدًا أنه بينما تتحسن نماذج اللغات الكبيرة، فإنها لا تزال تواجه صعوبة في التعامل مع التلاعب الرمزي متعدد الخطوات المطلوب في مجالات مثل حساب التفاضل والتكامل الشعاعي.