💬 NLP

MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation

تقدم هذه الورقة MGSM-Pro، وهي امتداد متعدد اللغات لمعيار GSM-Symbolic يقيم متانة الاستدلال الرياضي عبر تسع لغات من خلال توليد نماذج متعددة تختلف باختلاف الأرقام، مما يكشف عن انخفاضات كبيرة في الأداء في اللغات ذات الموارد المنخفضة وتفاوت مرونة النماذج تجاه هذه الاضطرابات.

المؤلفون الأصليون: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يضع اختبار رياضيات لفصل من الطلاب من دول مختلفة. تريد أن ترى من هو بارع حقاً في الرياضيات ومن يقوم فقط بحفظ الإجابات من كتاب التدريبات.

تقدم هذه الورقة طريقة جديدة وأكثر صعوبة لاختبار النماذج اللغوية الكبيرة (الذكاء الاصطناعي) في المسائل الرياضية، تسمى MGSM-Pro. إليك قصة ما وجدوه، مشروحة ببساطة.

المشكلة: فخ "كتاب التدريبات"

لفترة طويلة، أصبحت نماذج الذكاء الاصطناوي أفضل في حل المسائل الكلامية الرياضية. لكن الباحثين لاحظوا شيئاً مريباً: قد لا يكون الذكاء الاصطناعي "يفكر" فعلياً في الرياضيات. بدلاً من ذلك، قد يكون يحفظ تفاصيل محددة من الأسئلة التي رآها أثناء التدريب.

فكر في الأمر كطالب يحفظ الإجابة لمسألة كلامية معينة: "إذا كان لدى جون 5 تفاحات واشترى 3 أخرى...". الطالب يعرف أن الإجابة هي 8. ولكن إذا غيرت السؤال إلى "إذا كانت لدى سارة 5 برتقالات واشترت 3 أخرى..."، فإن الطالب الذي حفظ الأولى فقط قد يصاب بالارتباك.

مؤخراً، وجد الباحثون أنه حتى في اللغة الإنجليزية، إذا قمت بتغيير الأسماء أو الأرقام في مسألة رياضية بشكل طفيف، فإن العديد من نماذج الذكاء الاصطناعي تفشل. لقد أدركوا أن الاختبارات القديمة كانت سهلة للغاية لأنها لم تتحقق مما إذا كان بإمكان الذكاء الاصطناعي التعامل مع هذه التغييرات الصغيرة.

الحل: MGSM-Pro (اختبار "الخلط")

ابتكر المؤلفون مجموعة بيانات جديدة تسمى MGSM-Pro. لقد أخذوا 250 مسألة رياضية وحولوها إلى 1,240 مسألة (5 نسخ من كل واحدة).

لقد فعلوا ذلك عبر خلط الأوراق:

تغيير الأسماء: استبدال "جون" بـ "زينب" أو "كارلا".
تغيير الأرقام: استبدال "5 تفاحات" بـ "7 تفاحات".
إضافة مشتتات: إضافة جملة تبدو مهمة لكنها في الواقع بلا معنى (مثل "السماء زرقاء، لذا اشترى جون 5 تفاحات").

لقد فعلوا ذلك في تسع لغات مختلفة، تتراوح بين اللغات واسعة الانتشار مثل الإنجليزية والصينية، إلى لغات ذات موارد رقمية أقل مثل السواحيلية واليوروبا والإيغبو.

الاكتشاف الكبير: معاناة "الموارد المنخفضة"

عندما أجروا الاختبارات، وجدوا فجوة هائلة بين اللغات "عالية الموارد" (مثل الإنجليزية) واللغات "منخفضة الموارد" (مثل التوي أو الإيغبو).

الطلاب ذوو الموارد العالية: عندما قاموا بتغيير الأسماء أو الأرقام في الإنجليزية أو الصينية، انخفضت درجات نماذج الذكاء الاصطناعي قليلاً، لكنها ظلت على المسار الصحيح. كانوا مثل طالب يفهم المفهوم الرياضي حقاً.
الطلاب ذوو الموارد المنخفضة: عندما طبقوا نفس عملية الخلط للغات مثل التوي أو الإيغبو، انهارت نماذج الذكاء الاصطناعي. انخفضت درجاتهم بشكل حاد. بدا الأمر كما لو أن الطالب نسي فجأة كيف يعد بمجرد أن استخدم المعلم اسماً مختلفاً للفاكهة.

التشبيه: تخيل طالباً بارعاً في الرياضيات بالإنجليزية ولكنه سيء جداً في لغته الأم. عندما يطرح المعلم سؤالاً بالإنجليزية مع تغيير بسيط، يحل الطالب المسألة. ولكن عندما يطرح المعلم نفس السؤال المغير باللغة الأم للطالب، يتجمد الطالب. وجدت الورقة أن نماذج الذكاء الاصطناعي تفعل الشيء نفسه: فهي أقل "متانة" (موثوقية) في اللغات التي لم ترَ منها بيانات كثيرة.

من نجح ومن فشل؟

اختبرت الورقة العديد من نماذج الذكاء الاصطناعي (بعضها من شركات تقنية كبرى، وبعضها مفتوح المصدر).

النماذج المتينة: النماذج الأحدث والأذكى مثل Gemini 3.0 Pro و GPT-OSS 120B تعاملت مع التغييرات بشكل جيد. لم تصب بالذعر عندما تغيرت الأرقام أو الأسماء.
النماذج الهشة: النماذج الأقدم أو الأصغر (مثل Gemma 3 4B أو Llama 3) انهارت. لم تستطع التعامل مع "التحول".
أسطورة الحجم: قد تعتقد أن "الدماغ الأكبر" (عدد المعلمات الأكثر) يعني دائماً طالباً أذكى. وجدت الورقة أن هذا ليس صحيحاً. أحياناً، يفشل نموذج ضخم فشلاً ذريعاً، بينما ينجح نموذج أصغر قليلاً. الأمر لا يتعلق بالحجم فحسب؛ بل بكيفية تدريب النموذج.

الدرس المستفاد: لا تختبر مرة واحدة فقط

الدرس الأهم يتعلق بكيفية اختبارنا للذكاء الاصطناعي في المستقبل.

حالياً، تقوم العديد من لوحات المتصدرين (تصنيفات أفضل الذكاء الاصطناعي) باختبار النموذج على نسخة واحدة فقط من المسألة. يقول المؤلفون إن هذا يشبه إعطاء طالب سؤال تدريبي واحد وتسميته عبقرياً إذا أجاب عليه بشكل صحيح.

توصيتهم: لتعرف حقاً ما إذا كان الذكاء الاصطناعي جيداً في الرياضيات، يجب عليك اختباره على خمس نسخ مختلفة على الأقل من نفس المسألة (بتغيير الأسماء والأرقام). إذا نجح الذكاء الاصطناعي في الخمس جميعها، حينها يكون ذكياً حقاً. أما إذا نجح في النسخة الأولى فقط، فهو مجرد حافظ.

الملخص

تجادل الورقة بضرورة التوقف عن معاملة الذكاء الاصطناعي على أنه مثالي لمجرد أنه يجتاز الاختبارات السهلة. من خلال خلط الأسماء والأرقام في المسائل الرياضية عبر لغات مختلفة، أظهروا أن:

الذكاء الاصطناعي أضعف بكثير في اللغات ذات البيانات الرقمية الأقل.
العديد من التصنيفات الحالية مضللة لأنها لا تختبر هذا "الخلط".
للحصول على صورة حقيقية لمهارات الرياضيات لدى الذكاء الاصطناعي، نحتاج إلى اختباره على عدة تنويعات من نفس المسألة، وليس نسخة واحدة فقط.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MGSM-Pro: استراتيجية بسيطة لتقييم الاستدلال الرياضي متعدد اللغات بمتانة".

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) خطوات واسعة في الاستدلال الرياضي، إلا أن التقييم في البيئات متعددة اللغات يتخلف عن اللغة الإنجليزية من حيث الصعوبة والحداثة. تعتمد المعايير المرجعية متعددة اللغات الحالية (مثل MGSM) غالبًا على ترجمات ثابتة للمسائل الإنجليزية، مما يجعلها عرضة لـ:

الحفظ (Memorization): قد تفرط النماذج في ملاءمة حالات اختبار محددة بدلاً من تعلم الاستدلال العام.
نقص المتانة (Lack of Robustness): قد تفشل النماذج عند تقديم تغييرات طفيفة (مثل أرقام أو أسماء مختلفة) لنفس المسألة المنطقية.
تفاوت الموارد (Resource Disparity): اللغات ذات الموارد المنخفضة (LRLs) ممثلة تمثيلاً ناقصاً وغالباً ما تظهر أداءً أقل، ولكن ليس من الواضح ما إذا كان ذلك بسبب نقص القدرة الحسابية أم ضعف المتانة اللغوية.

أظهر عمل حديث في اللغة الإنجليزية (GSM-Symbolic) أن النماذج تظهر تباينًا عاليًا عندما يتم تنفيذ نفس السؤال بأسماء وأرقام مختلفة. ومع ذلك، لم يتم استكشاف هذه الظاهرة بشكل منهجي عبر بيئات متنوعة متعددة اللغات.

2. المنهجية: إنشاء MGSM-Pro

قدم المؤلفون MGSM-Pro، وهو امتداد متين لمجموعة بيانات MGSM مصمم لتقييم الاستدلال الرياضي متعدد اللغات تحت ظروف متغيرة. تتضمن عملية الإنشاء مرحلتين رئيسيتين:

أ. بناء القوالب (Template Construction)

المصدر: يعتمد على 248 سؤالاً من مجموعة بيانات MGSM الإنجليزية الأصلية (باستثناء سؤالين بدون أرقام).
القوالب الرمزية (Symbolic Templating): اعتمد المؤلفون إطار عمل GSM-Symbolic لإنشاء قوالب حيث يتم استبدال الأسماء والأرقام بعناصر نائبة (مثل {name_male}، {num_digit}).
السياق غير ذي الصلة (Irrelevant Context - IC): اتباع منهجية GSM-IC، حيث يتم إدراج جمل غير ذات صلة في نص المسألة لاختبار قدرة النموذج على تصفية الضجيج.
الترجمة والتحقق: تمت ترجمة القوالب إلى تسع لغات باستخدام نموذج لغوي (Gemini 2.0 Flash) ثم تم التحقق منها بدقة من قبل متحدثين أصليين. ضمن ذلك الملاءمة الثقافية (على سبيل المثال، استبدال "Carla" بـ "Zainabu" للغة السواحيلية) والمحاذاة الصحيحة للعناصر النائبة.

ب. تنويعات مجموعة البيانات

تنتج مجموعة البيانات خمس حالات تنفيذ متميزة لكل سؤال أصلي، منظمة في سلسلتين:

سلسلة الرموز (SYM):
- SYM_N: تغيير الأسماء فقط.
- SYM_#: تغيير الأرقام فقط.
- SYM_N#: تغيير كل من الأسماء والأرقام.
سلسلة السياق غير ذي الصلة (IC):
- IC_N ، IC_# ، IC_N#: تحاكي تنويعات SYM ولكن مع إدراج جملة غير ذات صلة.

اللغات المغطاة: تسع لغات متنوعة نمطياً مصنفة حسب مستويات الموارد (تصنيف جوشي):

عالية الموارد (HRL): الإنجليزية، الصينية، الفرنسية، اليابانية.
منخفضة الموارد (LRL): السواحيلية، الأمهرية، الإيغبو، اليوروبا، التوي.

3. الإعداد التجريبي

النماذج التي تم تقييمها: 18 نموذجاً لغوياً كبيراً، بما في ذلك النماذج المملوكة (Gemini 2.5/3.0 Flash، Gemini 3.0 Pro، Claude 4 Sonnet، GPT-4.1، GPT-5) والنماذج مفتوحة المصدر (Gemma 3، Qwen 3/3.5، DeepSeek V3، GPT-OSS، Llama 3).
بروتوكول التقييم: استدلال "Zero-shot". تم توجيه النماذج للاستدلال باللغة الإنجليزية (CoT) ولكن تم اختبارها أيضاً في وضع "الحل باللغة الأصلية" (Native Solve) لبعض النماذج للتحقق من تبعية اللغة.
المقاييس: الدقة على مجموعة البيانات الأصلية (DO) مقابل متوسط الدقة عبر 5 أو 10 حالات تنفيذ متميزة (Avg-5، Avg-10).

4. النتائج الرئيسية

أ. انخفاض الأداء عند التغيير

تغيير الأرقام أمر حاسم: تغيير الأسماء (SYM_N) يسبب فقداناً طفيفاً في الأداء. ومع ذلك، فإن تغيير الأرقام (SYM_#)، خاصة عند دمجه مع السياق غير ذي الصلة (IC_#)، يسبب انخفاضاً هائلاً في الدقة لجميع النماذج.
"عقوبة الموارد المنخفضة": تعاني اللغات ذات الموارد المنخفضة (LRLs) بشكل أكبر بكثير من اللغات عالية الموارد (HRLs).
- مثال: في لغة "التوي" (LRL)، شهدت النماذج المفتوحة انخفاضاً في متوسط الدقة بمقدار -13.5%، بينما شهدت الصينية (HRL) انخفاضاً قدره -4.2% فقط.
- مثال: تراجع Gemini 2.5 Flash من المركز الثالث إلى المركز السابع في التصنيف عند التقييم على 5 حالات تنفيذ بدلاً من حالة واحدة.

ب. اتجاهات متانة النماذج

المملوكة مقابل المفتوحة: أظهرت النماذج المملوكة الأحدث (Gemini 3.0 Pro) متانة أعلى تجاه تغيير الأرقام مقارنة بالنماذج الأقدم. ومن بين النماذج المفتوحة، أظهر GPT-OSS 120B و DeepSeek V3 متانة فائقة مقارنة بالنماذج الأصغر مثل Gemma 3 4B.
الحجم ليس ضماناً: لا يرتبط حجم بارامترات النموذج خطياً بالمتانة.
- في عائلة Gemma، ساء تدهور الأداء مع زيادة حجم النموذج (4B $\to$ 27B).
- في عائلة GPT-OSS، كانت النماذج الأكبر أكثر متانة.
اللغة مقابل الحساب: كشف تحليل الخطأ أنه بالنسبة للغات ذات الموارد المنخفضة (LRLs)، فإن نمط الفشل الأساسي هو سوء الفهم اللغوي (على سبيل المثال، الفشل في تحليل بنية المسألة)، والذي يتطور إلى أخطاء منطقية. ظلت معدلات الخطأ الحسابية البحتة مستقرة نسبياً عبر اللغات، مما يشير إلى أن العائق هو فهم اللغة وليس الحساب.

ج. عدم استقرار لوحة المتصدرين (Leaderboard Instability)

التصنيفات القائمة على حالة تنفيذ واحدة (ممارسة لوحات المتصدرين القياسية) غير مستقرة للغاية. عند المتوسط عبر 5 حالات تنفيذ، يتغير الترتيب النسبي للنماذج بشكل جذري، خاصة بالنسبة للغات ذات الموارد المنخفضة.

5. المساهمات الرئيسية

مجموعة بيانات MGSM-Pro: معيار مرجعي جديد يوسع MGSM بمقدار 5 أضعاف (من 250 إلى 1,240 سؤالاً لكل لغة) مع تنويعات منهجية في الأسماء، الأرقام، والسياق عبر 9 لغات.
دليل تجريبي على الهشاشة متعددة اللغات: أثبت أن النماذج اللغوية الكبيرة أقل متانة بشكل كبير في اللغات ذات الموارد المنخفضة عند مواجهة تغييرات الأرقام، وهي فجوة لا تلتقطها المعايير المرجعية القياسية.
توصية منهجية: اقترح أن تقييم الاستدلال الرياضي يجب أن يفرض ما لا يقل عن 5 حالات تنفيذ متغيرة الأرقام لكل مسألة للحصول على تقييم واقعي لقدرات الاستدلال، والابتعاد عن اختبار الحالة الواحدة.
رؤية حول التدريب: سلط الضوء على أن المتانة هي على الأرجح دالة لوصفات التدريب وجودة البيانات بدلاً من مجرد حجم النموذج.

6. الأهمية

تتحدى هذه الورقة صلاحية المعايير المرجعية الحالية للرياضيات متعددة اللغات. ويجادلون بأن الدرجات العالية في مجموعات البيانات الثابتة قد تعكس الحفظ أو التحسين المفرط بدلاً من الاستدلال الحقيقي. من خلال تقديم MGSM-Pro، يقدم المؤلفون أداة لـ:

تحديد النماذج التي تفهم المنطق الرياضي حقاً مقابل تلك التي تعتمد على مطابقة الأنماط.
تسليط الضوء على الضعف المحدد لنماذج اللغات ذات الموارد المنخفضة، مما يحث المجتمع على التركيز على تحسين المتانة اللغوية جنباً إلى جنب مع القدرة الحسابية.
توحيد ممارسات التقييم لضمان أن تصنيفات لوحة المتصدرين تعكس أداءً مستقراً ومتيناً بدلاً من الحظ في أرقام معينة.

يخلص المؤلفون إلى أنه لكي يُعتبر النموذج قادراً حقاً في الرياضيات متعددة اللغات، يجب أن يحافظ على الدقة حتى عندما تتغير السمات السطحية (الأسماء، الأرقام، السياق) للمسألة.