💬 NLP

MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task

تقدم الورقة البحثية MathFimer، وهو إطار عمل مبتكر يعزز القدرة على الاستنتاج الرياضي للنماذج اللغوية الكبيرة من خلال تدريبها على إعادة بناء الخطوات الوسيطة المفقودة عبر مهمة "الملء في المنتصف"، مما يؤدي إلى توليد مجموعات بيانات موسعة تحسن الأداء في معايب مثل GSM8K وMATH دون الاعتماد على نماذج خارجية قوية أو تكاليف حوسبة عالية.

المؤلفون الأصليون: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة MathFimer البحثية، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.

🧩 الفكرة الكبرى: "ملء الفراغ في المنتصف" للرياضيات

تخيل أنك تعلم روبوتاً كيفية خبز كعكة. أعطيته وصفة تقول:

البداية: اخلط الدقيق والسكر.
النهاية: ضع الكعكة في الفرن.

يرى الروبوت البداية والنهاية، لكنه لا يملك أي فكرة عن كيفية الانتقال من عملية الخلط إلى الخبز. قد يحاول وضع الوعاء الخام مباشرة في الفرن، أو قد ينسى إضافة البيض.

MathFimer هي أداة جديدة مصممة لتعليم الروبوتات (نماذج الذكاء الاصطناي) كيفية حل المسائل الرياضية عن طريق ملء تلك الخطوات "الوسطى" المفقودة. إنها لا تعطي الروبوت الإجابة فحسب؛ بل تعلمه كيف يكتب قصة مفصلة خطوة بخطوة للوصول إلى هناك.

🚧 المشكلة: "الصندوق الأسود" للرياضيات

نماذج الذكاء الاصطناعي الحالية بارعة في الرياضيات، لكنها غالباً ما تتعلم من كتب مدرسية "كسولة". قد تعرض هذه الكتب:

السؤال: "ما هو 2 + 2؟"
الإجابة: "4."

أو قد تعرض حلاً يقفز من "لنحل قيمة X" مباشرة إلى "X = 5"، متجاوزاً العمليات الجبرية الفعلية في المنتصف.

عندما تتعلم نماذج الذكاء الاصطناي من هذه الخطوات "المختصرة"، تصبح جيدة في تخمين الإجابة ولكنها سيئة في شرح كيفية الوصول إليها. إذا ارتكبت خطأً صغيراً في خطوة تم اختصارها، ستكون الإجابة بأكملها خاطئة، ولن يعرفوا السبب.

الطريقة القديمة للإصلاح:
سابقاً، لكي يحصل الباحثون على خطوات أفضل، كان عليهم استئجار نماذج ذكاء اصطناعي "فائقة الذكاء" (ومكلفة جداً) لكتابة الخطوات المفقودة للنماذج الأصغر. كان الأمر يشبه استئجار عالم رياضيات حائز على جائزة نوبل لتدريس فصل دراسي في الروضة. هذا يعمل، لكنه يكلف ثروة ويستغرق وقتاً طويلاً.

💡 الحل: خدعة "ملء الفراغ في المنتصف" (FIM)

كان لدى مؤلفي هذه الورقة فكرة عبقرية. لقد نظروا إلى كيفية تدريب المبرمجين للذكاء الاصطناعي لكتابة الأكواد. في البرمجة، هناك لعبة تسمى "ملء الفراغ في المنتصف" (Fill-in-the-Middle).

اللعبة:
تظهر للذكاء الاصطناعي بداية الجملة ونهاية الجملة، وعليه أن يخمن المنتصف.

البداية: "كان يا ما كان، كان هناك..."
النهاية: "...الذي عاش في قلعة."
مهمة الذكاء الاصطناعي: "...تنين صغير..."

أدرك الباحثون: يمكننا لعب نفس اللعبة مع الرياضيات!

كيف تعمل MathFimer (عملية الخطوات الثلاث)

الإعداد (اللغز):
أخذوا الآلاف من المسائل الرياضية الموجودة التي لها إجابات بالفعل. أخذوا حلاً يبدو بهذا الشكل:

الخطوة 1: تعريف المتغيرات.
الخطوة 2: إعداد المعادلة.
الخطوة 3: حل قيمة X.
الخطوة 4: التحقق من الإجابة.

ثم، قاموا بإخفاء الخطوة 2 والخطوة 3. أعطوا الذكاء الاصطناعي "البداية" (الخطوة 1) و"النهاية" (الخطوة 4) وسألوه: "ما الذي يوضع في المنتصف؟"

التدريب (الممارسة):
علموا نموذج ذكاء اصطناعي محدد (يسمى MathFimer-7B) لعب هذه اللعبة مراراً وتكراراً. تعلم النموذج النظر إلى بداية ونهاية مسألة رياضية وابتكار الخطوات المنطقية المفقودة التي تربط بينهما.

التشبيه: الأمر يشبه تدريب باني جسور. تظهر لهم ضفتي نهر (بداية ونهاية المسألة) وتطلب منهم تصميم الجسر (الخطوات المفقودة) الذي يربط بينهما بأمان.

الترقية (التوسع):
بمجرد أن تعلم النموذج لعب اللعبة، استخدموه للعودة و"إصلاح" الكتب المدرسية القديمة. أخذوا الحلول الموجودة التي كانت قصيرة جداً واستخدموا MathFimer لإدراج خطوات تفصيلية مفقودة.

النتيجة: إجابة قصيرة وكسولة مثل "X = 5" أصبحت قصة مفصلة: "أولاً، ننقل الرقم 3 إلى الطرف الآخر... ثم نقسم على 2... وبالتالي فإن X تساوي 5."

🏆 لماذا يعد هذا أمراً هاماً

اختبرت الورقة هذه الطريقة الجديدة على العديد من الاختبارات الرياضية المختلفة (مثل تلك المستخدمة في المدارس والمسابقات). وإليكم ما وجدوه:

درجات أفضل: النماذج التي تتدرب على هذه الإجابات "الموسعة" حصلت على درجات أعلى بكثير. لم تكن مجرد تخمين؛ بل كانت تفهم المنطق.
أرخص وأسرع: على عكس الطريقة القديمة التي كانت تتطلب ذكاءً اصطناعياً باهظ الثمن لكتابة الخطوات، يمكن تدريب MathFimer على جهاز كمبيوتر عادي. إنه يشبه تدريب الروبوت على تعليم نفسه، بدلاً من استئجار معلم خصوصي بشري.
لا يتطلب سحراً: لم يحتاجوا إلى ابتكار رياضيات جديدة. لقد أخذوا فقط الإجابات الصحيحة الموجودة وجعلوها أكثر تفصيلاً.

🌟 التشبيه "البشري"

تخيل أنك تتعلم القيادة.

الطريقة القديمة: يقول لك مدربك، "أدر المقود، والسيارة ستتجه يساراً". أنت تحفظ الحركة، ولكن إذا واجهت طريقاً زلقاً، ستصطدم لأنك لا تفهم لماذا تنعطف السيارة.
طريقة MathFimer: يقول لك مدربك، "أدر المقود. هذا يغير زاوية الإطارات. الاحتكاك مع الطريق يدفع السيارة جانبياً. ولأن السيارة ثقيلة، فإنها تستغرق لحظة لتنعطف. لهذا السبب تذهب يساراً."

MathFimer يعطي الذكاء الاصطناي "الاحتكاك والفيزياء" الخاصة بالرياضيات. إنه يملأ الفجوة بين "أنا أعرف الإجابة" و"أنا أعرف كيف أصل إليها".

🚀 الخلا-صة

MathFimer هي طريقة ذكية ومنخفضة التكلفة لجعل الذكاء الاصطناي أكثر ذكاءً في الرياضيات. من خلال تحويل المسائل الرياضية إلى ألغاز "أكمل الفراغ"، فإنه يعلم الذكاء الاصطناي كتابة عملية تفكيره بالتفصيل الكامل. وهذا يجعلها أكثر موثوقية، وأكثر دقة، وأفضل في حل المشكلات المعقدة دون الحاجة إلى حواسيب فائقة التكلفة للمساعدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MathFimer: تعزيز الاستدلال الرياضي من خلال توسيع خطوات الاستدلال عبر مهمة الملء في المنتصف (Fill-in-the-Middle)".

1. بيان المشكلة

يعد الاستدلال الرياضي معياراً حاسماً للنماذج اللغوية الكبيرة (LLMs). وبينما أدى استخدام "سلسلة الأفكورد" (Chain-of-Thought - CoT) إلى تحسين الأداء، إلا أن جودة خطوات الاستدلال في بيانات التدريب تظل عائقاً. تواجه الطرق الحالية لتحسين خطوات الاستدلال ثلاثة تحديات رئيسية:

الاعتماد على نماذج أكبر: غالباً ما تتطلب النهج الحالية نماذج خارجية أكثر قوة لتوليد خطوات أفضل، مما يخلق دورة مستهلكة للموارد.
التكلفة الحسابية العالية: التقنيات مثل "البحث في شجرة مونت كارلو" (MCTS) أو الاستدلال المتكرر مكلفة حسابياً.
مشكلات الموثوقية: يمكن أن يؤدي توليد سلاسل استدلال جديدة تماماً إلى إدخال الهلوسة أو الأخطاء، في حين أن الحلول البشرية الموجودة غالباً ما تكون خشنة للغاية (تفتقر إلى الخطوات المتوسطة).

السؤال البحثي الجوهري هو: هل يمكننا توسيع خطوات الاستدلال بكفاءة في الحلول الصحيحة الموجودة لتحسين أداء النموذج دون الاعتماد على نماذج خارجية قوية أو إجراءات استدلال مكلفة؟

2. المنهجية: MathFimer

يقترح المؤلفون MathFimer، وهو إطار عمل مستوحى من مهمة "الملء في المنتصف" (Fill-in-the-Middle - FIM) المستخدمة في إكمال الأكواد البرمجية. بدلاً من توليد حلول جديدة من الصفر، يقوم MathFimer بإدراج خطوات وسيطة مفصلة داخل سلاسل الـ CoT الموجودة.

أ. بناء البيانات (NuminaMath-FIM)

المصدر: استخدم المؤلفون مجموعة بيانات NuminaMath-CoT عالية الجودة (853 ألف زوج).
التفكيك: يتم تفكيك الحلول إلى خطوات فردية.
تحويل FIM: لكل مسألة، يتم اختيار خطوة عشوائية $y_i$ لتكون "المنتصف" ( $M$ ). تشكل الخطوات السابقة "البادئة" ( $P$ )، والخطوات اللاحقة "اللاحقة" ( $S$ ).
التنسيق: يتم تنسيق البيانات كـ $P + \text{<|fim\_prefix|>} + M + \text{<|fim\_middle|>} + S + \text{<|fim\_suffix|>}$ .
النطاق: تولد هذه العملية 2.5 مليون عينة تدريب (3 تنويعات لكل مسألة أصلية).

ب. تدريب النموذج

النموذج الأساسي: تم استخدام نموذج متخصص في الرياضيات، Qwen2.5-Math-7B، كقاعدة.
الهدف: يتم تدريب النموذج عبر "الضبط الدقيق الخاضع للإشراف" (SFT) للتنبؤ بالخطوات الوسطى المفقودة ( $M$ ) بناءً على البادئة واللاحقة.
حساب الفقد (Loss): يتم حساب الفقد فقط على الرموز (tokens) التي تلي رمز <|fim\_middle|> .
النتيجة: يتعلم نموذج MathFimer-7B كيفية إعادة بناء الجسور المنطقية المفقودة بين الخطوات.

ج. خط أنابيب توسيع الخطوات (Step Expansion Pipeline)

بمجرد تدريبه، يُطبق MathFimer-7B لتوسيع مجموعات البيانات الموجودة (مثل GSM8K، MATH، MetaMathQA):

الاستدلال: لكل زوج من الخطوات المتتالية في حل ما، يستنتج النموذج الاستدلال الوسيط المفقود.
تصفية التشابه: لمنع التكرار، تتم مقارنة الخطوة المولدة بالخطوة التالية الأصلية. إذا تجاوز التشابه حداً معيناً ( $\eta = 0.8$ )، يتم استبعاد التوليد لأنه لا يضيف قيمة.
الإدراج: يتم إدراج الخطوات التي تم التحقق من صحتها في السلسلة الأصلية، مما يخلق مجموعة بيانات "موسعة" أكثر دقة.
التطبيق التكراري: يمكن تكرار العملية (التوسيع التكراري) لزيج صقل سلاسل الاستدلال بشكل أكبر.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم نموذج FIM إلى الاستدلال الرياضي، والتحول من "توليد سلاسل جديدة" إلى "إثراء السلاسل الصحيحة الموجودة".
كفاءة الموارد: لا تتطلب الطريقة نماذج معلمة (teacher models) أكبر أو خوارزميات بحث معقدة؛ بل تعتمد على نموذج متخصص بحجم 7B مدرب على بيانات مفككة.
إصدار مجموعات البيانات والنماذج: إصدار NuminaMath-FIM (2.5 مليون عينة) ونموذج MathFimer-7B.
القابلية للتوسع: أثبتت الطريقة أنها تعمل عبر أحجام النماذج الأساسية المختلفة (من 8B إلى 72B) ويمكن تكرارها لتحسين الأداء.

4. النتائج التجريبية

قيم المؤلفون النهج على عدة معايير (GSM8K، MATH، Math Odyssey، OlympiadBench-EN) باستخدام نماذج أساسية متنوعة (Llama-3.1، Qwen2.5-Math).

مكاسب الأداء: تفوقت النماذج المدربة على بيانات MathFimer-الموسعة باستمرار على تلك المدربة على البيانات الأصلية.
- GSM8K: تحسن يصل إلى +7.43% (على Llama-3.1-8B مع MathInstruct-CoT).
- MATH: تحسن يصل إلى +8.86% (على Qwen2.5-Math-7B مع MetaMathQA).
- المتوسط: مكاسب ثابتة عبر المهام الرياضية الابتدائية والمستويات التنافسية.
التوسيع التكراري: حققت جولات التوسيع المتعددة (حتى 3 تكرارات) تحسينات تراكمية، حيث وصلت دقة GSM8K إلى 83.32% (من 67.78% كخط أساس) في مجموعة بيانات MathInstruct.
تحليل حجم النموذج: من المثير للدهشة أن الفجوة في الأداء بين MathFimer-1.5B و7B و72B كانت ضئيلة، مما يشير إلى أن توسيع الخطوات هو مهمة هيكلية لا تعيقها سعة النموذج بشكل كبير.
المقارنة مع الطرق الأخرى:
- مقابل الملء القائم على التلقين (Prompt-based Fill): تفوق MathFimer بشكل كبير على التلقين بأسلوب الصفر (zero-shot prompting) باستخدام نماذج عامة (مثل Llama-3.2-3B).
- مقابل RL/DPO: الطريقة متعامدة مع التعلم التعزيزي (RL) وDPO. في الواقع، استخدام بيانات MathFimer-الموسعة كنقطة انطلاق لـ RL حقق مكاسب أعلى من RL على البيانات الخام.
التحقق من الجودة: باستخدام نموذج مكافأة العمليات (PRM)، حافظت الخطوات الموسعة على درجات صحة عالية (في نطاق 0.8–1.0)، وأكد التقييم البشري معدل اتفاق بنسبة 94% مع درجات PRM.

5. الأهمية والأثر

العملية: يقدم MathFimer حلاً قابلاً للتوسع ومنخفض التكلفة لتعزيز الاستدلال في النماذج اللغوية الكبيرة دون الحاجة إلى موارد حوسبة هائلة أو نماذج "معلمة" مملوكة لجهات أخرى.
الذكاء الاصطوي المرتكز على البيانات: يسلط الضل على أن دقة (granularity) خطوات الاستدلال في بيانات التدريب هي عامل حاسم للأداء، وغالباً ما تكون أكثر أهمية من مجرد حجم البيانات.
القابلية للتعميم: رغم التركيز على الرياضيات، أظهر إطار العمل وعداً في مهام الاستدلال خارج التوزيع (OOD) (المنطق والعلم)، مما يشير إلى أن قدرة "توسيع الخطوات" قابلة للنقل.
الاتجاه المستقبلي: تشير الورقة إلى أن الجمع بين توسيع الخطوات والتعلم التعزيزي (الإشراف على العمليات - Process Supervision) يخلق تآزراً قوياً، مما قد يمهد الطريق لوكلاء استدلال أكثر قوة.

في الختام، يثبت MathFimer أن صقل هيكل المعرفة الموجودة من خلال إدراج الخطوات المستهدفة هو استراتيجية فعالة للغاية لتعزيز القدرات الاستدلالية الرياضية للنماذج اللغوية الكبيرة.