IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "IRIS: التعزيز المتداخل مع المنهج التدريجي المرحلي لتعزيز الاستدلال الرياضي عبر اللغات".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) صعوبة في الاستدلال الرياضي المعقد، لا سيما في البيئات متعددة اللغات ومنخفضة الموارد (مثل اللغات الهندية مثل الهندية والماراثية). تواجه نماذج التدريب الحالية قيودين رئيسيين:

• ندرة المكافأة: التدريب الذي يكافئ فقط الإجابة النهائية يفشل في الإشراف على خطوات الاستدلال المتوسطة، مما يؤدي إلى سلاسل منطقية واهمة (hallucinated).
• فجوات المنهج الدراسي: غالبًا ما يفشل التعلم المنهجي القياسي (الذي ينتقل من المسائل السهلة إلى الصعبة) في تحديد أين ينهار الاستدلال. وعلى العكس من ذلك، فإن طرق التعزيز على مستوى الخطوة (مثل المنهج العكسي) تفتقر غالبًا إلى جدولة الصعوبة، مما يؤدي إلى عدم استقرار التعلم بسبب ندرة المكافآت.
• النقل عبر اللغات: تفتقر اللغات منخفضة الموارد غالبًا إلى بيانات كافية لدعم الاستدلال عالي الجودة بشكل مستقل، كما أن الترجمة المباشرة لمسارات الاستدلال تؤدي غالبًا إلى تدهور التماسك.

2. المنهجية: إطار عمل IRIS

يقترح المؤلفون إطار عمل IRIS (التعزيز المتداخل مع المنهج التدريجي المرحلي)، وهو إطار تدريب ثنائي المحور مصمم لفصل اكتساب المهارة عن صقل الاستدلال.

أ. المنهج الدراسي ثنائي المحور

1. المحور الرأسي (منهج على مستوى المسألة):

   • الهدف: زيادة صعوبة المهام تدريجيًا.
   • العملية: يخضع النموذج لـ ضبط دقيق تحت الإشراف (SFT) عبر مراحل: سهل $\leftarrow$ سهل + متوسط $\leftarrow$ سهل + متوسط + صعب.
   • الآلية: يتعلم النموذج مسارات استدلال كاملة لمسائل ذات تعقيد متزايد، مما يؤسس قاعدة لأنماط الاستدلال قبل بدء التعلم التعزيزي.

2. المحور الأفقي (منهج الاستمرارية على مستوى الخطوة):

   • الهدف: تقليل الاعتماد على مقدمات الاستدلال المقدمة وتشجيع التخطيط المستقل.
   • العملية: نهج المنهج العكسي. بالنسبة لمسألة تحتوي على $n$ من الخطوات، يتم تدريب النموذج على $n-1$ من المراحل.
     • المرحلة 0 (الأسهل): يُعطى النموذج $n-2$ من الخطوات ويجب عليه توليد آخر خطوتين فقط.
     • المرحلة $k$: يُعطى النموذج $n-k-2$ من الخطوات ويجب عليه توليد الباقي.
     • المرحلة $n-2$ (الأصعب): يُعطى النموذج السؤال فقط ويجب عليه توليد الحل الكامل من البداية.
   • الآلية: هذا يجبر النموذج على الانتقال من إكمال السلاسل الجزئية إلى توليد مسارات استدلال كاملة.

ب. تصميم المكافأة المركبة (RLVR)

لتحسين المحور الأفقي، يستخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO) مع دالة مكافأة مركبة مبتكرة $R_k$:
$$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$$

• الصحة ($r_{final}$): مكافأة ثنائية (+2) لمطابقة الإجابة بدقة.
• التوافق الجيبي ($r_{cos}$): يقيس التشابه الدلالي بين اللاحقة المولدة وخطوات الاستدلال الصحيحة (ground-truth). ومن المهم أن الوزن $\lambda_k$ يتلاشى خطيًا مع زيادة مرحلة المنهج. يعمل كمثبت في المراحل المبكرة ولكنه يُلغى في المراحل الصعبة لتشجيع مسارات استدلال متنوعة وصحيحة.
• الاستمرارية ($r_{cont}$): يكافئ ترقيم الخطوات الصحيح والتدفق المنطقي (على سبيل المثال، الاستمرار من حيث توقفت المقدمة).
• حافز الأرقام ($r_{int}$): مكافأة صغيرة لإنتاج مخرجات رقمية.

ج. الاستراتيجية متعددة اللغات: الإنجليزية كمرساة للاستدلال

يقدم إطار العمل إعدادًا تدريبيًا ثنائي اللغة (على سبيل المثال، الإنجليزية + الهندية).

• الفرضية: تعمل الإنجليزية كـ "مرساة للاستدلال". نظرًا لأن الإنجليزية تمتلك بيانات استدلال عالية الجودة، فإنها تثبت ديناميكية التعلم.
• الآلية: يتعلم النموذج منطق الاستدلال من الإنجليزية وينقل هذه القدرة إلى اللغات منخفضة الموارد (الهندية/الماراثية)، والتي تركز أساسًا على التعبير عن ذلك المنطق في نص جديد. تُظهر التجارب أن خلط 20% من الإنجليزية يمنع بشكل كبير ركود المكافأة في التدريب أحادي اللغة.

3. المساهمات الرئيسية

1. إطار عمل IRIS: منهج درسي مبتकार ثنائي المحور يجمع بين الضبط الدقيق القائم على الصعوبة (الرأسي) والتعزيز العكسي للخطوات (الأفقي) لتثبيت الاستدلال طويل الأمد.
2. دالة مكافأة مركبة: إشارة مكافأة متعددة المكونات توازن بين صحة الإجابة والتوافق خطوة بخطوة والاستمرارية الهيكلية، ويتم تحسينها عبر GRPO.
3. مجموعة بيانات CL-Math: مجموعة بيانات جديدة متعددة اللغات تحتوي على 29 ألف مثال تتضمن مسائل رياضية مع تعليقات توضيحية على مستوى الخطوة باللغات الإنجليزية والهندية والماراثية. وتتضمن 2,184 عينة سهلة، و2,212 متوسطة، و5,588 عينة صعبة لكل لغة، مع تقسيمات صارمة للتدريب والاختبار لمنع تسرب البيانات.
4. رؤى عبر اللغات: دليل تجريبي على أن التدريب ثنائي اللغة (الإنجليزية + منخفضة الموارد) يعمل كمنظم ضروري، مما يسمح بتعزيز مستقر للتعلم التعزيزي بعد التدريب حيث تفشل النهج أحادية اللغة.

4. النتائج

قيم المؤلفون IRIS على نماذج Qwen2.5-Math-7B و WizardMath-7B.

• الأداء على CL-Math:
  • حسن IRIS دقة الاستدلال بنسبة تصل إلى +15.8% في أصعب مسائل اللغة الهندية مقارنة بالنماذج المرجعية.
  • أظهرت الإعدادات ثنائية اللغة (الإنجليزية-الهندية/الماراثية) مكاسب كبيرة مقارنة بالإعدادات أحادية اللغة، مما يؤكد فرضية "مرساة الاستدلة".
• التعميم على المعايير القياسية:
  • SVAMP: 90.6% (مقابل 70.4% للنموذج الأساسي).
  • GSM8K: 83.9% (مقابل 70.6% للنموذج الأساسي).
  • MATH: 64.6% (مقابل 29.5% للنموذج الأساسي).
  • تفوق IRIS على النماذج المتخصصة الأخرى من فئة 7B (مثل MetaMath و DeepSeek-Math) واقترب من أداء GPT-4 في معايم محددة.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التمهيد الرأسي لـ SFT أو تقدم المنهج الدراسي إلى تدهور الأداء بشكل كبير.
  • أدى تبسيط المكافأة لتقتصر على الصحة فقط إلى تقليل الدقة، مما يبرز أهمية هيكل المكافأة المركب.
  • حقق خلط 20% من الإنجليزية في تدريب الماراثية أفضل توازن، حيث عمل كمنظم.

5. الأهمية والأثر

• سد الفجوة في الموارد المنخفضة: يثبت IRIS مسارًا عمليًا لتعزيز الاستدَالَ الرياضي في اللغات غير الممثلة كفاية (الهندية، الماراثية) من خلال الاستفادة من بيانات الإنجليزية عالية الموارد دون الحاجة إلى مجموعات بيانات ضخمة أصلية.
• التعلم التعزيزي المستقر للاستدلال: حل الجمع بين المناهج المرحلية ومكافآت التوافق المتلاشية مشكلات عدم الاستقرار الشائعة في التعلم التعزيزي لمهام الاستدلال، مما يسمح للنماذج بتعلم المنطق المعقد متعدد الخطوات دون انهيار.
• العلم المفتوح: يوفر إصدار CL-Math والبرمجيات المصدرية موردًا حاسمًا للمجتمع البحثي لمواصلة دراسة الاستدلال متعدد اللغات والتعلم المنهجي.
• التوافق المعرفي: يحاكي إطار العمل التطور المعرفي البشري (تعلم الهيكل أولاً، ثم توسيع التعقيد)، مما يقدم نموذج تدريب أكثر قوة من التحسين النهائي "الصندوق الأسود".

في الختام، يثبت IRES أن تصميم المنهج المنظم المقترن بالتعزيز المتداخل هو استراتيجية فعالة للغاية لإطلاق قدرات الاستدلال العميق في النماذج اللغوية الصغيرة، لا سيما في السياقات متعددة اللغات.