← أحدث الأبحاث
💬 NLP

On-Policy Delta Distillation for Multilingual Math Reasoning

تُظهر هذه الورقة أن تقنية التقطير التفاضلي في السياسة نفسها (OPD2^2)، التي تستفيد من فجوة الاحتمالية بين المعلم بعد التدريب والنموذج الأساسي، تعزز بشكل كبير الاستدلال الرياضي متعدد اللغات في الكورية واليابانية مع تضييق فجوات الأداء، رغم أنها تؤكد على ضرورة وجود بيانات متعددة اللغات لمنع التحولات في الاستجابة نحو المركزية الإنجليزية.

المؤلفون الأصليون: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

نُشر 2026-08-07
📖 7 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تكون فيه الحواسيب مثل طلاب عباقرة ومتعددي اللغات، قرأوا كل كتاب في المكتبة، لكنهم لا يزالون يعانون في حل مسألة رياضية معقدة. ولمساعدتهم على أن يصبحوا أكثر ذكاءً، يستخدم العلماء تقنية تسمى "التدريب" (training)، وهي تشبه إلى حد ما مدرباً يوجه طالباً خلال حل المسائل التدريبية. لفترة طويلة، كانت الطريقة الأفضل لتدريب هؤلاء الطلاب من الذكاء الاصطناعي هي "التعلم التعزيزي" (Reinforcement Learning - RL)، وهي طريقة يحصل فيها الكمبيوتر على درجة واحدة فقط في نهاية إجابته—مثل الحصول على تقدير "امتياز" أو "رسوب" على مقال كامل دون معرفة أي الجمل كانت جيدة أو سيئة. ومع ذلك، ظهرت طريقة أحدث وأكثر كفاءة تسمى "التقطير على السياسة الواحدة" (On-Policy Distillation - OPD). فبدلاً من الانتظار للحصول على درجة نهائية، تعمل تقنية OPD كمعلم خبير يقرأ إجابة الطالب كلمة بكلمة، ويهمس بالتصحيحات والاقتراحات أثناء كتابة الطالب. هذا النوع من التغذية الراجعة على مستوى "الرمز" (token-level) أكثر دقة بكثير. لكن هنا تكمن العقبة: معظم هذه الأبحاث أُجريت باللغة الإنجليزية فقط. لم نكن نعرف ما إذا كانت تقنية "المعلم الهامس" هذه ستعمل بنفس الكفاءة مع طلاب يتحدثون الكورية أو اليابانية أو غيرها من اللغات، أو ما إذا كان بإمكانها سد الفجوة بين مدى براعة الذكاء الاصطناعي في التحدث بالإنجليزية مقابل براعته في اللغات الأخرى.

يغوص هذا البحث في هذا السؤال تحديداً، حيث يختبر نسخة مطورة للغاية من هذه التقنية تسمى "التقطير التفاضلي على السياسة الواحدة" (On-Policy Delta Distillation - OPD²) على الاستدلال الرياضي باللغات الإنجليزية والكورية واليابانية. وجد الباحثون أن هذه الطريقة الجديدة تُعد تغييراً جذرياً لقواعد اللعبة. تماماً مثل رئيس طهاة ماهر يمكنه تعليم وصفة لـطالب بأي لغة، ساعدت تقنية OPD² نماذج الذكاء الاصطناعي على حل المسائل الرياضية بشكل أفضل بكثير في اللغات الثلاث، مع قفزات هائلة بشكل خاص في اللغتين الكورية واليابانية. تشير الدراسة إلى أن هذه الطريقة أفضل حتى من النسخة الأصلية لأنها تركز على "الفرق" (delta)—أي الاختلاف المحدد بين ما يعرفه المعلم وما يعرفه النموذج الأساسي للطالب بالفعل—مما يعزل بفعالية مهارات الاستدلال الجديدة التي يتم تعليمها.

ومع ذلك، كشفت الورقة البحثية أيضاً عن أثر جانبي مثير للاهتمام ومراوغ قليلاً. فعندما حاول الباحثون تعليم الذكاء الاصطناعي باستخدام مسائل رياضية باللغة الإنجليزية فقط، وجدوا أن النموذج أصبح بارعاً بشكل مفاجئ في حل المسائل الرياضية باللغتين الكورية واليابانية أيضاً. كان الأمر كما لو أن الطالب تعلم منطق الرياضيات بالإنجليزية واستطاع تطبيقه على لغات أخرى. ولكن كانت هناك خدعة: فبينما كانت الإجابات صحيحة، بدأ النموذج غالباً في كتابة شروحاته باللغة الإنجليزية، حتى عندما كان السؤال مطروحاً باللغة الكورية أو اليابانية. يشير هذا إلى أنه بينما يمكن تدريب "عضلة الاستدلال" في لغة واحدة ونقلها إلى لغة أخرى، فإن الحفاظ على "صوت" الإجابة في اللغة المستهدفة يتطلب التدرب ببيانات بتلك اللغة تحديداً. في النهاية، تظهر الورقة أن OPD² هي أداة قوية لجعل الذكاء الاصطناعي أكثر ذكاءً عبر اللغات، ولكن لكي يتقن اللغة حقاً، يجب عليك التحدث بها أثناء الممارسة.

الاكتشاف الجوهري: معلم هامس أفضل

سعى الباحثون لمعرفة ما إذا كانت تقنية OPD² (النسخة المتقدمة من المعلم الهامس) يمكن أن تتفوق على تقنية OPD الأصلية عند التعامل مع لغات متعددة. استخدموا عائلة من نماذج الذكاء الاصطناعي تسمى Qwen3 (تحديداً نسختي 1.7B و 8B) ونموذج معلم ضخم لتوجيهها. كانت النتائج واضحة ومتسقة: تفوقت OPD² باستمرار على OPD الأصلية في جميع المجالات.

فكر في الأمر بهذه الطريقة: إذا كان معلم OPD الأصلي مدرساً جيداً، فإن OPD² كان معلماً عبقرياً يعرف بالضبط ما ينقص الطالب. في التجارب، كان هذا الفرق شاسعاً بالنسبة للغات غير الإنجليزية. فبالنسبة للنموذج الأصغر (Qwen3-1.7B)، حسنت OPD² درجة الرياضيات الكورية من 40.9 إلى 51.9، والدرجة اليابانية من 37.2 إلى 52.0. لقد ساعدت OPD الأصلية، لكن OPD² دفعت تلك الأرقام إلى مستويات أعلى. وبالنسبة للنموذج الأكبر والأذكى (Qwen3-8B)، كانت التحسينات قوية أيضاً، حيث قفزت الكورية من 57.0 إلى 64.4 واليابانية من 57.1 إلى 65.0.

تجادل الورقة صراحة بأن هذا لا يتعلق بمجرد نسخ أسلوب المعلم. فمن خلال استخدام "إشارة الفرق" (delta signal) (الفجوة بين المعلم والنموذج الأساسي الخاص بالمعلم نفسه)، نجحت OPD² في نقل قدرات الاستدلال إلى الطالب، بدلاً من مجرد محاكاة المخرجات العامة للمعلم. وهذا يشير إلى أن الطريقة قوية وتعمل بشكل جيد بغض النظر عن اللغة أو حجم النموذج.

سد الفجوة اللغوية

كان أحد أكبر أهداف هذا البحث هو معرفة ما إذا كانت طرق التدريب هذه يمكن أن تضيق فجوة الأداء بين الإنجليزية واللغات الأخرى. غالباً ما تكون نماذج الذكاء الاصطناعي أفضل بكثير في الإنجليزية منها في الكورية أو اليابانية. وجدت الورقة أن التدريب متعدد اللغات باستخدام OPD² ساعد عموماً في تضييق هذه الفجوة.

في نظرة تفصيلية على "فجوة الدقة بين الإنجليزية والكورية"، رأى الباحثون أنه بينما كان النموذج الأساسي يميل لصالح الإنجليزية بفارق كبير (أحياناً بأكثر من 13 نقطة في بعض الاختبارات)، فقد قلل تدريب OPD من هذا التفاوت. على سبيل المثال، في اختبار Global-MGSM، تقلصت الفجوة من 13.4 نقطة إلى 8.6 نقطة باستخدام OPD القياسية، وإلى 9.3 نقطة باستخدام OPD². وفي اختبار HRM8K، انخفضت الفجوة من 12.1 إلى 9.2 نقطة.

تشير الورقة إلى أن هذا يحدث لأن التدريب متعدد اللغات يفيد اللغات غير الإنجليزية أكثر من اللغة الإنجليزية، مما يرفع أداء الأطراف الأضعف دون إضعاف الأطراف القوية. ومع ذلك، يلاحظ المؤلفون بحذر أن هذا التأثير لم يكن متطابقاً تماماً عبر كل اختبار على حدة؛ ففي بعض الاختبارات المحددة مثل M-MMLU، اتسعت الفجوة قليلاً. لذا، بينما الاتجاه العام إيجابي، إلا أنها ليست عصا سحرية تصلح كل المقاييس فوراً.

مفاجأة "الإنجليزية فقط" وفخ اللغة

ربما يكون الاكتشاف الأكثر إثارة للدهشة في الورقة هو ما حدث عندما دربوا النماذج باستخدام بيانات باللغة الإنجليزية فقط. قد تعتقد أنه إذا علمت طالباً الرياضيات بالإنجليزية فقط، فسيفشل في الرياضيات الكورية. لكن الورقة وجدت أن تدريب OPD² بالإنجليزية فقط أدى في الواقع إلى تحسين درجات الكورية واليابانية بشكل ملحوظ.

في وضع "غير التفكير" (non-thinking mode)، عزز التدريب بالإنجليزية فقط متوسط الكورية من 40.9 إلى 52.6 ومتوسط اليابانية من 37.2 إلى 53.4. وهذه الأرقام كانت قريبة جداً من درجات التدريب متعدد اللغات (التي كانت 51.9 للكورية و 52.0 لليابانية). يشير هذا إلى أن منطق الاستدلال الرياضي عالمي للغاية بحيث يمكن تعلمه بالإنجليزية ثم تطبيقه على المسائل الكورية أو اليابانية، حتى لو لم يرَ النموذج مسألة رياضية واحدة باللغة الكورية أثناء التدريب.

ومع ذلك، هناك عقبة رئيسية. تنفي الورقة صراحة فكرة أن هذا يعني أن النموذج قد أتقن اللغة حقاً. فعندما فحص الباحثون اللغة التي يتحدث بها النموذج فعلياً في إجاباته، كانت النتائج صارخة.

  • التدريب متعدد اللغات: عند التدريب على لغات مختلطة، أجاب النموذج باللغة الكورية بنسبة 90.5% من الوقت (في وضع غير التفكير) وباللغة اليابانية بنسبة 90.9%.
  • التدريب بالإنجليزية فقط: عند التدريب بالإنجليزية فقط، انخفضت إجاباته "الكورية" إلى 48.3% (بمعنى أنه أجاب بالإنجليزية نصف الوقت)، وانخفضت إجاباته "اليابانية" إلى 29.6%.

وحتى في "وضع التفكير" (حيث يقوم النموذج بخطوة استدلال خفية قبل الإجابة)، استمر هذا الاتجاه. فالنموذج المدرب بالإنجليزية فقط يحل المسألة الرياضية بشكل صحيح، ولكنه غالباً ما يكتب الإجابة النهائية بالإنجليزية، متجاهلاً حقيقة أن السؤال طُرح باللغة الكورية أو اليابانية. وتخلص الورقة إلى أنه بينما يمكن للتدريب بالإنجليزية فقط نقل القدرة على الاستدلال، فإنه يفشل في الحفاظ على عادة الرد باللغة المستهدفة. لكي تجعل النموذج يتحدث اللغة التي تريدها، يجب أن تغذيه ببيانات بتلك اللغة.

ملخص النتائج

تثبت الورقة أن OPD² هي طريقة متفوقة لتعليم الاستدلال الرياضي للذكاء الاصطناعي عبر اللغات، حيث تتفوق باستمرار على OPD الأصلية. وقد نجحت في تضييق فجوة الأداء بين الإنجليزية ولغات مثل الكورية واليابانية، مما يشير إلى أن التدريب اللاحق متعدد اللغات هو مسار قابل للتطبيق نحو ذكاء اصطناعي أكثر توازناً. ومع ذلك، ترسم الدراسة أيضاً خطاً فاصلاً واضحاً بين "قدرة الاستدلال" و"توليد اللغة". فبينما يمكن تعلم مهارات الاستدلال في لغة واحدة وتطبيقها في لغة أخرى، فإن النموذج سينجرف طبيعياً نحو الإنجليزية ما لم يتم تدريبه صراحةً ببيانات من اللغة المستهدفة. ويقترح المؤلفون أن الأبحاث المستقبلية يجب أن تركز على تقييم كل من دقة الإجابة ولغة الاستجابة لفهم القدرات اللغوية المتعددة للذكاء الاصطناعي بشكل حقيقي.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →