💬 NLP

LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance

تقدم الورقة البحثية LANG، وهو إطار عمل جديد للتعلم التعزيزي يستخدم تلميحات مشروطة باللغة مع اضمحلال تدريجي وتبديل تكيفي لتعزيز أداء الاستدلال متعدد اللغات بشكل كبير مع منع الانجراف اللغوي غير المقصود نحو اللغة الإنجليزية.

المؤلفون الأصليون: Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchun Fan, Bei Li, Peiguang Li, Yilin Wang, Yongyu Mu, Jian Yang, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Jingbo Zhu, Tong Xiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث LANG: التعلم المعزز للاستدلال متعدد اللغات عبر توجيه التلميحات المتكيف مع اللغة، مقسماً إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: "فخ اللغة"

تخيل أنك تعلم طالباً عبقرياً (ذكاءً اصطناعياً) كيفية حل مسائل رياضية معقدة. هذا الطالب عبقري في اللغة الإنجليزية، لكنه يعاني عندما يُطلب منه التفكير بلغات أخرى مثل الكورية أو التايلاندية أو السواحيلية.

تحدد الورقة البحثية حالة "الاستعصاء" (الموقف الذي لا يوجد فيه رابح) المحبطة التي تحدث عندما نحاول إصلاح ذلك:

نهج "المعلم الصارم": إذا قلت للطالب، "يجب عليك التفكير والإجابة باللغة الكورية"، فسيحاول جاهداً اتباع القاعدة. ولكن لأن مهاراته في الاستدلال بالكورية ليست بحدة مهاراته بالإنجليزية، فإنه يرتكب أخطاء. يحصل على إجابة خاطئة لأنه كان شديد التركيز على قاعدة اللغة.
نهج "الحرية المطلقة": إذا قلت للطالب، "حلها بأي طريقة تريدها"، فسيعود بشكل طبيعي إلى أداته الأقوى: الإنجليزية. سيحل المسألة الرياضية بشكل صحيح، لكنه سيتجاهل طلبك باستخدام اللغة الكورية. الإجابة صحيحة، لكن الطالب لم يتبع التعليمات.

الهدف: أراد الباحثون إيجاد طريقة لتعليم الطالب حل المشكلات الصعبة بشكل صحيح مع التفكير بالكامل باللغة المطلوبة، دون الوقوع في ذلك الفخ.

الحل: نظام "عجلات التدريب" (LANG)

ابتكر المؤلفون طريقة جديدة تسمى LANG. فكر فيها كنظام تدريب ذكي يستخدم "عجلات التدريب" (التلميحات) ولكنه يعرف تماماً متى ينزعها.

إليك كيف يعمل، خطوة بخوة:

1. تلميحات "الكاتب الخفي"

في بداية التدريب، يتم إعطاء الذكاء الاصطناٍعي "ورقة غش" أو تلميحاً. هذا التلميح هو حل جزئي للمسألة الرياضية، مكتوب بشكل مثالي باللغة المستهدفة (مثل الكورية).

تشبيه: تخيل أنك تتعلم ركوب الدراجة. بدلاً من مجرد إخبارك "بدّل"، يجلس راكب خفي خلفك على دراجتك، يوجهك قليلاً ويظهر لك بالضبط كيف تحافظ على توازنك. هذا يساعدك على البدء دون السقوط.

2. "الاضمحلال الذكي" (نزع العجلات)

المشكلة في إبقاء عجلات التدريب للأبد هي أنك لن تتعلم أبداً التوازن بمفردك. إذا نزعت العجلات عند خط النهاية، فستسقط.

حل LANG: يستخدم النظام جدول اضمحلال جيب التمام (Cosine Decay Schedule). هذا يشبه مؤقتاً زمنياً يخفض عجلات التدريب ببطء وسلاسة مع تقدم التدريب.
- الأيام الأولى: تكون العجلات مرتفعة (الكثير من التلميحات). يحصل الذكاء الاصطناعي على الكثير من المساعدة.
- الأيام الوسطى: تنخفض العجلات قليلاً. يتعين على الذكاء الاصطناعي القيام بمزيد من العمل بنفسه.
- الأيام الأخيرة: تختفي العجلات. يجب على الذكاء الاصطناعي أن يقود (يستدل) بمفرده تماماً باللغة المستهدفة.
لماذا يهم هذا: هذا يمنع الذكاء الاصطناعي من أن يصبح "كسولاً" ويعتمد على التلميحات. إنه يجبر الذكاء الاصطناعي على استيعاب مهارة الاستدلال في تلك اللغة المحددة.

3. "الوتيرة الشخصية" (المفتاح المتكيف)

ليست كل اللغات صعبة بنفس القدر بالنسبة للذكاء الاصطناعي. الإنجليزية قد تكون سهلة؛ السواحيلية قد تكون صعبة جداً. الجدول الزمني "الموحد للجميع" لا ينجح.

حل LANG: يحتوي النظام على مفتاح متكيف مع اللغة. فهو يراقب مدى جودة أداء الذكاء الاصطناعي في كل مجموعة لغوية.
- اللغات السهلة (عالية الموارد): إذا كان الذكاء الاصطناعي يؤدي جيداً في الفرنسية، فإن النظام ينزع عجلات التدريب في وقت أبكر.
- اللغات الصعبة (منخفضة الموارد): إذا كان الذكاء الاصطناعي يعاني في السواحيلية، فإن النظام يبقي عجلات التدريب لفترة أطول لمنحه مزيداً من الدعم قبل مطالبته بالعمل بمفرده.
تشبيه: تخدمل مدرباً رياضياً. إذا كان العداء سريعاً، يتوقف المدرب عن إمساك يده مبكراً. إذا كان العداء أبطأ، يمسك المدرب يده لفترة أطول حتى يصبح مستعداً للجري بمفرده.

ماذا وجدوا؟ (النتائج)

اختبر الباحثون ذلك على اثنين من الاختبارات المرجعية الصعبة للرياضيات (MMATH و PolyMath) باستخدام نماذج ذكاء اصطناعي مختلفة.

تم كسر المقايضة: الطرق السابقة كانت تجبرك عادةً على الاختيار بين "الإجابة الصحيحة" أو "اللغة الصحيحة". نجح LANG في الحصول على كليهما.
تحسينات كبيرة: في أصعب الاختبارات الرياضية، حسن LANG قدرة الذكاء الاصطناعي على الحصول على الإجابة الصحيحة باللغة الصحيحة بنسبة تقارب 24% مقارنة بالطرق القياسية.
يعمل في كل مكان: لم يقتصر الأمر على الرياضيات فحسب؛ بل ساعد أيضاً الذكاء الاصطناعي على الاستدلال بشكل أفضل في مهام أخرى (مثل فهم القصص أو المنطق العام) عبر العديد من اللغات المختلفة.
التعلم العميق: تظهر الورقة البحثية أن الذكاء الاصطناعي لم يتعلم فقط ترجمة الإجابة النهائية؛ بل تعلم بالفعل "التفكير" باللغة المستهدفة عبر طبقاته الداخلية بالكامل، وليس فقط في النهاية.

ملخص في جملة واحدة

نظام LANG هو نظام تدريب ذكي يمنح نماذج الذكاء الاصطناعي "تلميحات" مؤقتة بلغتهم الأصلية لمساعدتهم على تعلم الاستدلال المعقد، ثم يزيل تلك التلميحات ببطء بوتيرة مصممة خصيصاً لصعوبة كل لغة، مما ينتج ذكاءً اصطناعياً يمكنه التفكير وحل المشكلات بشكل صحيح في أي لغة دون أن يفقد مساره.

ملخص تقني: LANG – التعلم التعزيزي للاستدلال متعدد اللغات باستخدام توجيه التلميحات المتكيف مع اللغة

1. بيان المشكلة

بينما نجح التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) في تعزيز الاستدلال متعدد الخطوات في النماذج اللغوية الكبيرة (LLMs) للغة الإنجليزية، إلا أن هذه الفوائد لم تنتقل بالكامل إلى السياقات متعددة اللغات. تواجه النماذج الحالية مقايضة جوهرية:

اتساق اللغة مقابل جودة الاستدلال: غالبًا ما يؤدي تقييد النماذج صراحةً للاستدلال بلغة المدخلات إلى تدهور كبير في الأداء في البيئات غير الإنجليزية، حيث لا تنتقل قدرات الاستدلال القوية للنموذج من اللغة الإنجليزية بشكل موثوق.
الانجراف اللغوي: عندما يتم تخفيف قيود اللغة للحفاظ على جودة الاستدلال، تميل النماذج نحو اللغة الإنجليزية، مما يقلل من قابلية القراءة والتفسير للمستخدمين الأصليين.

تجد الأساليب الحالية، مثل القيود القائمة على التلقين (Prompt-based constraints) أو إضافة مكافآت اتساق اللغة إلى التعلم التعززي (RL)، صعوبة في مواجهة ندرة المكافأة (Reward Sparsity). ففي السيناريوهات متعددة اللغات، وخاصة للغات ذات الموارد المنخفضة، تكون المسارات التي تستوفي قيود اللغة والصحة الصارمة نادرة للغاية، مما يعيق الاستكشاف الفعال أثناء التدريب.

2. المنهجية: LANG

يقترح المؤلفون إطار عمل LANG، وهو إطار تعلم تعززي موجه بالتلميحات ومتكيف لغويًا، مصمم لتعزيز الاستكشاف في مهام الاستدلال غير الإنجليزية مع منع الاعتماد على الوسائل الخارجية. يتكون الإطار من آليتين أساسيتين:

أ. التلاشي المجدول للتلميحات متعدد اللغات

يستخدم LANG تلميحات مشروطة باللغة (مسارات استدلال جزئية من نموذج معلم) لتوجيه النموذج الطالب خلال مرحلة التدريب المبكرة. ولمعالجة مشكلة "الاعتماد على التلميح" (حيث تفشل النماذج في الاستدلال بشكل مستقل بمجرد إزالة التلميحات)، يستخدم LANG جدول تلاشي عبر التخميد الجيبي (Cosine Annealing Decay Schedule).

الآلية: عند خطوة التدريب $t$ ، يتم حقن بادئة (Prefix) من التلميح $h$ في التلقين. يتبع معدل التلميح المحقون، $p_t^l$ ، جدولاً جيبياً يبدأ من 1.0 (توجيه كامل) ويتلاشى بسلاسة إلى 0.0.
الهدف: الانتقال بالنموذج من عمليات التشغيل المشروطة بالتلميح إلى الاستدلال متعدد اللغات المستقل، مما يقلل الفجوة بين التدريب والاستدلال.

ب. المفتاح المتكيف مع اللغة

إدراكًا بأن صعوبات التعلم تختلف باختلاف اللغات، يتجنب LANG استخدام نقطة تحول عالمية واحدة لإزالة التلميحات. بدلاً من ذلك، يقوم بتصنيف اللغات إلى مجموعات موارد (عالية، متوسطة، منخفضة) ويستخدم استراتيجية تبديل ديناميكية.

الآلية: يراقب النظام معدل التحديث الفعال ( $\bar{u}_R(t)$ )، والذي يُعرف بأنه كسر الحالات في مجموعة لغوية معينة من الدفعة (Batch) التي تنتج مسارًا واحدًا على الأقل ذا ميزة إيجابية (Positive Advantage).
معيار التبديل: عندما يتجاوز $\bar{u}_R(t)$ عتبة معينة $\tau$ ، يتم إيقاف حقن التلميح لتلك المجموعة اللغوية المحددة.
الفائدة: تحتفظ اللغات ذات الموارد المنخفضة بالتلميحات لفترة أطول لتخفيف ندرة المكافأة، بينما تنتقل اللغات ذات الموارد العالية إلى الاستدلال المستقل في وقت مبكر، مما يحسن وتيرة التعلم لكل لغة حسب صعوبتها الخاصة.

ج. تحسين السياسة

يقوم إطار العمل بتحسين السياسة باستخدام GRPO (تحسين السياسة النسبي للمجموعات). دالة المكافأة هي مزيج من ثلاثة معايير:

اتساق اللغة ( $R_{lc}$ ): يجب أن يتطابق مسار الاستدلال والإجابة النهائية مع لغة المدخلات.
التنسيق ( $R_{format}$ ): الاستخدام الصحيح لعلامات التفكير (Thinking tags) والإجابات الموضحة داخل صناديق.
الدقة ( $R_{acc}$ ): يجب أن تتطابق الإجابة النهائية مع الحقيقة الأرضية (Ground Truth).

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم LANG، الذي يستفيد من التلميحات المشروطة باللغة لتعزيز الاستكشاف في الاستدلال متعدد اللغات، ومعالجة مشكلة ندرة المكافأة المتأصلة في RLVR متعدد اللغات.
المواءمة بين التدريب والاستدلال: تطوير جدول تلاشي تدريجي للتلميحات ومفتاح متكيف مع اللغة يعملان بفعالية على تقليل الفجوة بين التدريب والاستدلال، مما يضمن قدرة النماذج على الاستدلال بشكل مستقل عند الاختبار دون الاعتماد على التلميحات.
التحقق التجريبي: تجارب واسعة النطاق تثبت أن LANG يعزز بشكل كبير أداء الاستدلال متعدد اللغات دون المساس باتساق اللغة، متفوقًا على كل من الأساليب القائمة على التلقين والأساليب القائمة على التدريب.
التعميم: أدلة على أن الطريقة تتعمم بما يتجاوز الاستدلال الرياضي لتشمل مهام متعددة اللغات أخرى (مثل MMLU-ProX وXWinograd) وتحافظ على اتساق اللغة عبر طبقات النموذج المختلفة.

4. النتائج التجريبية

قيم المؤلفون LANG على اختبارين تحديين: MMATH (10 لغات) و PolyMath (18 لغة)، باستخدام نماذج Qwen2.5 (3B, 7B, 32B) و Llama3.1-8B.

مكاسب الأداء: تفوق LANG بشكل كبير على أقوى خط أساس (LC-GRPO). في اختبار MMATH، حسن مقياس "اتساق اللغة والدقة" (LC&Acc) بنسبة 24.1% في المتوسط عبر النماذج. وفي PolyMath، حقق تحسنًا بنسبة 18.7%.
اللغات ذات الموارد المنخفضة: كانت المكاسب ملحوظة بشكل خاص للغات ذات الموارد المنخفضة. على سبيل المثال، مع Qwen2.5-7B، حسن LANG مقياس LC&Acc بنسبة 39.0% للغة التايلاندية (في MMATH) و 24.6% للغة الفيتنامية (في PolyMath) مقارنة بـ mGRPO.
التعميم خارج النطاق (OOD): أظهر LANG قدرة قوية على التعميم للغات خارج النطاق ومقاييس النماذج المختلفة، محققًا تحسنًا مستمرًا في LC&Acc مقارنة بالخطوط المرجعية.
التحليل على مستوى الطبقات: كشف التحليل للحالات الخفية المتوسطة أن LANG يحافظ على اتساق لغوي عالٍ عبر طبقات النموذج، مما يمنع ظاهرة "تبديل اللغة عبر الطبقات" حيث يستدل النموذج بالإنجليزية ويقوم بالترجمة فقط عند المخرجات.

వ 5. الأهمية والادعاءات

يزعم البحث أن LANG يوفر حلاً قويًا للمقايضة بين دقة الاستدلال واتساق اللغة في النماذج اللغوية الكبيرة متعددة اللغات. من خلال استخدام التلميحات كدعامة مؤقتة يتم إزالتها تدريجيًا بناءً على التقدم التعلمي الخاص بكل لغة، يُمكّن إطار العمل النماذج من استيعاب أنماط الاستدلال متعدد اللغات.

يؤكد المؤلفون أن نهجهم غير مرتبط بمعلم محدد (يعمل جيدًا مع التلميحات من نماذج معلم مختلفة) ومقاوم للترجمة (تظل المكاسب مستقرة بغض النظر عن نموذج الترجمة المستخدم لبناء البيانات). ويخلصون إلى أن LANG يسد بفعالية الفجوة بين قدرات الاستد केंद्रा-مركزة بالإنجليزية والحاجة إلى قابلية التفسير باللغة الأصلية، مما يعزز مواءمة لغوية أكثر اتساقًا عبر طبقات النموذج دون التضحية بالأداء.

يقر العمل بالقيود، مشيرًا إلى أنه يعتمد حاليًا على نموذج معلم واحد (DeepSeek-R1) لتوليد التلميحات، وأن المقايضات في الأداء عبر اللغات قد تنبع من عدم توازن بيانات ما قبل التدريب، مما يقترح أعمالًا مستقبلية في الاستراتيجيات المتمحورة حول البيانات.