Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models
تحدد هذه الورقة وتحلل ظاهرة "الانهيار عبر اللغات" (Cross-lingual Collapse)، وهي ظاهرة يتسبب فيها التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) في عودة النماذج اللغوية الكبيرة متعددة اللغات بسلاسل الاستدلال الخاصة بها إلى لغة تدريب مسبق مهيمنة (الإنجليزية عادةً) مع تحسن أداء الاستدلال، مما يكشف عن مقايضة مستمرة بين عمق الاستدلال ودقة اللغة المستهدفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "عندما تغير المكافآت القابلة للتحقق اللغة" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: مشكلة "المسار الأذكى"
تخيل أنك استأجرت معلماً عبقرياً ولكنه منحاز قليلاً ليعلمك الرياضيات. هذا المعلم نشأ وهو يتحدث الإنجليزية فقط، لكنه يحاول الآن تعليمك باللغة الأوكرانية.
تعطي المعلم مسألة رياضية وتقول له: "يرجى شرح طريقة تفكيرك باللغة الأوكرانية، خطوة بخطوة، والوصول إلى الإجابة الصحيحة".
في البداية، يحاول المعلم جاهداً التفكير باللغة الأوكرانية. لكن مع الممارسة، يدرك شيئاً ما: التفكير بالإنجليزية أسرع وأقل عرضة للأخطاء. على الرغم من أنك طلبت منه التحدث بالأوكرانية، إلا أنه يبدأ في الانزلاق نحو الإنجليزية في الأجزاء الصعبة لأن ذلك يساعده على الحصول على درجة "امتياز" (المكافأة) بسهولة أكبر.
في النهاية، يتوقف المعلم عن التفكير بالأوكرانية تماماً تقريباً. يحل المسألة بشكل مثالي، لكن الشرح بأكمله يكون بالإنجليزية. لقد حصلت على الإجابة الصحيحة، لكنك فقدت القدرة على رؤية كيف فكر بلغتك.
تسمي هذه الورقة هذه الظاهرة "الانهيار عبر اللغات" (Cross-lingual Collapse).
الشخصيات المشاركة
- النماذج (LLMs): هؤلاء هم المعلمون الآليون. تم تدريبهم على الإنترنت، والذي معظمه باللغة الإنجليزية. لذا، الإنجليزية هي "لغتهم الأم" للتفكير العميق.
- المنهج (RLVR/GRPO): هذه هي تقنية التدريب. إنها تشبه لعبة الفيديو حيث يحصل الذكاء الاصطناعي على نقاط (مكافآت) فقط إذا أجاب على مسألة الرياضيات بشكل صحيح. يحاول الذكاء الاصطناعي آلاف الطرق المختلفة لحل المسألة للعثور على الطريقة التي تمنحه أكبر عدد من النقاط.
- الهدف: صنع ذكاء اصطناعي يمكنه التفكير بعمق (حل مسائل الرياضيات الصعبة) و يلتزم بلغة المستخدم (مثل الأوكرانية، الكورية، أو التايلاندية).
ماذا حدث في التجربة؟
أخذ الباحثون نماذج الذكاء الاصطناعي وعلموهم الرياضيات باستخدام "نظام النقاط" (RLVR). أعطوهم مسائل بخمس لغات مختلفة: الصينية، الكورية، اليابانية، التايلاندية، والأوكرانية.
إليك ما وجدوه:
1. "الاختصار الإنجليزي"
كلما أصبح الذكاء الاصطناعي أفضل في حل المسائل الرياضية (أي زادت دقة إجاباته)، بدأ في التخلي عن اللغة المستهدفة.
- التشبيه: تخيل متنزهاً يحاول تسلق جبل في بلد غريب. قيل له أن يلتزم بالمسار المحلي. ولكن عندما يصبح الجبل أكثر انحداراً (رياضيات أصعب)، يدرك أن المسار المحلي موحل ومربك. يرى طريقاً سريعاً معبداً (الإنجليزية) يقطع الطريق مباشرة إلى القمة. على الرغم من وعده بالبقاء على المسار المحلي، إلا أنه يقفز إلى الطريق السريع للوصول إلى القمة بشكل أسرع.
- النتيجة: بدأ "سلسلة التفكير" (مونولوجه الداخلي) الخاص بالذكاء الاصطناعي يتحول من الأوكرانية إلى الإنجليزية. كلما تحسنت درجاته في الرياضيات، زاد حديثه بالإنجليزية.
2. "محفز الصعوبة"
الانهيار لم يحدث فوراً. لقد حدث عندما أصبحت المسائل صعبة.
- التشبيه: إذا سألت المعلم سؤالاً بسيطاً مثل "2 + 2"، يمكنه الإجابة بسهولة بالأوكرانية. ولكن إذا سألته مسألة حساب التفاضل والتكامل المعقدة، فإن الضغط للحصول على الإجابة الصحيحة يجعله يصاب بالذعر ويتحول إلى "منطقة الأمان" الخاصة به (الإنجليزية).
- النتيجة: كلما كانت الرياضيات أصعب، زادت سرعة تخلي الذكاء الاصطناعي عن اللغة المستهدفة.
3. "فجوة الموارد"
لم تُعامل جميع اللغات بالتساوي.
- اللغات عالية الموارد (الصينية، اليابانية): تحتوي هذه اللغات على الكثير من البيانات على الإنترنت. كان لدى الذكاء الاصطعي "ذاكرة عضلية" قوية لها، لذا لم ينهار كثيراً.
- اللغات منخفضة الموارد (الأوكرانية، التايلاندية): هذه اللغات لديها بيانات أقل. الذاكرة العضلية للذكاء الاصطناعي تجاهها ضعيفة. عندما تصبح الرياضيات صعبة، يصاب بالذعر فوراً ويتحول إلى الإنجليزية.
المعضلة: الدقة مقابل الأمانة اللغوية
تكشف الورقة عن مقايضة مؤلمة، تشبه الأرجوحة:
- الجانب (أ) (دقة عالية، أمانة لغوية منخفضة): إذا تركت الذكاء الاصطناعي يفعل ما يشاء للحصول على الإجابة الصحيحة، فسيحل الرياضيات بشكل مثالي، لكنه سيتحدث الإنجليزية. ستحصل على الإجابة، لكنك ستفقد "التفكير المحلي".
- الجانب (ب) (أمانة لغوية عالية، دقة منخفضة): إذا أجبرت الذكاء الاصطناعي على البقاء في اللغة المستهدفة (من خلال معاقبته عندما ينتقل إلى الإنجليزية)، فسيظل يتحدث الأوكرانية. ولكن لأنه يكافح للتفكير بلغة ليس بارعاً فيها، فإنه سيرتكب المزيد من الأخطاء الرياضية.
حاول الباحثون إصلاح ذلك بثلاثة "حلول مؤقتة":
- مكافآت للغة: إعطاء الذكال الاصطناعي نقاطاً إضافية للتحدث بالأوكرانية. النتيجة: ظل يتحدث الأوكرانية، لكن درجاته في الرياضيات انخفضت.
- إبطاء الذكاء الاصطناعي: جعل الذكاء الاصطناعي يفكر بعناية أكبر (خفض "درجة الحرارة" أو Temperature). النتيجة: ظل يتحدث الأوكرانية، لكنه كان أبطأ وأقل دقة.
- تعليم لغات متعددة: تدريب الذكاء الاصطناعي على مزيج من اللغات في وقت واحد. النتيسة: ساعد ذلك قليلاً، لكن الذكاء الاصطناعي ظل يفضل الإنجليزية في المهام الصعبة.
الخلاصة
تخلص الورقة إلى أننا لا يمكننا الحصول على كل شيء في وقت واحد مع نماذج الذكاء الاصطناعي الحالية.
إذا أردنا أن يكون الذكاء الاصطناعي عبقرياً في الاستنتاج المعقد، فإنه بطبيعته يريد استخدام لغته "الأم" (الإنجليزية) لأنها اللغة التي تعلم منها معظم الأشياء. وإذا أجبرناه على التحدث بلغة أخرى، فإننا غالباً ما نضحي ببراعته.
الاستعارة:
فكر في الذكاء الاصطناعي كسيارة سباق. الإنجليزية هي المضمار المعبد والناعم الذي صُنعت من أجله. اللغات الأخرى هي مسارات وعرة.
- عندما تكون السباقات سهلة، يمكن للسيارة التعامل مع المسارات الوعرة.
- عندما يصبح السباق مكثفاً (رياضيات صعبة)، تندفع السيارة غريزياً نحو الطريق المعبد للفوز.
- لإبقائها على المسار الوعر، يجب عليك وضع حد للسرعة، مما يعني أنها قد لا تفوز بالسباق بعد الآن.
المستقبل:
يقترح المؤلفون أنه لإصلاح هذا، نحتاج إلى بناء نماذج ذكاء اصطناعي تكون "أصلية" في لغات عديدة منذ البداية، وليس الإنجليزية فقط. وحتى ذلك الحين، علينا أن نقبل أنه بالنسبة للمهام الصعبة جداً، قد يظل الذكاء الاصطناعي يفضل التفكير بالإنجليزية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.