Hidden Language Consistency Phenomena in Reasoning LLMs

تخيل أنك في فصل دراسي حيث يطلب المعلم من طالب حل مسألة رياضية صعبة، ولكن مع قاعدة محددة للغاية: "يجب أن تفكر بصوت عالٍ وتكتب إجابتك باللغة الإسبانية تماماً". في عالم الذكاء الاصطناعي، هذه "الطلاب" هي النماذج اللغوية الكبيرة (LLMs) — وهي برامج كمبيوتر ذكية جداً قرأت كل شيء تقريباً على الإنترنت. عندما نطلب منها حل مسائل صعبة، فإنها غالباً ما تستخدم تقنية تسمى "سلسلة الأفكار" (Chain-of-Thought)، وهي تشبه قيام الطالب بتدوين عملية تفكيره خطوة بخطوة قبل إعطاء الإجابة النهائية. لفترة طويلة، كان العلماء يهتمون فقط بما إذا كانت الإجابة النهائية صحيحة. لقد عاملوا عملية التفكير كأنها "صندوق أسود"، بافتراض أنه إذا كانت الإجابة صحيحة، فإن الطالب يفعل كل شيء بشكل صحيح. ولكن تماماً كما قد يبدأ طالب بشري فجأة بالتحدث بالفرنسية أو الإنجليزية أثناء محاولته حل مسألة باللغة الإسبانية، يمكن لهذه النماذج من الذكاء الاصطناعي أحياناً أن "تنزلق" وتنتقل إلى لغة أخرى في منتصف التفكير، حتى عندما نطلب منها صراحة عدم فعل ذلك. يبحث هذا البحث في ذلك تحديداً: ماذا يحدث عندما نطلب من طلاب الذكاء الاصطناعي هؤلاء حل مسائل رياضية أصعب فأصعب، وهل يحافظون على وعدهم بالالتزام باللغة، أم أنهم يصابون بالارتباك لدرجة تجعلهم يتحدثون لغة مختلفة تماماً؟

قرر الباحثون وراء هذه الدراسة وضع هؤلاء "الطلاب" من الذكاء الاصطناعي تحت الاختبار باستخدام امتحان رياضي خاص يسمى PolyMath، والذي يغطي ثماني لغات مختلفة وأربعة مستويات من الصعوبة، تتراوح من رياضيات المدرسة البسيطة إلى أصعب الألغاز على مستوى الأولمبياد. لقد فحصوا خمسة نماذج مختلفة من نماذج "الاستدلال" (الذكاء الاصطناعي المصمم للتفكير بعمق) وثلاثة نماذج "غير استدلالية" (الذكاء الاصطناعي القياسي) لمعرفة كيفية تعاملها مع المهمة. وما اكتشفوه يشبه مراقبة طالب يصاب بالذعر تحت الضغط. فقد وجدوا أنه كلما زادت صعوبة المسائل الرياضية، لم تصبح النماذج أسوأ في الرياضيات فحسب، بل غالباً ما أصبحت أسوأ في الالتزام باللغة التي كان من المفترض استخدامها.

كشفت الدراسة عن أربع طرق متميزة لحدوث هذا "الانزلاق" اللغوي. أحياناً، يكون النموذج بمستوى "نجم متألق" ويظل في اللغة الصحيحة مهما بلغت صعوبة المسألة. وفي أحيان أخرى، يكون "متمرداً" تماماً ويرفض استخدام اللغة المطلوبة منذ البداية، متمسكاً بلغته الداخلية المفضلة (عادة الإنجليزية) بغض النظر عن أي شيء. والمجموعة الثالثة تبدأ بقوة ولكنها تفقد تركيزها ببطء، حيث تنزلق نحو لغة أخرى مع اشتداد صعوبة المسائل. لكن الاكتشاف الأكثر إثارة للدهشة هو المجموعة الرابعة: هذه النماذج تعمل بشكل مثالي مع المسائل السهلة والمتوسطة، ولكن في اللحظة التي تصل فيها إلى مستوى صعوبة "متوسط"، تنهار فجأة وبشكل كامل، وتنتقل إلى لغة أخرى بشكل مفاجئ. وقد أطلق المؤلفون على هذا "تأثير انهيار الاتساق اللغوي".

وهنا تكمكم الحبكة التي تجعل الأمر مثيراً للاهتمام حقاً: وجدت الورقة البحثية أن هذا التحول اللغوي ليس دائماً أمراً سيئاً بالنسبة للنتيجة. ففي بعض الحالات، عندما توقف النموذج عن محاولة التفكير باللغة المطلوبة (مثل التيلجو أو السواحيلية) وانتقل إلى لغة "منطقة الراحة" الخاصة به (مثل الإنجليزية)، فإنه في الواقع حصل على إجابات صحيحة أكثر، رغم أن المسألة كانت أصعب. الأمر يشبه أن يتوقف الطالب عن محاولة حل المسألة بالإسبانية، وينتقل إلى الإنجليزية، وفجأة يحصل على الإجابة الصحيحة. هذا يعني أنه إذا نظرت فقط إلى النتيجة النهائية، فقد تعتقد أن الذكاء الاصطناعي يصبح أكثر ذكاءً، بينما في الواقع، هو قد استسلم فقط لتعليمات اللغة الخاصة بك.

كما اختبر الباحثون ما يحدث عندما نقوم بـ "ضغط" هذه النماذج لجعلها تعمل بشكل أسرع على الأجهزة الأصغر (عملية تسمى التكميم - quantization). ووجدوا أن هذا الضغط هو نوع من المقامرة. فأحياناً يساعد النموذج على الالتزام باللغة الصحيحة، وأحياناً أخرى يجعله ينتقل إلى لغات أخرى بشكل أسرع، وهذا يحدث بشكل مستقل عما إذا كانت الإجابات الرياضية تتحسن أم تسوء. على سبيل المثال، وجدت طريقة تسمى GPTQ أنها ساعدت النماذج غالباً على الحفاظ على اتساقها اللغوي بشكل أفضل من طريقة أخرى تسمى AutoRound، رغم أن AutoRound كانت أفضل في الحفاظ على صحة الإجابات الرياضية.

باختصار، تجادل هذه الورقة البحثية بأنه لا يمكننا مجرد النظر إلى ما إذا كان الذكاء الاصطناعي يحصل على الإجابة الصحيحة للحكم على جودة كونه متعدد اللغات. يجب علينا مراقبة كيف يفكر وما هي اللغة التي يستخدمها أثناء التفكير. إذا لم نفعل ذلك، فقد نغفل عن حقيقة أن الذكاء الاصطناعي يتحدث سراً لغة أخرى لحل المسألة، أو أنه يتخلى فجأة عن لغتك تماماً عندما تشتد الأمور. تشير الدراسة إلى أنه لكي يكون الذكاء الاصطناعي موثوقاً حقاً في عالم متعدد اللغات، نحتاج إلى قياس ليس فقط الدرجة النهائية، بل أيضاً ما إذا كان الطالب قد اتبع بالفعل قواعد اللغة الخاصة بالامتحان.