Skill Issue: Are Skills Language-Invariant in LLMs?

تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء العديد من أدوات الذكاء الاصطناعي التي نستخدمها اليوم، وهي قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة بعشرات اللغات. لسنوات طويلة، عرف الباحثون أن هذه الأنظمة لا تؤدي بشكل متساوٍ في كل لغة؛ فقد يكون النموذج بارعاً في الإجابة على سؤال تاريخي باللغة الإنجليزية، لكنه قد يعاني لإيجاد الحقيقة نفسها عند سؤاله بالعربية أو الصينية. وعادة ما كان يُعزى هذا التفاوت إلى البيانات التي تدربت عليها النماذج، بافتراض أن بعض اللغات تتوفر لها معلومات أقل لتعليم الآلة. ومع ذلك، يطرح خط جديد من البحث سؤالاً أعمق: هل المشكلة تتعلق فقط بما يعرفه النموذج، أم بما يمكن للنموذج فعله حقاً؟ هل يمكن أن تمتلك نفس العقل الاصطناعي مجموعات مختلفة من المهارات اعتماداً على اللغة التي يتحدث بها، حتى عندما تظل المهمة نفسها ثابتة تماماً؟

وضع فريق من الباحثين حداً لهذا التساؤل عبر التعامل مع اللغة ليس كموضوع للدراسة، بل كمتغير في تجربة منضبطة. وقد لجأوا إلى مفهوم مألوف: اللعبة. فمن خلال وضع نسختين متطابقتين من نفس نموذج الذكاء الاصطناعي في ساحة رقمية ليلعبا ضد بعضهما البعض، خلقوا اختباراً مثالياً للمهارة. في هذا الإعداد، ظلت قواعد اللعبة، واللوحة، والبطاقات، والتحركات الممكنة ثابتة ومتطابقة لكلا اللاعبين. الشيء الوحيد الذي تغير هو اللغة المستخدمة لوصف الموقف. فقد تلقى أحد اللاعبين التعليمات ورأى حالة اللعبة باللغة الإنجليزية، بينما رأى خصمه نفس اللوحة والقواعد مترجمة إلى الألمانية أو العبرية أو الصينية أو غيرها من اللغات. ولأن النماذج كانت متطابقة وآليات اللعبة كانت ثابتة، فإن أي فرق في الفوز كان لا بد أن ينبع من الواجهة اللغوية نفسها، وليس من اختلاف في المعرفة أو الذكاء.

بنى الباحثون ميداناً ضخماً للاختبار يسمى امتداداً متعدد اللغات لمنصة ألعاب تُعرف باسم "TextArena"، مما سمح لهم بإجراء آلاف المباريات عبر ستة أنواع مختلفة من الألعاب. تراوحت هذه الألعاب من الألغاز المكانية البسيطة مثل "إكس أو" (Tic-Tac-Toe)، حيث يجب على اللاعبين تصور شبكة، إلى الألعاب الاستراتيجية المعقدة التي تتضمن تخصيص الموارد والمخاطرة (التمويه). واختبروا ثلاثة نماذج مختلفة مفتوحة المصدر، لكل منها حجم مماثل، حيث وضعوا كل نموذج في مواجهة نسخة من نفسه بثماني لغات مختلفة. وكشفت النتائج عن واقع مذهل: يمكن للنموذج نفسه أن يكون استراتيجياً بارعاً في لغة ما، ومبتدئاً أخرق في لغة أخرى. وفي بعض الحالات، كان النموذج الذي يلعب بالإنجليزية يهزم باستمرار نسخته التي تلعب بالعبرية أو العربية، ليس لأنه يعرف أكثر عن اللعبة، بل لأن اللغة نفسها بدت وكأنها تفتح أو تغلق قدرته على التفكير بوضوح.

كانت طبيعة هذه الإخفاقات محددة وكاشفة. ففي الألعاب التي تتطلب تفكيراً مكانياً، مثل توصيل الخطوط على شبكة، كثيراً ما ارتكبت النماذج التي تلعب بلغات تستخدم أبجديات غير لاتينية، مثل العربية أو العبرية، أخطاءً بدت وكأنها سوء فهم جوهري للوحة. فقد فشلت غالباً في رؤية خط فوز يمر بشكل قطري أو عمودي، وتعاملت مع الشبكة كما لو كانت الصفوف هي الشيء الوحيد الذي يهم. وفي ألعاب الحظ والاستراتيجية، مثل شكل مبسط من لعبة "البوكر"، تغيرت شخصيات النماذج بالكامل بناءً على اللغة. فقد يلعب النموذج بحذر وأمانة في لغة ما، بينما يصبح عدوانياً وعرضة للمخاطرة والتمويه في لغة أخرى، رغم أن البطاقات في يده كانت متطابقة. ووجد الباحثون أن هذه لم تكن أخطاء عشوائية؛ بل كانت تحولات منهجية في السلوك تعتمد كلياً على الكلمات المستخدمة في صياغة المشكلة.

ولعل الاكتشاف الأكثر إثارة للدهشة هو أن المشكلة لم تكن دائماً تتعلق باللغة التي يقرأها النموذج، بل باللغة التي يستخدمها للتفكير. ففي بعض التجارب، أبقى الباحثون تعليمات اللعبة بلغة أضعف، مثل الألمانية، لكنهم وجهوا النموذج للقيام بتفكيره الداخلي باللغة الإنجليزية. وقد سمح هذا التغيير البسيط للنموذج باستعادة الكثير من أدائه المفقود، مما يشير إلى أن الحاجز اللغوي لم يكن مجرد مشكلة ترجمة بل كان مشكلة معرفية. إذ يمكن للنموذج الوصول إلى كامل إمكاناته الاستراتيجية إذا سُمح له بـ "التفكير" بلغة أقوى، حتى أثناء لعبه بلغة أضعف. وهذا يشير إلى أن الواجهة اللغوية تؤثر على مراحل اتخاذ القرار، بدءاً من فهم الحالة الراهنة للعبة وصولاً إلى اختيار أفضل حركة.

كما بحثت الدراسة فيما إذا كان يمكن تفسير هذه الاختلافات من خلال كمية النصوص الموجودة على الإنترنت لكل لغة. وبينما صحيح أن اللغات التي تتوفر لها بيانات أكثر أدت أداءً أفضل عموماً، إلا أن هذا العامل لم يقل القصة كاملة. فقد سمحت بعض اللغات التي لديها بيانات قليلة نسبياً على الويب للنماذج باللعب بشكل جيد جداً، بينما أدت لغات أخرى ذات بيانات وفيرة إلى أداء سيئ. وهذا يشير إلى أن المشكلة ليست مجرد مسألة كمية المواد التدريبية، بل تتعلق بكيفية تعلم النموذج ربط المهارات عبر الأنظمة اللغوية المختلفة. وتوحي النتائج بأنه لكي يكون الذكاء الاصطناعي موثوقاً ومنصفاً حقاً، لا يمكن للمطورين ببساطة افتراض أن قدرات النموذج ثابتة عبر جميع اللغات. إن اللغة التي يتحدثها النموذج ليست مجرد نافذة على معرفته؛ بل هي عدسة يمكن أن تشوه مهاراته، وتغير طريقة رؤيته للعالم وكيفية لعبه للعبة.