Cross-Lingual Response Consistency in Large Language Models: An ILR-Informed Evaluation of Claude Across Six Languages
تقدم هذه الورقة إطار تقييم مبتكرًا باستخدام أوصاف مستويات المهارة الخاصة بالمعهد اللغوي الأمريكي (ILR) لتقييم اتساق "كلود" عبر اللغات في ست لغات، مما يكشف عن تباينات كبيرة تعتمد على المجال في الطول والأسلوب والمعايرة الثقافية، وهو ما يسلط الضرورة على الجمع بين المقاييس الآلية والتقدير النوعي للخبراء من أجل نشر عادل للذكاء الاصطناዊ متعدد اللغات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا للغاية ومتعدد اللغات يدعى "كلود". قمت بسؤاله نفس السؤال تمامًا بست لغات مختلفة: الإنجليزية، والفرنسية، والألمانية، والإسبانية، والإيطالية، والرومانية. قد تتوقع أن يعطيك الروبوت إجابات متطابقة في الجودة، والنبرة، والنكهة الثقافية، وكأنها مجرد ترجمة.
هذه الورقة البحثية تقول: لا، هذا ليس ما يحدث.
الكاتبة، كاميليا بالوتا، تشبه "محقق اللغات" الذي استخدم مجموعة خاصة من القواعد (تسمى إطار عمل ILR، والذي يُستخدم عادةً لتقييم المهارات اللغوية البشرية) للتحقيق في كيفية تصرف "كلود". لقد عاملت الروبوت كطالب يؤدي اختبارًا في ست لغات مختلفة لترى ما إذا كان يلعب بنزاهة.
إليك ما وجدته، مشروحًا ببعض التشبيهات من الحياة اليومية:
1. تأثير "الفرنسية الطويلة مقابل الألمانية الموجزة"
النتيجة: عندما سُئل نفس السؤال، كتبت النسخة الفرنسية من الروبوت إجابات أطول بنسبة 30% تقريبًا من النسخة الألمانية.
التشبيه: تخيل أنك تسأل مرشدًا سياحيًا في باريس ومرشدًا سياحيًا في برلين: "حدثني عن هذا المبنى". قد يروي لك المرشد الباريسي قصة طويلة ومتعرجة مليئة بالتفاصيل والتاريخ. بينما قد يعطيك المرشد البرليني الحقائق، والتاريخ، والمهندس المعماري، ثم يتوقف. كلاهما صحيح، لكن كمية المعلومات التي تحصل عليها تعتمد تمامًا على اللغة التي تتحدث بها.
2. الانقسام بين "الإبداعي والتقني"
التيجة: كانت إجابات الروبوت أكثر اختلافًا عندما طُلب منه أن يكون مبدعًا (مثل كتابة قصة) أو عاطفيًا. وكانت أكثر تشابهًا عندما طُلب منه تقديم حقائق تقنية أو قواعد لغوية.
التشبيه: فكر في الروبوت كأنه ممثل.
- الوضع التقني: عندما يُطلب منه شرح مسألة رياضية، يرتدي الممثل "زيًا رسميًا" ويتحدث بنفس النص في كل اللغات. إنه أمر ممل ولكنه متسق.
- الوضع الإبداعي: عندما يُطلب منه كتابة قصيدة عن المطر، يخلع الممثل الزي الرسمي. في اللغة الرومانية، قد يبدو المطر مثل "مدينة حية تتنفس". في الإنجليزية، قد يكون مجرد "غيوم رمادية". الروبوت لا يقوم بالترجمة فحسب؛ بل إنه "يشعر" بالقصة بشكل مختلف اعتمادًا على اللغة التي يتحدث بها.
3. "رقصة الغموض"
النتيجة: عندما كان السؤال غامضًا (مثلاً: "قالوا إنه لا ينبغي لنا المجيء. ماذا نفعل؟")، تفاعل الروبوت بشكل مختلف بناءً على العادات الثقافية.
التشبيه: تخيل مجموعة من الأصدقاء يحاولون حل لغز ما.
- الصديق الألماني: يقول: "لا يمكنني الإجابة حتى تخبرني بالضبط من هم 'هم'". (يحتاجون إلى الدقة).
- الصديق الإسباني/الإيطالي: يقول: "حسنًا، بافتراض أنهم يقصدون الجيران، إليك ما يجب عليك فعله..." (يقومون بملء الفراغات ليكونوا متعاونين).
- الصديق الفرنسي: يقول: "هذا موقف صعب وله احتمالات عديدة، ولكن إليك طريقة للتفكير فيه..." (يستمتعون بالغموض).
لقد قلد الروبوت هذه العادات الثقافية الواقعية بدقة.
4. "النقطة الثقافية العمياء" (المفاجأة الكبرى)
النتيجة: هذا هو الجزء الأكثر أهمية. كان الروبوت ذكيًا في بعض الأمور الثقافية، لكنه كان سيئًا في أمور أخرى.
- حيث كان ذكيًا: عندما طُلب منه كتابة قصة بالرومانية، استخدم قولًا شعبيًا رومانيًا محددًا عن الفطر والمطر لا تجده في كتاب إنجليزي. وعندما طُلب منه المساعدة باللغة الألمانية، قدم رقم هاتف ألماني محدد للأزمات.
- حيث كان "عامًا": عندما طُلب منه كيفية تكريم فرد متوفى من العائلة باللغة الرومانية، أعطى إجابة "غربية" عامة. لقد فاته الطقوس الدينية الرومانية المحددة (مثل parastas أو coliva) التي يعرفها شخص روماني حقيقي.
التشبيه: تخيل طباخًا يمكنه إعداد بيتزا إيطالية أصيلة ومثالية، وسوشي ياباني أصيل ومثالي. ولكن عندما تطلب منه تحضير يخنة رومانية تقليدية، فإنه يصنع فقط "حساءً" عامًا يمكن أن يكون من أي مكان. الروبوت لديه "جيوب ثقافية" — فهو يعرف بعض الأسرار الثقافية العميقة لكنه يفتقد أخرى، اعتمادًا على الموضوع.
5. لماذا هذا مهم (اختبار "الطبقتين")
النتيجة: استخدمت المؤلفة طريقة من خطوتين للعثور على هذه الإجابات.
- الطبقة الأولى (الآلة الحاسبة): قامت بعدّ الكلمات وقياس مدى تشابه النصوص. أخبرها هذا: "مهلًا، القصة الرومانية تبدو مختلفة جدًا عن الإنجليزية".
- الطبقة الثانية (الخبير): قرأت خبيرة بشرية (المؤلفة) الإجابات لتسأل: "هل هذا الاختلاف خطأ، أم أنه في الواقع اختيار ثقافي جميل؟"
التشبيه: يمكن للآلة الحاسبة أن تخبرك أن لوحتين لهما ألوان مختلفة. لكن الناقد الفني البشري وحده هو من يستطيع إخبارك ما إذا كانت إحدى اللوحات "مكسورة" أم أنها مجرد أسلوب فني مختلف. تجادل الورقة بأننا بحاجة إلى كل من الآلة الحاسبة والخبير البشري لفهم الذكاء الاصطناعي حقًا.
الخلاصة
تخلص الورقة إلى أن نماذج الذكاء الاصطناعي مثل "كلود" ليست مجرد "مترجمين". إنها حرباء ثقافية. فهي تغير شخصيتها، وطول إجابتها، وعمقها اعتمادًا على اللغة التي تتحدث بها. أحيانًا يكون هذا تكيفًا جميلاً (مثل القصة الرومانية)، وأحيانًا يكون فجوة (مثل تقاليد الجنازة الرومانية المفقودة).
تحذر المؤلفة من أننا إذا نظرنا فقط إلى درجات "التحقق من الحقائق"، فسنفوت هذه الاختلافات الدقيقة والمهمة. لبناء ذكاء اصطناعي عادل للجميع، نحتاج إلى الاستماع إلى كيفية تحدث الروبوت بكل لغة، وليس فقط التحقق مما إذا كان قد أصاب في الحقائق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.