Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages
تقدم هذه الورقة معياراً متعدد اللغات يعتمد على أطلس العالم لبنى اللغات لتقييم المعرفة الميتالينغويستية (الميتا-لغوية) لدى النماذج اللغوية الكبيرة، كاشفةً أن أداءها متوسط، ومجزأ، ويعتمد بشكل كبير على توافر الموارد الرقمية بدلاً من الكفاءة النحوية القابلة للتعميم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتاً فائق الذكاء يمكنه كتابة القصائد، وترجمة الوصفات، والدردشة حول الطقس بعشرات اللغات. قد تفترض حينها أن هذا الروبوت لغوي بارع، شخص يفهم حقاً كيف تعمل اللغة البشرية.
لكن هذه الورقة البحثية تطرح سؤالاً مخادعاً: هل يعرف الروبوت حقاً قواعد اللعبة، أم أنه مجرد بارع في التخمين بناءً على ما رآه من قبل؟
قرر المؤلفون اختبار ذلك عبر معاملة الروبوت كطالب يؤدي امتحاناً نهائياً في مادة "مبادئ القواعد 1_01" لكل العالم. إليكم قصة تجربتهم، مشروحة ببساطة.
1. الامتحان: مسابقة معلومات عالمية
لم يكتفِ الباحثون بطلب كتابة جملة من الروبوت، بل قدموا له اختباراً ضخماً من نوع الاختيار من متعدد يعتمد على موسوعة عملاقة تسمى WALS (أطلس بنية اللغات العالمي).
تخيل WALS كأنه فهرس مكتبة ضخم يسرد "القواعد" لـ 2,660 لغة مختلفة. يحتوي على حقائق مثل:
- "في اللغة الإنجليزية، تأتي الصفات قبل الأسماء (سيارة حمراء)."
- "في بعض اللغات، تستخدم صوتاً خاصاً لقول 'لا'."
- "في هذه اللغة، الكلمة التي تعني 'يد' و'ذراع' هي نفس الكلمة."
حول الباحثون هذه الحقائق إلى أسئلة: "كيف تعبر عن 'يد' و'ذراع' في اللغة (X)؟" مع أربعة خيارات للإجابة. طرحوا هذه الأسئلة على ثلاثة نماذج مختلفة من الذكاء الاصط_ناعي (واحد مدفوع فائق الذكاء، واثنان مفتوحا المصدر) للإجابة على هذه الأسئلة لكل لغة من لغات الأرض تقريباً.
2. النتائج: الروبوت هو "مطابق للأنماط"، وليس لغوياً
كانت النتائج بمثابة واقع صادم.
- الروبوت "الذكي" (GPT-4o): أجاب بشكل صحيح على حوالي 37% من الأسئلة.
- الروبوتات مفتوحة المصدر: أجابت بشكل صحيح على حوالي 25% من الأسئلة.
- خط الأساس لـ "التخمين العشوائي": لو أغمضت عينيك واخترت إجابة عشوائية، فستحصل على حوالي 23% صحيحة.
- خط الأساس لـ "الإجابة الأكثر شيوعاً": لو اخترت دائماً الإجابة الأكثر انتشاراً (مثلاً: "الصفة تأتي قبل الاسم" لأن هذا شائع في العديد من اللغات)، فستحصل على 54% صحيحة.
الخلاصة الكبرى: الروبوتات كانت أفضل من التخمين العشوائي، لكنها كانت أسوأ من مجرد تخمين النمط الأكثر شيوعاً.
التشبيه: تخيل طالباً يخوض اختباراً في التاريخ. إذا عرف الطالب أن "معظم الملوك في أوروبا ارتدوا تيجاناً"، فقد يخمن "الملك ارتدى تاجاً" لكل سؤال. قد يصيب في بعض الأسئلة بالصدفة، لكنه سيفشل عندما يكون السؤال عن ملك محدد ارتدى خوذة. الذكاء الاصطناعي يفعل الشيء نفسه: هو يعرف الاتجاهات العامة للعالم، لكنه لا يعرف القواعد المحددة للغات التي لم يرَ منها الكثير.
3. تأثير "بقعة الضوء الرقمية"
لاحظ الباحثون شيئاً مهماً للغاية يتعلق بـ أي اللغات كان الروبوت يعرفها بشكل أفضل.
- اللغات "المشهورة": كان الروبوت بارعاً في الإجابة على الأسئلة المتعلقة بالإنجليزية، والإسبانية، والفرنسية، والماندارين.
- اللغات "النادرة": عانى الروبوت بشدة مع اللغات التي تتحدث بها مجتمعات صغيرة أو اللغات التي ليس لها محتوى كبير على الإنترنت (مثل لغة "بورا" أو "إيموندا").
التشبيه: فكر في بيانات تدريب الذكاء الاصطناعي كـ بقعة ضوء.
- بالنسبة للغات مثل الإنجليزية، بقعة الضوء ساطعة لدرجة أنها تعمي الأبصار. لقد قرأ الذكاء الاصطناعي ملايين الكتب والمواقع والتغريدات عنها. هو يعرف القواعد لأنه رآها مليارات المرات.
- بالنسبة للغات ذات الموارد المنخفضة، بقعة الضوء بالكاد هي وميض ضئيل. الذكاء الاصطناعي رأى القليل جداً عنها. الأمر يشبه محاولة تخمين قواعد لعبة لم ترَ منها سوى صورة واحدة ضبابية.
وجدت الدراسة أنه كلما زاد "الحضور الرقمي" للغة (عدد مقالات ويكيبيديا، والنصوص عبر الإنترنت)، زاد أداء الذكاء الاصطناعي فيها. ليس الأمر أن الذكاء الاصطناعي أذكى طبيعياً في بعض اللغات؛ بل لأنه يمتلك "مواد دراسية" أكثر عنها.
4. لماذا يهم هذا الأمر؟
قد تتساءل: "وماذا في ذلك؟ لا يزال بإمكان الذكاء الاصطناعي كتابة قصيدة".
المشكلة هي أن الناس بدأوا يستخدمون هذه الأنظمة للمساعدة في إنقاذ اللغات المهددة بالانقراض. يريد علماء اللغويات استخدام الذكاء الاصطناعي للمساعدة في توثيق اللغات التي تختفي. ولكن إذا كان الذكاء الاصطناعي لا يعرف حقاً قواعد تلك اللغات، فقد يقدم نصائح خاطئة، أو يخلق قواعد وهمية، أو يفشل في المساعدة في الحفاظ على اللغة بدقة.
الخلاصة
هذه الورقة البحثية تشبه "تقرير الدرجات" لأذكى ذكاء اصطناعي في العالم. وهي تخبرنا:
- الذكاء الاصطناعي هو مُحاكٍ، وليس سيداً. هو ينسخ الأنماط التي يراها في بيانات تدريبه بدلاً من فهم المنطق العميق للغة.
- عدم المساواة متجذر في النظام. الذكاء الاصطناعي منحاز للغات المنتشرة بالفعل عبر الإنترنت. إنه "أميّ" في اللغات التي تحتاج إلى المساعدة أكثر من غيرها.
- نحن بحاجة إلى أدوات أفضل. أصدر المؤلفون "امتحانهم" (المعيار المرجعي) للجمهور حتى يتمكن الباحثون الآخرون من محاولة بناء ذكاء اصطناعي أفضل وأكثر عدلاً، يفهم حقاً التنوع اللغوي للعالم، وليس فقط الأغلبية الرقمية.
باخت-صار: الذكاء الاصطناعي هو طالب واسع الاطلاع، لكنه لم يقرأ سوى الكتب القادمة من دول قليلة. هو بحاجة للذهاب إلى مكتبة العالم بأكمله ليتعلم حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.