GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek
تقدم هذه الورقة البحثية GreekMMLU، وهو معيار تقييمي شامل ومصدر من مصادر أصلية يتكون من أكثر من 21,000 سؤال من نوع الاختيار من متعدد عبر 45 موضوعاً، صُمم لمعالجة نقص أدوات التقييم الحقيقية لنماذج اللغة اليونانية وكشف فجوات أداء كبيرة بين النماذج الرائدة، والنماذج مفتوحة الأوزان، والنماذج المكيفة للغة اليونانية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من المعرفة، وبداخلها آلاف الكتب المكتوبة باللغة الإنجليزية. الآن، تخيل أنك تريد اختبار مدى ذكاء روبوت ذكاء اصطناعي جديد. تمنحه اختباراً بناءً على تلك الكتب الإنجليزية. إذا حصل على درجة عالية، تفكر قائلاً: "واو، هذا الروبوت عبقري!"
لكن، إليك المشكلة: ماذا لو أردت اختبار نفس الروبوت في الثقافة والتاريخ واللغة اليونانية؟
إذا أخذت الاختبار الإنجليزي وحولتته باستخدام آلة ترجمة إلى اللغة اليونانية، فقد لا يزال الروبوت يحصل على درجة عالية. لكن ليس لأن هذا لأنه يفهم اليونانية؛ بل لأنه بارع في التخمين بناءً على النسخة الإنجليزية التي يعرفها بالفعل. الأمر يشبه أن تطلب من شخص أن يلقي قصيدة بلغة لا يتحدثها، لكنه حفظ ترجمتها الإنجليزية ثم قرأ الكلمات بشكل عكسي. سيبدو وكأنه يعرف اللغة، لكنه لا يستوعب المعنى حقاً، أو النكات، أو الجوهر الثقافي.
هذه هي بالضبط المشكلة التي أراد مؤلفو هذه الورقة البحثية إصلاحها.
المشكلة: فخ "الترجمة"
لفترة طويلة، ولأجل اختبار الذكاء الاصطناعي في اللغة اليونانية، كان الباحثون يأخذون اختبارات إنجليزية ويترجمونها فقط. هذا يشبه محاولة تقييم قدرة طباخ على إعداد طعام يوناني أصيل عبر إعطائه وصفة مترجمة من الفرنسية. قد تكون المكونات موجودة، لكن النكهة خاطئة. فالذكاء الاصطناعي يفتقد للدقة، والطريقة المحددة التي يفكر بها اليونانيون حول تاريخهم، والتركيبة الفريدة للغتهم.
الحل: GreekMMLU (الاختبار "الأصيل")
قام الفريق بإنشاء GreekMMLU، وهو يشبه بناء اختبار يوناني جديد وأصيل من الصفر.
- من أين جاءت الأسئلة؟ بدلاً من ترجمة الإنجليزية، ذهبوا مباشرة إلى المصدر: امتحانات مدرسية يونانية حقيقية، واختبارات جامعية، وامتحانات ترخيص مهنية (مثل الأطباء أو المحامين)، وحتى اختبارات القيادة.
- ماذا يوجد بداخله؟ إنه مجموعة ضخمة تضم 21,805 سؤالاً تغطي 45 موضوعاً مختلفاً.
- العلوم والتكنولوجيا والهندسة والرياضيات (STEM): الرياضيات، الفيزياء، الأحياء.
- العلوم الإنسانية: الأساطـ اليونانية، التاريخ، الأدب.
- العلوم الاجتماعية: الاقتصاد، القانون، السياسة.
- أمور خاصة باليونان: أشياء لا يعرفها إلا المتحدث باليونانية، مثل قواعد القيادة في اليونان أو تفاصيل التقاليد الأرثوذكسية اليونانية.
- "السر المكنون": قاموا بتقسيم الأسئلة إلى مجموعتين. إحدى المجموعتين عامة (ليتمكن أي شخص من اختبار الذكاء الاصطناعي الخاص به)، والأخرى "سرية" تُحفظ في خزنة. هذا يمنع شركات الذكاء الاصطناعي من حفظ إجابات الاختبار عن طريق الخطأ قبل إجراء الاختبار (وهي مشكلة تسمى "تلوث البيانات").
التجربة الكبرى: من اجتاز الاختبار؟
أخذ المؤلفون أكثر من 80 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (سواء كانت مفتوحة المصدر ومجانية، أو مغلقة ومكلفة) وأعطوهم هذا الاختبار اليوناني. إليكم ما وجدوه، باستخدام بعض التشبيهات البسيطة:
"الأدمغة الكبيرة" مقابل "الأدمغة الصغيرة":
- نماذج الذكاء الاصطناعي الأكبر والأكثر قوة (مثل تلك التابعة لـ Google وOpenAI) أبلت بلاءً حسناً جداً. إنهم يشبهون الطلاب الذين قرأوا كل كتاب في المكتبة.
- أما النماذج الأصغر والمفتوحة المصدر فقد عانت. بعضها سجل درجات لا تزيد عن التخمين العشوائي. الأمر يشبه إعطاء اختبار فيزياء للمرحلة الثانوية لشخص لم ينهِ حتى المرحلة المتوسطة بعد.
"المتخصص" مقابل "العام":
- بعض نماذج الذكاء الاصطناعي هي نماذج "عامة" — تعرف القليل عن كل شيء في لغات عديدة.
- وبعضها نماذج "متخصصة" — تم تدريبها خصيصاً لتتحدث وتفهم اليونانية بشكل أفضل.
- النتيجة: المتخصصون هم الفائزون! النماذج التي تم ضبطها خصيصاً للغة اليونانية (مثل Llama-Krikri أو Meltemi) كان أداؤها أفضل بكثير من النماذج متعددة اللغات العامة من نفس الحجم. الأمر يشبه استئجار دليل سياحي محلي (متخصص) بدلاً من دليل تعلم اللغة فقط من كتاب تعليمات (عام). الدليل المحلي يعرف الطرق المختصرة والكنوز الخفية.
دفعة "التعليمات":
- وجدوا أنه إذا "علمت" الذكاء الاصطناعي كيفية خوض الاختبار (عبر إعطائه أمثلة لكيفية الإجابة)، فإنه يصبح أكثر ذكاءً. وهذا ما يسمى "ضبط التعليمات". إنه يشبه إعطاء طالب امتحاناً تجريبياً قبل الامتحان الحقيقي؛ حيث يؤدي بشكل أفضل بك كثيراً لأنه يفهم التنسيق.
لماذا يهم هذا؟
هذه الورقة البحثية هي بمثابة جرس إنذار. فهي توضح أن مجرد تحدث الذكاء الاصطناعي باليونانية، لا يعني بالضرورة أنه يفهم اليونانية.
- للباحثين: إنها تمنحهم مسطرة عادلة وصادقة لقياس مدى جودة الذكاء الاصطناعي في اللغة اليونانية.
- للمستقبل: إنها تشجع الشركات على التوقف عن مجرد ترجمة الاختبارات الإنجليزية والبدء في بناء اختبارات أصلية ولغاتها الأم لكل ثقافة. إذا أردنا أن يكون الذكاء الاصطناعي مفيداً حقاً لليونانيين، فعليه أن يفهم الثقافة اليونانية، وليس فقط الكلمات اليونانية.
باختصار: بنى المؤلفون اختباراً يونانياً حقيقياً وأصيلاً لمنع الذكاء الاصطناعي من "التظاهر بالمعرفة". وقد وجدوا أنه بينما تعد النماذج الضخمة ذكية، فإن تلك المدربة خصيصاً على الثقافة اليونانية هي الأبطال الحقيقيون للغة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.