Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم النماذج اللغوية الكبيرة أحادية اللغة ومتعددة اللغات لأسئلة وأجوبة اللغة اليونانية: معيار DemosQA."

1. بيان المشكلة

على الرغم من التقدم السريع في النماذج اللغوية الكبيرة (LLMs)، لا يزال البحث منحازاً بشكل كبير نحو اللغات ذات الموارد العالية مثل الإنجليزية. وغالباً ما تعاني النماذج متعددة اللغات من:

• عدم التوازن في بيانات التدريب: تهميش اللغات ذات الموارد المحدودة (مثل اليونانية) في مجموعات البيانات التدريبية.
• التمثيل الثقافي الخاطئ: قد تفشل النماذج في استيعاب الفروق الاجتماعية والثقافية والتاريخية الدقيقة الخاصة بهذه اللغات.
• فجوات التقييم: هناك ندرة في المعايير الشاملة التي تم إعدادها بشرياً لأسئلة وأجوبة اللغة اليونانية، وخاصة تلك التي تعكس الخطاب المجتمعي الواقعي.
• القيود العتادية: يتطلب تقييم النماذج اللغوية الكبيرة عادةً وحدات معالجة رسومية (GPUs) عالية الأداء، مما يحد من إمكانية إعادة إنتاج البحث للباحثين ذوي الموارد المحدودة.

تعالج هذه الدراسة تحديداً نقص التقييم المنهجي لأسئلة وأجوبة اللغة اليونانية، وعدم اليقين بشأن ما إذا كانت النماذج مفتوحة الأوزان وأحادية اللغة يمكن أن تنافس النماذج متعددة اللغات المملوكة لشركات في هذا المجال.

2. المنهجية

أ. بناء مجموعة البيانات: DemosQA

قدم المؤلفون DemosQA، وهي مجموعة بيانات جديدة صُممت لالتقاط "الروح الاجتماعية والثقافية اليونانية".

• المصدر: تم جمع البيانات من منتدى r/greece على موقع Reddit.
• عملية التنقية:
  1. الجمع: استُخدمت مكتبة PRAW البرمجية لجمع المنشورات المصنفة كـ "أسئلة" (ερωτήσεις).
  2. التصفية: تم الاحتفاظ بالمنشورات التي حصلت على 5 إعجابات (upvotes) و5 إجابات على الأقل. حُذفت المنشورات المكررة، والمنشورات التي تحتوي على صور فقط، والمحتوى المخصص للبالغين.
  3. التنقيح البشري: قام الباحثون بمراجعة أفضل 10 إجابات حصلت على إعجاب يدوياً لإزالة خطاب الكراهية، والسخرية، والمحتوى غير ذي الصلة.
  4. التنسيق: تم بناء الأسئلة عن طريق دمج العناوين والنصوص الرئيسية. تم اختيار أربعة خيارات للإجابة يدوياً (بدلاً من الاعتماد فقط على عدد الإعجابات) لضمان الصلة، مع تحديد الإجابة الأعلى إعجاباً كإجابة نموذجية (ground truth).
  5. الحد من الانحياز: تم خلط خيارات الإجابات لمنع النماذج اللغوية من اختيار الخيار الأول افتراضياً.
• الإحصائيات النهائية: 600 زوج من الأسئلة والأجوبة المنقحة ضمن مجالات متنوعة (الحياة اليومية، التاريخ، السياسة، العلوم) ونصوص أطول وأكثر تعقيداً مقارنة بمجموعات البيانات الحالية.

ب. إطار التقييم

طور المؤلفون إطار تقييم فعال من حيث استهلاك الذاكرة يمكن تشغيله على أجهزة عادية (Intel i5، ذاكرة 64 جيجابايت، وحدة معالجة رسومية بذاكرة 12 جيجابايت).

• الكمّ (Quantization): استُخدمت تقنية الكمّ بنظام 4-بت (عبر bitsandbytes) لتقليل متطلبات ذاكرة الفيديو (VRAM) (على سبيل المثال، يتطلب نموذج بـ 7 مليارات معلمة حوالي 3.5 جيجابايت من ذاكرة الفيديو في نظام 4-بت مقابل 14 جيجابايت في نظام 16-بت) مع حد أدنى من فقدان الدقة.
• النماذج التي تم تقييمها: 11 نموذجاً لغوياً كبيراً (بين 7 إلى 12 مليار معلمة)، تشمل:
  • أحادية اللغة (المكيفة لليونانية): Llama Krikri 8B، Meltemi 7B.
  • متعددة اللغات: Gemma 2 9B، Llama 3.1 8B، Mistral NeMo 12B، EuroLLM 9B، Aya Expanse 8B، Teuken 7B، إلخ.
  • النموذج المرجعي المملوك لشركة: GPT-4o mini (عبر واجهة برمجة التطبيقات API).
• استراتيجيات التلقين (Prompting): تم اختبار ثلاث استراتيجيات متميزة:
  1. تلقين التعليمات (Instruction Prompt): تعليم مباشر باختيار أفضل إجابة.
  2. تلقين الدور (Role Prompt): تعيين دور محدد (مثل "أنت نموذج لغة يوناني") قبل التعليمات.
  3. سلسلة الأفكوت صفرية المحاولة (Zero-Shot CoT): توجيه النموذج للتفكير خطوة بخطوة قبل الإجابة.
• المقاييس: الدقة الكلية (Macro-accuracy) في مهام الأسئلة متعددة الخيارات.

ج. مجموعات البيانات المقارنة

تم تقييم DemosQA جنباً إلى جنب مع خمس مجموعات بيانات يونانية موجودة:

• Greek Medical MCQA (امتحانات طبية)
• Greek Truthful QA (التحقق من المفاهيم الخاطئة)
• BELEBELE (الفهم القرائي، مترجم من الإنجليزية)
• INCLUDE (امتحانات تعليمية)
• Greek ASEP MCQA (امتحانات الخدمة المدنية)

3. المساهمات الرئيسية

1. مجموعة بيانات DemosQA: أول مجموعة بيانات يونانية مراجعة مجتمعياً ومنقحة بشرياً مستمدة من وسائل التواصل الاجتماعي، توفر معياراً لنصوص يونانية واقعية ومرتبطة ثقافياً.
2. إطار تقييم فعال: مسار عمل قابل لإعادة الإنتاج يعتمد على الكمّ بنظام 4-بت، مما يتيح تقييم النماذج اللغوية الكبيرة على أجهزة استهلاكية دون تدهور كبير في الدقة.
3. تقييم شامل: أول مقارنة واسعة النطاق لـ 11 نموذجاً لغوياً كبيراً (أحادية ومتعددة اللغات) عبر 6 مجموعات بيانات يونانية متنوعة باستخدام ثلاث استراتيجيات تلقين.
4. الموارد المفتوحة: إصدار الكود والبيانات علناً لتسهيل إعادة الإنتاج والبحث المستقبلي في معالجة اللغات الطبيعية (NLP) لليونانية.

4. النتائج التجريبية

• الأداء المتفوق:
  • حقق GPT-4o mini أعلى دقة إجمالية، وتميز بشكل خاص في المجالات المتخصصة (الطبية، الخدمة المدنية، التعليم).
  • كان Llama Krikri 8B (أحادي اللغة اليونانية) و Gemma 2 9B (متعدد اللغات) هما الأفضل بين النماذج مفتوحة الأوزان.
  • طابق Llama Krikri 8B أو تجاوز GPT-4o mini في DemosQA و Greek Truthful QA، مما يثبت أن التكيف أحادي اللغة فعال للغاية للمهام العامة والمجتمعية.
• تأثير استراتيجية التلقين:
  • GPT-4o mini: قدم أفضل أداء مع تلقين التعليمات البسيط.
  • النماذج مفتوحة الأوزان: أظهرت تحسناً ملحوظاً مع تلقين الدور.
  • سلسلة الأفكوت (CoT): حسنت الأداء عموماً للنماذج ذات قدرات الاستدلال القوية، لكنها أدت إلى تدهور الأداء لمعظم النماذج مفتوحة الأوزان، ويرجع ذلك على الأرجوات إلى "الهلوسة" أثناء عملية الاستدلال.
• التخصص في المجالات: عانت النماذج مفتوحة الأوزان بشكل كبير في المجالات المتخصصة (الطبية، ASEP، INCLUDE) مقارنة بـ GPT-4o mini، مما يشير إلى أن هندسة التلقين لا يمكنها التعويض تماماً عن نقص المعرفة المتخصصة في المجال.
• متعدد اللغات مقابل أحادي اللغة: تفوقت النماذج أحادية اللغة اليونانية (Llama Krikri، Meltemi) عموماً على نظيراتها متعددة اللغات في المهام المحددة لليونانية، مما يؤكد الحاجة إلى التكيف اللغوي الخاص.

5. الأهمية والخاتمة

تسد هذه الدراسة فجوة حرجة في معالجة اللغات الطبيعية لليونانية من خلال توفير معيار قوي (DemosQA) وإثبات أن النماذج أحادية اللغة مفتوحة الأوزان يمكن أن تضاهي النماذج المملوكة للشركات في المهام ذات الصلة ثقافياً والمجتمعية.

• الصلة الثقافية: تسلط النتائج الضوء على أن النماذج المدربة خصيصاً على بيانات يونانية تلتقط الفروق الاجتماعية الدقيقة بشكل أفضل من النماذج متعددة اللغات العامة.
• سهولة الوصول: يعمل إطار العمل الفعال من حيث الذاكرة على دمقرطة تقييم النماذج اللغوية الكبيرة، مما يسمح للباحثين ذوي العتاد المحدود بالمساهمة في هذا المجال.
• الاتجاهات المستقبلية: يدعو المؤلفون إلى تدريب نماذج لغوية يونانية من الصفر على مجموعات بيانات متنوعة (بما في ذلك اللهجات والنصوص متعددة الأصوات) وتوسيع التقييم ليشمل مهام أخرى في معالجة اللغات الطبيعية مثل التلخيص.

تخلص الورقة إلى أنه بينما تتصدر النماذج المملوكة للشركات في المعرفة المتخصصة، فإن النماذج أحادية اللغة مفتوحة الأوزان تنافس بقوة في الأسئلة والأجوبة العامة والاجتماعية، بشرما يتم مراعاة نقاط قوتها المحددة (مثل تلقين الدور) عند التقييم.