ملخص تقني: الحقيقة لا تعرف لغة: تقييم الصدق وراء حدود اللغة الإنجليزية

بيان المشكلة

اقتصر تقييم الصدق في النماذج اللغوية الكبيرة (LLMs) بشكل أساسي على اللغة الإنجليزية، وذلك باستخدام معيار TruthfulQA بشكل رئيسي. وبينما يعد TruthfulQA المعيار المعتمد لتقييم كيفية محاكاة النماذج اللغوية الكبيرة للأخطاء البشرية، فإن حصره في اللغة الإنجليزية يحد من فهم ما إذا كانت هذه النماذج تحافظ على صدقها عبر اللغات المختلفة، وخاصة اللغات ذات الموارد المنخفضة. كانت المحاولات الحالية لترجمة مجموعة البيانات غير رسمية (ترجمة آلية) بدلاً من أن تكون احترافية، مما يفتقر إلى تقييم صارم لمدى فائدة مجموعة البيانات للغات غير الإنجليزية. علاوة على ذلك، هناك حاجة لتحديد ما إذا كان السياق الثقافي والزمني المتأصل في الأسئلة الإنجليزية الأصلية يؤثر على تقييمات الصدق عند الترجمة، وما إذا كانت مقاييس التقييم التلقائي الحالية (مثل الاختيار من متعدد) كافية للتقييم العابر للغات للصدق.

المنهجية

تقدم هذه الدراسة امتداداً مترجماً باحترافية لمعيار TruthfulQA إلى أربع لغات هي: الباسكية، والكتالونية، والجاليكية، والإسبانية. تضمنت عملية الترجمة متحدثين أصليين محترفين والتزمت بإرشادات محددة للحفاظ على التوازي مع التعامل مع الفروق الثقافية الدقيقة (مثل الترجمة الحرفية للأمثال، واستعارة الاختصارات، وتعميم المصطلحات الخاصة بالثقافة).

الإعداد التجريبي

قيم المؤلفون 12 نموذجاً لغوياً كبيراً مفتوح المصدر من أحدث الطرازات من عائلتي Llama 3/3.1 و Gemma 2، تتراوح أحجامها من 7 مليار إلى 70 مليار معلمة. تم اختبار كل من النسخ الأساسية (Base) والنسخ الموجهة للتعليمات (Instruction-tuned).

تم استخدام ثلاث طرق للتقييم:

1. التقييم البشري: تقييم يدوي لـ 400 استجابة (100 سؤال × 4 نماذج) من حيث الصدق والإخبارية باستخدام تسميات ثنائية.
2. الاختيار من متعدد (MC2): المقياس التلقائي القياسي المستخدم في لوحات الصدارة، والذي يحسب احتمالية الإجابات الصحيحة مقابل الإجابات الخاطئة.
3. النموذج اللغوي كحكم (LLM-as-a-Judge): تقييم توليد تلقائي حيث يقوم نموذج حكم مضبوط بدقة (تحديداً Gemma 2 9B Instruct، المدرب على بيانات مترجمة آلياً) بتقييم صدق الاستجابات المولدة. تم اختيار هذه الطريقة بناءً على ارتباطها العالي بالأحكام البشرية.

بالإضافة إلى ذلك، قارنت الدراسة مجموعة البيانات المترجمة احترافياً بنسخة تم إنشاؤها عبر الترجمة الآلية (MT) باستخدام Claude 3.5 Sonnet لتقييم جدوى الترجمة الآلية لتوسيع نطاق معايير الصدق. كما تم تحليل مجموعة البيانات عن طريق تقسيم الأسئلة إلى فئات عالمية (مستقلة عن الزمان/السياق) وفئات مرتبطة بالسياق/الزمن.

المساهمات الرئيسية

1. مجموعة بيانات TruthfulQA متعددة اللغات: أول نسخة مترجمة احترافياً من TruthfulQA تغطي اللغات الباسكية والكتالونية والجاليكية والإسبانية، مما يعالج الفجوة في تقييم اللغات ذات الموارد المنخفضة.
2. إطار التقييم: مقارنة شاملة لطرق التقييم، توضح أن طريقة "النموذج اللغوي كحكم" ترتبط بشكل أكبر مع الأحكام البشرية من مقاييس الاختيار من متعدد (MC2) عبر جميع اللغات.
3. تحليل الإخبارية: تحديد أن النماذج الأساسية غالباً ما تنتج استجابات غير إخبارية (مثل "ليس لدي تعليق")، مما يرفع درجات الصدق بشكل مصطنع في المقاييس القياسية. تسلط الدراسة الضوء على ضرية تقييم الإخبارية بشكل منفصل، خاصة للنماذج الأساسية.
4. جدوى الترجمة: أدلة تشير إلى أن الترجمة الآلية عالية الجودة هي بديل قابل للتوسع والجدوى للترجمة الاحترافية لتوسيع معايير الصدق للغات إضافية، بشرياً ما كان محرك الترجمة متطوراً.

النتائج

• التفاوتات اللغوية: تؤدي النماذج اللغوية الكبيرة أفضل أداء عموماً في الإنجليزية وأسوأ أداء في الباسكية (اللغة ذات الموارد الأقل). ومع ذلك، فإن التفاوت الإجمالي في درجات الصدق عبر اللغات أصغر مما كان متوقعاً.
• أداء النماذج:
  • النماذج الموجهة للتعليمات تتفوق باستمرار على النماذج الأساسية في الصدق.
  • النماذج الأكبر (مثل 70B) تميل إلى التفوق على نظيراتها الأصغر ضمن نفس العائلة، وهو ما يتناقض مع بعض النتائج السابقة حيث لم يرتبط حجم النموذج بالصدق.
  • أظهرت نماذج Gemma 2 صدقاً متفوقاً مقارنة بنماذج Llama 3 عبر اللغات.
• مقاييس التقييم: أظهرت طريقة "النموذج اللغوي كحكم" توافقاً أعلى مع المقيمين البشريين (معامل كوهين كابا) من مقياس MC2. ومن الملاحظ أن الحكم المدرب على بيانات إنجليزية كان يعمل بشكل أفضل من MC2 حتى عند تقييم لغات غير إنجليزية، رغم أن الحكم المدرب على بيانات متعددة اللغات كان هو الأفضل أداءً.
• الأسئلة العالمية مقابل السياقية: تؤدي النماذج أداءً أفضل بكثير في أسئلة المعرفة العالمية (تقترب من 90% دقة) مقارنة بالأسئلة المرتبطة بالزمن والسياق. يشير هذا إلى أن المعايير الثابتة التي تفتقر إلى التنوع السياقي قد تؤدي إلى تشبع الأداء وتفشل في عكس تحديات المعلومات المضللة في العالم الحقيقي.
• الترجمة الآلية: أكدت الاختبارات الإحصائية عدم وجود فرق معنوي في درجات الصدق بين مجموعة البيانات المترجمة احترافياً والمترجمة آلياً، مما يدعم استخدام الترجمة الآلية لتوسيع مجموعات البيانات.

الأهمية والادعاءات

يزعم البحث أنه بينما تظل الإنجليزية هي اللغة التي تظهر فيها النماذج اللغوية الكبيرة أعلى مستويات الصدق والتماسك، فإن الفجوة بين الإنجليزية واللغات الأخرى ليست شاسعة كما كان يُخشى سابقاً. تتحدى الدراسة الافتراض القائل بأن مقاييس الاختيار من متعدد كافية لتقييم الصدق، وتدعو إلى مناهج "النموذج اللغوي كحكم" التي تلتقط بشكل أفضل الفروق الدقيقة في النص المولد.

يؤكد المؤلفون أن الإخبارية هي عامل حاسم وغالباً ما يتم تجاهله؛ فبدونها يمكن أن تكون مقاييس الصدق للنماذج الأساسية مضللة للغاية بسبب الاستجابات غير الملزمة. علاوة على ذلك، تشير النتائج إلى أن الأسئلة العالمية أصبحت سهلة بشكل متزايد للنماذج الحديثة للإجابة عليها بشكل صحيح، مما يوحي بأن معايير الصدق المستقبلية يجب أن تدمج التباين الثقافي والزمني لتبقى صارمة وذات صلة.

أخيراً، يفترض البحث أن الترجمة الآلية توفر مساراً قابلاً للتوسع ومنخفض التكلفة لتوسيع معايير الصدق لتشمل مجموعة أوسع من اللغات، مما قد يساهم في دمقرطة تقييم سلامة وموثوقية النماذج اللغوية الكبيرة خارج عالم المتحدثين بالإنجليزية. ومع ذلك، يشير المؤلفون بتواضع إلى قيود تتعلق بالنطاق المحدد للغات الإيبيرية والطبيعة الثابتة لمجموعة البيانات، والتي قد لا تستوعب بالكامل المعلومات المضللة الديناميكية في العالم الحقيقي.