Assessing LLM Reliability on Temporally Recent Open-Domain Questions

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم موثوقية النماذج اللغوية الكبيرة (LLMs) في الأسئلة مفتوحة المجال ذات الصلة زمنياً".

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في الإجابة على الأسئلة مفتوحة المجال (QA)، ومع ذلك، لا تزال موثوقيتها فيما يتعلق بـ المعلومات الحديثة زمنياً غير مستكشفة بشكل كافٍ. تعتمد معظم التقييمات الحالية على معايير ثابتة (مثل TriviaQA وNatural Questions) تحتوي على حقائق راسخة، مما يفشل في التقاط الفروق الدقيقة للمعرفة المجتمعية المتطورة والأحداث الجارية.

يتمثل التحدي الجوهري في تحديد مدى توافق النماذج اللغوية الكبيرة مع المنظور البشري بشأن المواضيع الحديثة التي قد تكون بيانات تدريبها غائبة أو غير مكتملة. علاوة على ذلك، هناك نقص في الإجماع حول كيفية تقييم هذه النماذج: فالمقاييس اللفظية التقليدية (مثل BLEU) غالباً ما تعاقب إعادة الصياغة الصحيحة، بينما قد تحجب المقاييس الدلالية التناقضات الواقعية. تبحث هذه الورقة في التوافق بين مخرجات النماذج اللغوية الكبيرة والإجماع المستمد من المجتمع بشأن أسئلة "ريديت" (Reddit) الحديثة.

2. المنهجية

مجموعة البيانات: RECOM (تقييم ريديت لمطابقة النماذج)

قدم المؤلفون مجموعة بيانات مرجعية جديدة تتكون من 15,000 سؤال تم استخراجها من منتدى r/AskReddit في سبتمبر 2025.

• جمع البيانات: تم جمع 132,728 منشوراً، وتصفيتها بناءً على التفاعل (التعليقات/الردود)، واختيار أفضل 25,000 منها.
• بناء المرجع: بدلاً من إجابة واحدة "ذهبية"، قام المؤلفون بتجميع ردود بشرية متعددة لكل سؤال. تم تلخيص هذه الردود في إجابة مرجعية واحدة باستخدام نموذج Llama-3.1-8B عبر أمر تلخيص محدد. يلتقط هذا النهج وجهات النظر المجتمعية المتنوعة بدلاً من رؤية مُقيّم واحد.
• المجموعة النهائية: بعد تصفية حالات رفض النموذج (مثل "أنا نموذج ذكاء اصطناعي")، احتوت مجموعة التقييم النهائية على 11,515 زوجاً من (السؤال-الاستجابة).

النماذج التي خضعت للتقييم

تم اختبار أربعة نماذج لغوية كبيرة مفتوحة المصدر باستخدام معاملات الاستدلال الافتراضية عبر Ollama:

1. Gemma-2-9B (9 مليارات معلمة)
2. GPT-OSS-20B (20 مليار معلمة)
3. Llama-3.1-8B (8 مليارات معلمة)
4. Mistral-7B (7 مليارات معلمة)

إطار التقييم

استخدمت الدراسة إطار تقييم متعدد الأبعاد لتقدير التوافق عبر أربع طبقات متميزة:

1. التداخل اللفظي: مقاييس BLEU-1 إلى BLEU-4 وROUGE-1/2/L F1 لقياس تطابق الكلمات على المستوى السطحي.
2. التشابه الدلالي:
   • BERTScore: مطابقة الرموز السياقية باستخدام تضمينات RoBERTa-large.
   • تشابه جيب التمام (Cosine Similarity): المحاذاة على مستوى المستند باستخدام متوسط التضمينات (mean-pooled embeddings).
   • MoverScore: التشابه الدلالي المحسوب عبر النقل الأمثل (Earth Mover's Distance) لمراعاة تكلفة نقل الكتلة الدلالية بين توزيعات الرموز.
3. الاستدلال المنطقي (NLI): استخدام facebook/bart-large-mnli لتصنيف العلاقات بين مخرجات النموذج والمراجع كـ استلزام (Entailment)، أو تناقض (Contradiction)، أو حياد (Neutral).
4. التحليل الإحصائي: اختبارات ويلكوكسون (Wilcoxon signed-rank tests) للأهمية، ومعامل كوهين (Cohen's d) لحجم التأثير.

3. المساهمات الرئيسية

1. مجموعة بيانات مبتكرة: تقديم RECOM، وهي مجموعة بيانات واسعة النطاق لأسئلة واقعية حديثة زمنياً مقترنة بإجابات مرجعية قائمة على الإجماع.
2. اكتشاف مفارقة الدلالة واللفظ: تحدد الورقة تباعداً هائلاً حيث تحقق النماذج توافقاً دلالياً شبه مثالي (أكثر من 99% في تشابه جيب التمام) رغم التداخل اللفظي المنخفض للغاية (أقل من 8% في BLEU-1).
3. استقلالية الحجم: إثبات أن عدد معلمات النموذج لا يرتبط بالأداء؛ حيث تفوقت النماذج الأصغر (7B) على النماذج الأكبر (20B).
4. دقة المقاييس: التحقق من صحة MoverScore كمقياس وسيط يجسّر الفجوة بين المطابقة اللفظية الصارمة والتشابه الدلالي الشامل، مما يوفر رؤية أكثر دقة للتوافق الدلالي.

4. النتائج الرئيسية

مفارقة الدلالة واللفظ

النتيجة الأكثر إثارة هي الفجوة التي تبلغ حوالي 90 نقطة مئوية بين المقاييس الدلالية واللفظية:

• تشابه جيب التمام (Cosine Similarity): حققت جميع النماذج توافقاً بنسبة >99% مع المراجع.
• BLEU-1: سجلت جميع النماذج <8% (تتراوح بين 0.57% و7.58%).
• التفسير: تحافظ النماذج على المعنى من خلال إعادة صياغة واسعة النطاق بدلاً من إعادة إنتاج الألفاظ. التشابه الدلالي العالي لا يعني بالضرورة تطابقاً سطحياً للنصوص.

أداء النماذج والحجم

• الترتيب: تفوق نموذج Mistral-7B باستمرار على جميع النماذج الأخرى في جميع المقاييس، يليه Llama-3.1-8B.
• شذوذ الحجم: أدى نموذج GPT-OSS-20B (20 مليار معلمة) إلى أداء أقل من النموذجين 7B و8B. وهذا يتحدى الافتراض بأن زيادة عدد المعلمات تؤدي تلقائياً إلى توافق أفضل في المهام مفتوحة المجال والتجريدية.
• Gemma-2-9B: جاء في ذيل القائمة في المقاييس اللفظية، رغم أن التوافق الدلالي كان مشابهاً للآخرين.

الاستدلال المنطقي (NLI)

• هيمنة الحياد: تم تصنيف 86-90% من الاستجابات كـ "حيادية"، مما يعني أن النموذج أنتج محتوى ذا صلة موضوعياً بالمرجع ولكنه ليس مستلزماً منطقياً منه أو متناقضاً معه.
• معدلات التناقض: ظلت معدلات التناقض منخفضة (<7%) في جميع النماذج، مما يشير إلى أن النماذج نادراً ما تولد محتوى يتعارض مباشرة مع الإجماع البشري، حتى لو لم تتبعه بدقة.
• الاستلزام: أظهرت 3.4-9.0% فقط من الاستجابات "استلزاماً"، مما يشير إلى أن النماذج نادراً ما تعيد إنتاج البنية المنطقية للمرجع بدقة.

سلوك المقاييس

• MoverScore: شغل نطاقاً متوسطاً (51-53%)، مما يعكس "تكلفة" محاذاة توزيعات الرموز. وقد وفر قدرة تمييز أفضل بين النماذج مقارنة بتشابه جيب التمام (الذي كان قريباً من السقف لجميع النماذج).
• BLEU/ROUGE: أظهرت تبايناً عالياً ودرجات منخفضة مطلقة، مما يؤكد عدم ملاءمتها لتقييم التوليد التجريدي حيث تكون إعادة الصياغة هي القاعدة.

5. الأهمية والآثار المترتبة

• أطر التقييم: تجادل الدراسة بأن الاعتماد فقط على المقاييس اللفظية (BLEU/ROUGE) يقلل بشدة من جودة النماذج اللغوية الحديثة في الإجابة على الأسئلة مفتوحة المجال. يجب أن ينتقل التقييم نحو أطر عمل متعددة الأبعاد تجمع بين المقاييس اللفظية والدلالية والاستدلال المنطقي.
• القدرة على إعادة الصياغة: تؤكد النتائج أن النماذج اللغوية الكبيرة قد أتقنت القدرة على إعادة صياغة الإجماع المجتمعي إلى مخرجات مكافئة دلالياً ولكنها متميزة لفظياً.
• اختيار النماذج: بالنسبة للأسئلة الحديثة ومفتوحة النهاية، يبدو أن بنية النموذج وتكوين بيانات التدريب أكثر أهمية من حجم عدد المعلمات الخام. فالنماذج الأصغر والمضبوطة جيداً (مثل Mistral-7B) يمكن أن تتفوق على نظيراتها الأكبر.
• محدودية التوافق: التوافق العالي مع الإجماع المجتمعي لا يضمن الصحة الواقعية. تشير الدراسة إلى أن النماذج قد تتوافق مع الآراء البشرية الشائعة ولكن غير الصحيحة. يتطلب العمل المستقبلي التحقق من المعرفة الخارجية للفصل بين التوافق والحقيقة.

الخاتمة

تخلص الورقة إلى أن النماذج اللغوية الكبيرة قادرة للغاية على التوافق الدلالي في المواضيع الحديثة، ولكنها تعمل عبر إعادة صياغة واسعة النطاق بدلاً من الاسترجاع المباشر أو النسخ. إن "مفارقة الدلالة واللفظ" تستوجب إعادة التفكير في كيفية تقييم الذكاء الاصطنا Generative، والانتقال من مطابقة النصوص السطحية إلى المقاييس التي تلتقط الأمانة الدلالية والاتساق المنطقي. وقد أتيحت مجموعة بيانات RECOM للجمهور لتسهيل المزيد من الأبحاث في هذا المجال.