Do Benchmarks Underestimate LLM Performance? Evaluating Hallucination Detection With LLM-First Human-Adjudicated Assessment

ملخص تقني: هل تقلل الاختبارات المعيارية من تقدير أداء النماذج اللغوية الكبيرة؟ تقييم كشف الهلوسة عبر التقييم البشري القائم على التحكيم والمدعوم بالنماذج اللغوية الكبيرة

بيان المشكلة
تظل الهلوسة، والمعرفة بأنها توليد معلومات غير متوافقة مع الواقع أو غير مدعومة بالأدلة المقدمة، تحديًا حرجًا للنماذج اللغوية الكبيرة (LLMs)، لا سيما في أنظمة التوليد المعزز بالاسترجاع (RAG) والأنظمة الوكيلية (Agentic Systems). وبينما تعتمد الأدبيات الحالية على اختبارات معيارية (مثل QAGS-C وSummEval) ذات حقائق مرجعية مشروحة بشريًا لتقييم الاتساق الواقعي، تشكك هذه الدراسة في مدى كفاية هذه الملصقات الثابتة. تشير الأدلة الحديثة إلى أن التدوينات البشرية غالبًا ما تظهر تباينًا منهجيًا، وأن النماذج اللغبية الكبيرة الرائدة قد تفوق الاختبارات المعيارية الحالية في اكتشاف التناقضات الدقيقة. وتتمثل المشكلة الجوهرية التي تعالجها الدراسة في ما إذا كانت التدوينات البشرية أحادية المرحلة كافية لتقييم النماذج اللغبية الكبيرة المتطورة، أم أن الاعتماد على ملصقات الاختبارات المعيارية التي قد تكون مشوبة بالضجيج أو الغموض يؤدي إلى تقليل تقدير أداء النماذج.

المنهجية
يقترح المؤلفون إطار عمل للتقييم قائم على التحكيم ومراعاة الخلاف، لإعادة تقييم كشف الهلوسة في مهام التلخيص التجريدي. تسير المنهجية عبر ثلاث مراحل رئيسية:

1. الاستدلال بالنماذج اللغبية الكبيرة: كُلفت نموذجان من أحدث النماذج، وهما GPT-5 Mini وGemini 2.5 Flash، بتقييم أزواج (المستند-الملخص) من مجموعات بيانات SummEval وQAGS-C. وخلافًا للتصنيف الثنائي القياسي، تم توجيه هذه النماذج لتقديم مخرجات بتنسيق JSON مهيكل تحتوي على تبرير استدلالي مفصل ونطاق نصي محدد يشير إلى موقع أي هلوسة (أو "لا يوجد" في حال الاتساق).
2. تحديد الخلاف: حددت الدراسة مجموعة فرعية من العينات حيث تعارضت ملصقات مجموعة البيانات الأصلية (المستمدة من تدوينات الخبراء أو الجمهور) مع تنبؤات النماذج اللغبية الكبيرة. وتحديدًا، تم رصد الحالات التي اتفق فيها النموذجان اللغبيان مع بعضهما البعض ولكن اختلفا مع الملصق البشري، أو الحالات التي اختلفت فيها النماذج والملصقات البشرية تمامًا، وتم وضع علامة عليها.
3. التحكيم البشري: قام فريق من محكمين بشريين (متعددي الثقافات، ومغموري الهوية عن قرارات بعضهم البعض) بإعادة تقييم العينات المتنازع عليها. ومن الأهمية بمكان أن هؤلاء المحكمين زُوِّدوا بالملصق الأصقع لمجموعة البيانات إلى جانب الأسباب المستمدة من النموذج اللغبي الكبير والأدلة القائمة على النطاق النصي. وقد طُلب منهم اتخاذ قرار نهائي بناءً على جميع المعلومات المتاحة، ليعملوا فعليًا كـ "قاضٍ" بين التدوينة البشرية الأصلية والادعاء المدعوم بالأدلة للنموذج اللغبي الكبير. وفي حالات الخلاف المستمر بين المحكمين، تم استخدام نظام تصويت بالأغلبية يتضمن الملصق الأصلي، وكلا تنبؤي النموذجين اللغبيين الكبيرين، وكلا ملصقي المحكمين لحسم الحقيقة المرجعية النهائية.

النتائج الرئيسية
أسفرت عملية إعادة التقييم عن تحولات كبيرة في مقاييس الأداء ومعدلات الاتفاق:

• زيادة الاتفاق: ارتفع معدل "الاتفاق الثلاثي" (حيث يتوافق كلا النموذجين اللغبيين الكبيرين والملصق البشري المُحكّم) بشكل ملحوظ. ففي QAGS-C، ارتفع الاتفاق الثلاثي بنسبة 6.38% (من 82.55% إلى 88.93%)، وفي SummEval، ارتفع بنسبة 7.62% تقريبًا (من 84.75% إلى ~92.37%).
• تحسن دقة النماذج: عند التقييم مقابل الحقيقة المرجعية المُحكّمة حديثًا، أظهر كلا النموذجين اللغبيين الكبيرين تحسنًا في الدقة. فقد زادت دقة GPT-5 Mini بنسبة 4.25% في QAGS-C و2.34% في SummEval. بينما أظهر Gemini 2.5 Flash مكاسب أكبر، بتحسن قدره 8.51% في QAGS-C و3.80% في SummEval.
• تفضيل المحكمين لأدلة النماذج اللغبية الكبيرة: في حالات الخلاف، مال المحكمون البشريون غالبًا إلى جانب النماذج اللغبية الكبيرة، خاصة عندما قدمت النماذج تبريرات صريحة وأدلة قائمة على النطاق النصي. وفي حالات خلاف QAGS-C، أيد المحكمون أحكام الهلوسة للنماذج اللغبية الكبيرة بنسبة 82.93% من المرات؛ وفي SummEval، كانت هذه النسبة 73.00%.
• معدلات الهلوسة المعدلة: كشفت عملية التحكيم أن الاختبارات المعيارية الأصلية قللت من تقدير انتشار الهلوسة. فقد ارتفع معدل الهلوسة في SummEval من 18.4% إلى 20.5%، وفي QAGS-C، ارتفع من 51.9% إلى 56.17%.

الأهمية والادعاءات
تجادل الورقة بأن التدوينات أحادية المرحلة للمهام التي يكتنفها الغموض -مثل كشف الهلوسة- قد تكون غير كافية ويمكن أن تؤدي إلى تقليل منهجي لقدرات النماذج اللغبية الكبيرة. وتدعي الدراسة ما يلي:

1. محدودية الاختبارات المعيارية: الاختبارات القائمة على الاختبارات المعيارية الثابتة محدودة لأنها تعامل التدوينات البشرية كحقائق مطلقة، متجاهلة الطبيعة المنهجية للخلاف في التدوين وإمكانية اكتشاف النماذج اللغبية الكبيرة للتناقضات التي غفل عنها البشر.
2. قيمة التحكيم: إن بروتوكول التحكيم الذي يدمج الاستدلال الناتج عن النماذج اللغبية الكبيرة والأدلة القائمة على النطاق النصي ينتج اختبارات معيارية أكثر موثوقية وتأسيسًا دلاليًا. إن وجود أدلة صريحة (الأسباب والنطاقات) يؤثر بشكل كبير على الحكم البشري، مما يشير إلى أن مخططات التدوين الأكثر ثراءً يمكن أن تقلل من الغموض.
3. التعميم: بينما ركزت التجارب على التلخيص، يفترض المؤلفون أن هذه الظاهرة من المرجح أن تمتد إلى مجالات أخرى مثل الإجابة على الأسئلة، والجيل المعزز بالاسترجاع (RAG)، والذكاء الاصطناعي الوكيلي، حيث تنتشر الأخطاء عبر خطوات الاستدلال المعقدة.
4. الاتجاه المستقبلي: تدعو النتائج إلى التحول في بروتوكولات التقييم نحو إعادة التقييم التكراري أو المدعوم بالنماذج، والانتقال لما وراء الصحة الثنائية للنظر في جودة التحديد المحلي وجودة المخرجات القائمة على النطاق. ويقترح المؤلفون أن العمل المستقبلي يجب أن يركز على تطوير مجموعات بيانات أكثر دقة تتضمن كلاً من التدوينات الناتجة عن النماذج اللغبية الكبيرة والتدوينات البشرية مع استدلال صريح.

تخلص الورقة إلى أن اعتبار مرحلة تدوين واحدة كحقيقة نهائية هو أمر مضلل للمهام اللغوية الطبيعية الدقيقة، وأن دمج تحليل الخلاف والتحكيم المدعوم بالنماذج اللغبية الكبيرة يقدم بديلًا أكثر قوة لتقييم الاتساق الواقعي.