What Does a Factual-Error Detector Really Measure? Question Difficulty and Model Uncertainty Before the Answer Begins

ملخص تقني: ماذا يقيس كاشف الأخطاء الواقعية حقاً؟

بيان المشكلة
تهدف كواشف الأخطاء الواقعية إلى التنبؤ بما إذا كانت إجابة النموذج اللغوي الكبير (LLM) غير صحيحة بناءً على النموذج ومخرجاته. ومع ذلك، فإن دقة الكشف العالية وحدها لا تكشف عن مصدر الإشارة التنبؤية. فقد يكون الكاشف مجرد مُحدد للأسئلة الصعبة بالنسبة للعديد من النماذج، أو يلتقط خصائص النص المولد، أو يعكس عدم اليقين في المخرجات، بدلاً من قياس التقييم الداخلي للنموذج لمعرفته الخاصة. تفشل المقارنات المرجعية الحالية غالباً في التمييز بين المعلومات التنبؤية الخاصة بالنموذج وبين "صعوبة السؤال" العامة. علاوة على ذلك، تفتقر الادعاءات المتعلقة بالإشارات الداخلية (مثل تنشيطات الطبقات) غالباً إلى التحقق الصارم عبر النماذج المختلفة، أو تفشل في مراعاة أن الإنتروبيا (Entropy) تقيس التشتت وليس الحقيقة.

المنهجية
يقترح المؤلفون إطار تقييم صارم يرتكز على مكونين رئيسيين: خط أساس "ترك نموذج واحد واستبعاد البقية" (LOMO)، وتدقيق استباقي للمخرجات القياسية عبر سلالات نماذج متنوعة.

1. خط أساس LOMO: بدلاً من الاعتماد على الحالات الداخلية، يحسب خط الأساس نسبة النماذج الأخرى المتاحة التي أجابت على سؤال معين بشكل غير صحيح، باستثناء النموذج المستهدف. تعتمد هذه الدرجة حصرياً على صعوبة السؤال وتكوين اللوحة (Panel)، وليس على إجابة النموذج المستهدف أو حالاته الداخلية.
2. تحليل اللوحة الرئيسية (TriviaQA): تدقق الدراسة في الإجابات الواقعية القصيرة لـ 18 نموذجاً مفتوح الأوزان (تم الاحتفاظ بـ 17 منها للتحليل). من أصل 42,636 زوجاً محتملاً من (النموذج-السؤال)، نجت 18,850 عملية استخراج. يقارن المؤلفون كاشفاً مختاراً بعناية مقابل خط أساس LOMO باستخدام منحنى AUROC. كما يستخدمون التوفيق المتقاطع المستمر (Polynomial LOMO) وضوابط استكشافية باستخدام نص الإجابة المعاد توليده للتحقق من التداخل بين إشارات الكاشف ومحتوى الإجابة.
3. التدقيق الاستباقي (Natural Questions): أُجري تدقيق منفصل، مصفى بناءً على الاتساق، على 18 نموذجاً (12 سلالة). ولضمان المتانة، تم الاحتفاظ فقط بالأزواج التي تلقت فيها العينات المختبرة نفس حكم الصحة. اختبرت الدراسة 24 مقياساً قياسياً (بما في ذلك الإنتروبيا وهوامش الاحتمالية عند 12 عمقاً نسبياً) ضد قاعدة تجريبية محددة مسبقاً: حجم تأثير كوهين $d \ge 0.5$ في كل نموذج، وباتجاه متسق، ومع دلالة إحصائية.
4. ضوابط النطاق:
   • فك الترميز (Decoding): مقارنات بين فك الترميز بالعينة (Sampling) وفك الترميز الجشع (Greedy) لتحديد ما إذا كانت الارتباطات تعتمد على اختيار الرموز العشوائي.
   • أنواع الأخطاء: تحليل "الأخطاء المشتركة" (التي تحدث في $\ge 3$ من عائلات النماذج) مقابل "الأخطاء الفردية" لاختبار ما إذا كان تكتل الأخطاء يرتبط بالإنتروبيا.
   • الاعتماد على المهمة: التقييم عبر Natural Questions (NQ)، وTriviaQA، وBioASQ.

المساهمات الرئيسية

1. التقييم التشغيلي مقابل صعوبة اللوحة: تؤسس الورقة لـ LOMO كخط أساس قوي ومستقل عن الكاشف. وتجادل بأن الادعاءات المتعلقة بالمعلومات التنبؤية الخاصة بالنموذج يجب أن تثبت تحقيق مكاسب تتجاوز هذا الخط الأساسي.
2. تدقيق تم التحقق منه تقنياً: توفر الدراسة تدقيقاً صارماً ومسجلاً مسبقاً لـ 24 مقياساً قياسياً عبر 18 نموذجاً، مما يتطلب إعادة بناء كاملة للمخرات الأصلية والوصول إلى حد أدنى من حجم التأثير في كل نموذج.
3. ضوابط النطاق: يشمل ذلك ضوابط فك الترميز الجشع، وتحليل الأخطاء المشتركة، والمقارنات المعتمدة على المهمة لتحديد الظروف التي تصدق فيها النتائج.

النتائج

• LOMO مقابل الكواشف: في اللوحة الرئيسية، تفوق خط أساس LOMO بشكل كبير على الكاشف المستقل المختار. بلغ وسيط AUROC لـ LOMO قيمة 0.855 مقابل 0.784 للكاشف. وكان وسيط الفرق المزدوج +0.064، وهو موجب في جميع النماذج الـ 17 ($p = 2.9 \times 10^{-4}$).
• المتنبئات المجمعة: رغم تفوق LOMO وحده، إلا أن إضافة ميزات الكاشف (تحديداً الإنتروبيا والميزات الأوسع) إلى LOMO وفرت مكاسب تراكمية إيجابية، مما يشير إلى قيمة تنبؤية تكميلية.
• الإنتروبيا والعمق: من بين 24 مقياساً في تدقيق NQ، الإنتروبيا الوحيدة للمخرجات الأصلية (عند الطبقة النهائية، $u_{11}$) هي التي استوفت المعيار التجريبي المحدد مسبقاً ($|d| \ge 0.5$ في جميع النماذج الـ 18). لم يجتز أي مقياس من الطبقات السابقة هذا الاختبار.
  • بلغ متوسط حجم التأثير للإنتروبيا للمخرات الأصلية $d = 1.0515$، بحد أدنى قدره 0.6512.
  • أقرب مقياس سابق للمخرات (الإنتروبيا عند $u_{10}$) سجل حداً أدنى قدره 0.1495، وهو ما فشل في تجاوز العتبة.
• الحساسية للصعوبة: عند التحكم في صعوبة السؤال عبر التقسيم الطبقي، ضعفت تأثيرات الإنتروبيا. تجاوز 16 من أصل 18 نموذجاً فقط عتبة $d=0.5$ (على سبيل المثال، انخفضت Mistral إلى 0.102)، مما يشير إلى أن الإشارة حساسة لتكوين العينة.
• فك الترميز الجشع: استمر الارتباط بين الإنتروبيا والخطأ تحت فك الترميز الجشع، وإن تفاوتت القوة. يشير هذا إلى أن الإشارة ليست مجرد نتاج اصطناعي للاختيار من ذيل التوزيع.
• الأخطاء المشتركة مقابل الفردية: أظهرت الأخطاء المشتركة (القابلة للتجميع حسب المعنى) إنتروبيا أقل للرمز الأول للمحتوى مقارنة بالأخطاء الفردية في 17/17 نموذجاً. وهذا يعني أنه عندما تتقارب النماذج على نفس الإجابة الخاطئة، تكون حالة عدم اليقين منخفضة، مما يتحدى فكرة أن الإنتروبيا العالية هي المؤشر الوحيد للهلوسة.
• ضوابط النص: أشارت الضوابط الاستكشافية باستخدام النص المعاد توليده إلى أن جزءاً كبيراً من المكاسب الظاهرة من الكواشف القائمة على التنشيط يتداخل مع المعلومات الموجودة في نص الإجابة نفسه.

الأهمية والادعاءات
تخلص الورقة إلى وجوب تقييم كواشف الأخطاء الواقعية مقابل صعوبة الأسئلة في اللوحة (LOMO) بدلاً من تقييمها بمعزل عنها. تدعم النتائج الإنتروبيا كإشارة تحذير للأخطاء المحتملة في مجموعات الإجابات القصيرة المختارة، ولكن ليس كمقياس للحقيقة.

• محدودية الإنتروبيا: تقيس الإنتروبيا التشتت عبر الرموز التالية، وليس الصحة. يمكن لمرشح خاطئ مهيمن أن يبقي الإنتروبيا منخفضة، بينما يمكن للمنافسة بين الأشكال السطحية أن ترفعها.
• لا توجد آلية عالمية: لا تثبت الدراسة وجود آلية سببية مشتركة أو عتبة عالمية. نجاح إنتروبيا المخرات الأصلية خاص بالمجتمع المختار والمصفى بناءً على الاتساق.
• ادعاءات متواضعة: يصرح المؤلفون صراحة بأن نتائجهم تتعلق بالمجتمعات المختارة ولا تعمم على التوليد طويل الصيغة، أو أنظمة استرجاع المعلومات المعززة (RAG)، أو حركة مرور الإنتاج. تدعم الأدلة استخدام قياس عدم اليقين بحذر كمحفز للتحقق أو الامتناع، لكن الإنتروبيا المنخفضة وحدها لا يمكن أن تبرر الثقة التلقائية.

باختاًصار، توضح الورقة أنه بينما يمكن لإشارات داخلية بسيطة مثل إنتروبيا المخرات أن ترتبط بالأخطاء، إلا أنها مشوبة بشدة بصعوبة الأسئلة وخصائص النصوص. كان التنبؤ الأكثر متانة بالخطأ الواقعي في هذه الدراسة هو الأداء الجماعي للنماذج الأخرى على نفس السؤال، وليس الحالة الداخلية للنموذج المستهدف.