💬 NLP

Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification

تقدم هذه الورقة بروتوكول NEI-CAP، وهو بروتوكول تشخيصي يكشف أن نماذج التحقق من الحقائق غالباً ما تفشل في تعميم كفاءة "عدم كفاية المعلومات" عبر طرق بناء الأدلة المختلفة لأن الدرجات الإجمالية يمكن أن تحجب الاعتماد الكامن على الإشارات المختصرة والسمات الخاصة بعملية البناء.

المؤلفون الأصليون: Jingxi Qiu, Zeyu Han, Cheng Huang

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingxi Qiu, Zeyu Han, Cheng Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف محققاً لحل الألغاز. هدفك هو معرفة ما إذا كان بإمكانه التمييز بين ثلاثة أشياء:

القضية حُلَّت (الأدلة تدعم الادعاء).
القضية كُشِفت (الأدلة تفند الادعاء).
ليس لدينا معلومات كافية بعد (تصنيف "NEI").

تجادل هذه الورقة البحثية بأنه بينما كنا نختبر المحققين على مدى قدرتهم على حل القضايا، فقد كنا نخدعهم في اختبار "ليس لدينا معلومات كافية". لقد كنا نعطيهم أدلة مفقودة بشكل بديهي للغاية لدرجة أن المحقق لا يحتاج لأن يكون ذكياً ليدرك المشكلة؛ بل يحتاج فقط إلى رصد "تنسيق" الدليل المفقود.

إليك تفصيل نتائج الورقة باستخدام تشبيهات بسيطة.

1. المشكلة: خدعة "الصندوق الفارغ"

في عملية التحقق من الحقائق، عندما تقول النماذج الحاسوبية "لا توجد معلومات كافية" (NEI)، فإن ذلك يعني أن الأدلة المقدمة ليست كافية لإثبات أو نفي ادعاء ما.

وجدت الورقة أن العديد من مجموعات البيانات (اختبارات التدريب لهذه النماذج) تنشئ أمثلة "NEI" بطريقة كسولة.

الخدعة "السهلة": يعطون النموذج ادعاءً مثل "سور الصين العظيم يقع في البرازيل" ثم يعطونه لا يوجد دليل على الإطلاق (صندوق فارغ) أو نصاً يتحدث عن البيتزا (غير مرتبط بالموضوع تماماً).
النتيجة: يتعلم النموذج طريقاً مختصراً. يفكر قائلاً: "أوه، إذا لم يكن هناك نص أو كان النص عن البيتزا، يجب أن أقول 'ليس لدي معلومات كفاية'". إنه لا يتحقق فعلياً مما إذا كانت الأدلة غير كافية؛ بل يتحقق فقط مما إذا كان الدليل مفقوداً أو غريباً.

2. الاختبار الحقيقي: "الصندوق نصف الممتلئ"

تقدم الورقة طريقة جديدة للاختبار تسمى NEI-CAP. بدلاً من إعطاء النموذج صندوقاً فارغاً، نعطيه صندوقاً نصف ممتلئ.

السيناريو: الادعاء هو "سور الصين العظيم يقع في البرازيل". الدليل المقدم هو فقرة طويلة ومفصلة عن سور الصين العظيم، لكنها تتحدث فقط عن طوله وأين يقع في الصين. هي لا تذكر البرازيل، لكنها مرتبطة بوضوح بالموضوع.
التحد_ي: يجب أن يدرك المحقق الذكي: "هذا النص يتحدث عن سور الصين العظيم، لكنه لا يخبرني ما إذا كان في البرازيل أم لا. أحتاج إلى مزيد من المعلومات".
الفشل: وجدت الورقة أن النماذج التي تدربت على خدع "الصندوق الفارغ" (الـ NEI السهل) تفشل تماماً في اختبار "الصندوق نصف الممتلئ" هذا. فهي تنظر إلى النص المرتبط بالموضوع، وترى أنه يبدو داعماً (لأنه يتحدث عن سور الصين العظيم)، فتقول بثقة: "هذا يدعم الادعاء!" أو "هذا يفند الادعاء!". إنها تغفل حقيقة أن التفصيل المحدد الذي تحتاجه مفقود.

3. استعارة "البناء"

تسمي المؤلفات الطريقة التي تُبنى بها هذه الاختبارات "عائلات البناء" (Construction Families).

البناء السهل: مثل بناء جدار من الكرتون. يبدو كجدار، لكنه هش. إذا دربت نموذجاً على جدران كرتونية، فسيتعلم كيفية رصد الكرتون، وليس الطوب الحقيقي.
البناء الصعب: مثل بناء جدار من طوب حقيقي ولكن مع ترك ثقب في المنتصف. يحتاج النموذج إلى فهم هيكل الجدار ليعرف أنه غير مكتمل.

تظهر الورقة أنه إذا دربت نموذجاً على "الكرتون" (أدلة سهلة، غير مرتبطة، أو فارغة)، فسيحصل على درجة كاملة في الاختبار. ولكن بمجرد الانتقال إلى "الطوب الحقيقي مع وجود ثقب" (أدلة مرتبطة دلالياً ولكنها غير كافية)، ينهار النموذج. يحصل على صفر.

4. وهم "الدرجة السحرية"

حالياً، عندما ننظر إلى تقرير درجات النموذج، نرى رقماً واحداً كبيراً: "درجة NEI".

تحذير الورقة: هذا الرقم كاذب. إنه يشبه طالباً حصل على درجة "امتياز" في اختبار الرياضيات لأن المعلم طلب منه فقط جمع الأصفار. إذا طلبت منه جمع الكسور، فسيفشل.
تثبت الورقة أنه يمكن للنموذج الحصول على درجة "NEI" مثالية في الاختبارات السهلة، ولكنه يكون عديم الفائدة تماماً في السيناريوهات الواقعية حيث تكون الأدلة مرتبطة بالموضوع ولكنها غير مكتملة. "متوسط الدرجة" يخفي حقيقة أن النموذج يقوم فقط بحفظ تنسيق الاختبار، وليس تعلم المهارة.

5. الحل: NEI-CAP

يقترح المؤلفون بروتوكولاً جديداً يسمى NEI-CAP. فكر في هذا كطريقة جديدة لتقييم المحقق:

لا تكتفِ بإعطاء درجة فقط: بدلاً من ذلك، أبلغ عن كيفية بناء الاختبار. هل استخدمنا "الصندوق الفارغ" أم "الصندوق نصف الممتلئ"؟
تدقيق الخدع: تحقق مما إذا كان النموذج يرصد مجرد اختصارات (مثل "لا يوجد نص = NEI") أم أنه يفهم المحتوى بالفعل.
التحقق البشري: بالنسبة للاختبارات الأكثر صعوبة، يقوم البشر بالتحقق من أن الأدلة غير كافية حقاً، لضمان عدم خداع النموذج بواسطة بيانات غامضة.

الملخص

تخلص الورقة إلى أن الطريقة التي ننشئ بها اختبارات "ليس لدينا معلومات كافية" هي التي تحدد ما يتعلمه الذكاء الاصطناعي.

إذا جعلنا الاختبارات سهلة للغاية (صناديق فارغة)، سيتعلم الذكاء الاصطناعي رصد الفراغ، وليس نقص المعلومات.
إذا جعلنا الاختبارات صعبة (معلومات مرتبطة ولكن غير مكتملة)، سيتعين على الذكاء الاصطناعي التفكير فعلياً.
حالياً، معظم نماذج الذكاء الاصطناعي "تغش" في الاختبارات السهلة. تبدو ذكية، لكنها تفشل عندما تكون الأدلة مخادعة. تحثنا الورقة على التوقف عن الاختباء خلف متوسط الدرجات والبدء في الإبلاغ بدقة عن نوع "بناء الأدلة" الذي تم اختبار النموذج عليه.

ملخص تقني: غياب الأدلة ليس هو عدم كفاية الأدلة: تشخيص نواتج بناء (NEI) في التحقق من الحقائق

بيان المشكلة

تصنف أنظمة التحقق من الحقائق الادعاءات عادةً إلى ثلاث فئات: مدعوم (SUPPORTED)، مفند (REFUTED)، أو لا توجد معلومات كافية (NOT ENOUGH INFORMATION - NEI). يُقصد بملصق NEI الإشارة إلى أن مجموعة الأدلة المتاحة $E$ غير كافية لإثبات صحة أو خطأ ادعاء ما $c$ . ومع ذلك، تجادل الورقة بأن تشغيل ملصق NEI هو خيار تصميمي يختلف بشكل كبير عبر المعاي actually المرجعية (مثل FEVER وSciFact وHoVer)، وغالبًا ما يُترك دون تعريف في بروتوكولات التقييم.

المشكلة الجوهرية المحددة هي أن "غياب الأدلة" (على سبيل المثال: الحقول الفارغة، أو الفقرات غير ذات الصلة) متميز رصديًا عن "عدم كفاية الأدلة" (على سبيل المثال: أدلة مرتبطة دلاليًا ولكنها غير مكتملة). غالبًا ما تدمج المعايير المرجعية الحالية بين هاتين الحالتين. نتيجة لذلك، قد تتعلم النماذج التعرف على نواتج بناء (construction artifacts) محددة (مثل النصوص المفقودة، أو عدم تطابق المواضيع، أو الانحيازات الموضعية) بدلاً من تعلم القدرة المقصودة المتمثلة في تحديد عدم كفاية الأدلة الحقيقية. يؤدي هذا إلى وضع يمكن فيه أن تكون مقاييس أداء NEI الإجمالية (مثل NEI-F1) مرتفعة بينما يفشل النموذج تمامًا في التعامل مع الأدلة غير الكافية المرتبطة دلاليًا.

المنهجية: NEI-CAP

لمعالجة ذلك، قدم المؤلفون NEI-CAP (بروتوكول الوعي ببناء NEI)، وهو إطار تشخيصي يعامل بناء أدلة NEI كمتغير صريح في التقييم.

1. تصنيف البناء (Construction Taxonomy)

يصنف NEI-CAP أمثلة NEI إلى عائلات بناء محددة بناءً على كيفية توليد الأدلة غير الكافية. يميز التصنيف بين:

بناءات عرضة للاختصار (Shortcut-prone constructions): أمثلة مصممة لكشف الاختصارات الشكلية أو الموضوعية أو الموضعية.
- النائب (Placeholder): علامات أدلة ثابتة أو فارغة.
- العشوائي غير ذي صلة (Random Irrelevant): أدلة من مواضيع غير مرتبطة.
- منحاز للموضع (Position-biased): أدلة غير تفسيرية من مواقع مستندات يمكن التنبؤ بها.
أدلة غير كافية مرتبطة دلاليًا (Hard NEI): أمثلة مرتبطة موضوعيًا ولكنها غير مكتملة منطقيًا.
- إخفاق BM25 (BM25 near-miss): تداخل لفظي عالٍ ولكن دعم غير كافٍ.
- المستشهد به غير التفسيري (Cited non-rationale): أدلة من المستندات المستشهد بها ليست هي التفسير الفعلي.
- نفس المستند غير التفسيري (Same-document non-rationale): أدلة غير تفسيرية من نفس مصدر المستند.
- فقدان الخطوة (Missing-hop): أدلة متعددة الخطوات مع حذف حقيقة مطلوبة.

2. سير العمل التشخيصي

يتبع البروتوكول خمس مراحل:

البناء (Construct): تعيين عائلة بناء ( $z$ ) ومعرف مجموعة ( $g$ ) لكل مثال. لا يتم تعريض النموذج لـ $z$ أبدًا؛ حيث تُستخدم حصريًا للتدقيق والتقارير الطبقية.
التدقيق (Audit): قياس سمات الاختصار (مثل الطول، التداخل، التغطية) لتحديد الإشارات السطحية التي قد تستغلها النماذج.
التحقق (Validate): استخدام التقدير البشري للفصل بين "المرشحين" لـ hard NEI وبين الأمثلة التي هي في الواقع مدعومة أو مفندة أو غامضة. وهذا ينشئ مجموعة فرعية من "الـ hard-NEI المحكومة بشريًا".
اختبار الإجهاد (Stress-test): تقييم النماذج المدربة على عائلات بناء محددة مقابل عائلات أخرى لاختبار القابلية للنقل.
التقرير (Report): إصدار المقاييس مصنفة حسب عائلة البناء بدلاً من الدرجات الإجمالية.

3. الإعداد التجريبي

تم تطبيق البروتوكول بشكل أساسي على SciFact (التحقق من الادعاءات العلمية)، مع استخدام FEVER وHoVer كضوابط خارجية محدودة.

النماذج: الموثق الأساسي هو DeBERTa-v3-base، مع استخدام RoBERTa وSciBERT كنماذج خلفية ثانوية.
أنظمة التدريب: تُدرب النماذج على عائلات بناء فردية (مثل "النائب" فقط) أو على أنظمة مختلطة (مزيج سهل، أو صعب، أو متوازن).
التقييم: يستخدم مصفوفات تحول البناء (التدريب على العائلة A، والاختبار على العائلة B) واستدعاء (recall) الـ hard-NEI المحكوم بشريًا.

النتائج الرئيسية

1. فشل انتقال التدريب العرضة للاختصار

تحقق النماذج المدربة على بناءات NEI "السهلة" (مثل النوابئ/Placeholders) درجة NEI-F1 مثالية في مجموعات الاختبار المتطابقة، لكنها تنهار إلى 0.000 NEI-F1 عند تقييمها على بناءات "صعبة" (مثل BM25 near-miss أو Cited non-rationale).

هذا الفشل ليس خللاً في المعايرة؛ بل إن الكتلة الاحتمالية تتحول بالكامل إلى SUPPORT أو REFUTE.
هذا الانهيار مستقر عبر بنيات النماذج المختلفة (DeBERTa، RoBERTA، SciBERT) وعبر البذور العشوائية (random seeds).

2. الـ Hard NEI المحكوم بشريًا يكشف ضعف النموذج

في المجموعة الفرعية لـ hard-NEI المحكومة بشريًا (54 مثالاً)، تحقق النماذج المدربة على "النائب" أو البيانات المنحازة للموضع استدعاءً قدره 0.000. وهي تتوقع بشكل مفرط حالة SUPPORT (إيجابيات كاذبة) بثقة عالية.

حتى التدريب على "العشوائي غير ذي صلة"، وهو أقل حدة من "النائب"، فشل في التعميم على عدم الكفاية الصعبة (0.216 استدعاء).
فقط النماذج المدربة على البناءات الصعبة (BM25/cited) أظهرت استعادة جزئية، لكنها لا تزال لا تحقق انتقالًا مثاليًا.

3. التدريب المختلط لا يلغي الحساسية للبناء

التدريب على أنظمة بناء مختلطة (الجمع بين الأمثلة السهلة والصعبة) يحسن استدعاء hard-NEI مقارنة بالتدريب على عائلة واحدة، ولكنه لا يلغي فجوة الأداء.

النماذج المدربة على مزيجات "متوازنة" لا تزال تظهر ملفات تعريف مصنفة حسب البناء، حيث تؤدي بشكل أفضل بكثير في الظروف الساسية مقارنة بالظروف الصعبة.
يشير هذا إلى أن التدريب المختلط هو اختبار إجهاد أقوى ولكنه ليس بديلاً عن التقارير الواعية بالبناء.

4. التأثير على الملصقات غير الـ NEI

تكشف تشخيصات الادعاء الثابت أن اختيار بناء NEI يؤثر على ثقة النموذج في ملصقات SUPPORT وREFUTE. عندما يتم استبدال الأدلة المرجعية بأدلة غير كافية، تفشل النماذج المدربة على NEI السهل في تقليل ثقتها في الملصق الأصلي، بينما تظهر النماذ المدربة على hard NEI انخفاضًا في الاحتمالية. يشير هذا إلى أن نواتج البناء تؤثر على المهمة الثلاثية بأكملها، وليس فقط على زاوية NEI.

المساهمات

إعادة صياغة NEI: تعيد الورقة صياغة NEI ليس كملصق سلبي واحد، بل كـ حالة دليل حساسة للبناء.
بروتوكول NEI-CAP: يقدم بروتوكولًا تشخيصيًا يتتبع صراحةً عائلات البناء، ويدقق في سمات الاختصار، ويتحقق من الحالات الصعبة عبر التقدير البشري.
دليل تجريبي على الفشل: يثبت من خلال تجارب SciFact وFEVER وHoVer أن التدريب العرضة للاختصار يفشل في الانتقال إلى الأدلة غير الكافية المرتبطة دلاليًا، وأن درجات NEI-F1 الإجمالية يمكن أن تخفي هذه الإخفاقات.

الأهمية والادعاءات

تدعي الورقة أن درجات NEI-F1 الإجمالية غير كافية لتقييم أنظمة التحقق من الحقائق لأنها يمكن أن تخفي ما إذا كان النموذج قد تعلم التعرف على عدم كفاية الأدلة الحقيقية أم مجرد نواتج كيفية بناء أمثلة NEI.

نطاق متواضع: يذكر المؤلفون صراحةً أن NEI-CAP هو بروتوكول تشخيصي، وليس حلاً كاملاً للاستدلال على عدم كفاية الأدلة. إنه يحدد الحساسية للبناء ويوفر أدوات تدقيق، لكنه لا يضمن استدلالًا عامًا للكفاية.
انضباط التقارير: المساهمة الأساسية هي التحول في انضباط التقارير: يجب أن يرافق كل نتيجة NEI عائلة البناء التي أنتجتها.
القيود: يستند أقوى دليل إلى التحقق العلمي من نمط SciFact. تم استخدام FEVER وHoVer كضوابط خارجية محدودة وليست معايير hard-NEI محكومة بشريًا في هذا السياق. وتقر الورقة بأن المجالات المختلفة قد تتطلب عائلات بناء إضافية، وأن التحقق البشري يقلل ولك لا يلغي مخاطر صلاحية الملصقات.

في الختام، تجادل الورقة بأن بناء الأدلة غير الكافية يجب أن يُعامل كجزء أساسي من بروتوكول التقييم، جنبًا إلى جنب مع الملصقات والمقاييس، لضمان أن أنظمة التحقق من الحقائق تتعلم القدرات المقصودة بدلاً من الاختصارات الخاصة بمجموعات البيانات.