ملخص تقني: التحقق من صحة المُحقِّقين: كشف الثغرات والإمكانات في مُحقِّقي الحقائق

بيان المشكلة

مع تزايد دمج النماذج اللغوية الكبيرة (LLMs) في التطبيقات الواقعية، لا يزال توليد معلومات غير مدعومة أو مضللة (الهلوسة) يمثل عائقاً حرجاً. يعد التحقق من الحقائق أمراً ضرورياً لضمان موثوقية هذه الأنظمة، وذلك عادةً عبر التحقق مما إذا كانت الحقائق المولدة يمكن إسنادها إلى مصادر معرفية موثوقة. ومع ذلك، وعلى الرغم من الدور الحاسم لمحققي الحقائق في تقييم واقعية النماذج اللغوية الكبيرة، إلا أن الدراسات الشاملة التي تبحث في هذه النماذج لا تزال غير مستكشفة بشكل كافٍ. علاوة على ذلك، غالباً ما تحتوي المعايير المرجعية الحالية على أخطاء في التوسيم (annotation) وحالات غامضة يمكن أن تشوه ترتيب النماذج وتؤدي إلى استنتاجات مضللة أثناء التقييمات المقارنة.

المنهجية

جمع البيانات وتصفيتها

قام المؤلفون ببناء بيئة اختبار من خلال جمع أمثلة من 14 معياراً مرجعياً مختلفاً للتحقق من الحقائق (مثل SciFact، وHover، وCoverBench، وAggreFact). خضعت المجموعة الأولية لعملية تصفية من مرحلتين:

1. إزالة العبارات غير القابلة للتحقق: قام نموذج لغوي كبير بتصنيف العبارات إلى قابلة للتحقق، أو غامضة، أو غير قابلة للتحقق. وتم استبعاد العبارات المصنفة كغامضة أو غير قابلة للتحقق (مثل تلك التي تفتقر إلى حقيقة أرضية نهائية).
2. إزالة الحالات البديهية: تمت إزالة الحالات التي كانت فيها العبارة مطابقة تقريباً للمستند المصدر باستخدام مقاييس تداخل n-gram.
   أدت هذه العملية إلى تقليص مجموعة البيانات بنسبة 45% تقريباً، مما نتج عنه مجموعة متوازنة مكونة من 1,749 مثالاً.

التحديد المنهجي للأخطاء (المسار العملي)

لمعالجة عدم القدرية العملية لفحص كل مثال يدوياً، طور المؤلفون مساراً قابلاً للتوسع باستخدام "النموذج اللغوي الكبير كحكم" (LLM-as-a-judge):

1. الكشف الآلي: قامت أربعة نماذج لغوية رائدة (o3-mini، وGPT-4o، وGemini 2.0-Flash، وLlama3.1 405B FP8) بتقييم الملصقات الأصلية باستخدام مطالبات (prompts) صفرية المحتوى. وتم الاحتفاظ بالحالات التي اختلف فيها نموذج واحد على الأقل مع الملصق البشري الأصلي (40% من المجموعة المصفاة).
2. تقييم المنطق (Rationale Evaluation): قام ثلاثة أحكام متخصصة من النماذج اللغوية الكبيرة بتقييم مسارات الاستدلال الخاصة بمحقِّق الحقيقة بناءً على الاكتمال، والتماسك المنطقي، والأمانة. وتم الاحتفاظ فقط بالأمثلة التي تلقت تقييمات إيجابية بالإجماع من جميع الأحكام الثلاثة كمرشحات للمراجعة البشرية.
3. التوسيم البشري: قام خمسة مؤلفين بفحص الـ 344 مرشحاً المتبقية يدوياً (حوالي 20% من الإجمالي). وصنفوا الحالات إلى:
   • ملصقات خاطئة: الملصق الأصلي كان غير صحيح.
   • أخطاء النموذج: أخطأ محقِّق الحقيقة في تصنيف ملصق صحيح.
   • غامضة: احتوت الحالة على غموض متأصل (مثل الفجوات المعرفية، أو الغموض اللغوي، أو عدم اكتمال السياق، أو مشكلات الدقة الرقمية).

بناء المعيار المرجعي

بناءً على نتائج التوسيم، أنشأ المؤلفون مجموعتي بيانات:

• CLEARFACTS: معيار مرجعي منقح يحتوي على ملصقات مصححة وحالات غير غامضة.
• GRAYFACTS: مجموعة من الحالات الغامضة التي تم تحديدها، تُستخدم لتحليل سلوك النماذج في الحالات الحدية.

إعداد التقييم

قيمت الدراسة 12 نموذجاً لغوياً كبيراً مُدرباً مسبقاً (بما في ذلك النماذج الرائدة مثل o1 وGPT-4o ونماذج الأوزان المفتوحة مثل متغيرات R1-distilled) بالإضافة إلى محقِّق حقيقة متخصص تم ضبطه بدقة (MiniCheck 7B).

• المقاييس: تم استخدام مقياس Macro F1 لمعالجة عدم توازن الملصقات.
• الإعدادات: تم اختبار النماذج تحت ظروف التعلم في السياق (in-context learning) بأسلوب صفر المحتوى (zero-shot) وقليل المحتوى (few-shot).
• توليد البيانات الاصطناعية: لتحسين أداء النماذج الصغيرة، قام المؤلفون بتوليد بيانات استدلال متعدد الخطوات اصطناعية باستخدام إجراء (استخراج-سؤال-إجابة) على وثائق ويكيبيديا، مما خلق حقائق مقترنة بوثائق داعمة ومتغيرات سلبية.

المساهمات والنتائج الرئيسية

1. تأثير أخطاء التوسيم والغموض

وجدت الدراسة أن حوالي 16% من البيانات الأولية احتوت على أخطاء أو غموض (9.1% غامضة، 6.6% ملصقات خاطئة).

• تشويه الترتيب: أدى تصحيح هذه المشكلات إلى تغيير ترتيب النماذج بشكل كبير. على سبيل المثال، صُنف MiniCheck 7B في البداية فوق النماذج الرائدة مثل o1 في البيانات غير المنقحة، لكنه تراجع إلى مركز أدنى في CLEARFACTS المنقح.
• آثار الغموض: في GRAYFACTS، غالباً ما كان أداء النماذج الرائدة أقل من النماذج الأصغر (على سبيل المثال، سجل o1 في وضع صفر المحتوى 9.4 مقابل 13.5 لـ Llama 3.1 8B)، ويرجع ذلك على الأرجح إلى الاختلافات الدقيقة في كيفية تسمية المعايير المختلفة للحالات الغامضة. وهذا يسلط الضوء على أن الأمثلة الغامضة يمكن أن تشوه نتائج التقييم بشدة.

2. القوة المغفولة للتعلم بقليل من المحتوى (Few-Shot Prompting)

خلافاً للأعمال السابقة التي استخدمت أساساً إعدادات صفر المحتوى، وجد المؤلفون أن التعلم بقليل من المحتوى (few-shot prompting) يعزز الأداء بشكل كبير عبر جميع النماذج التي تم تقييمها.

• حقق نموذج o1 في وضع قليل المحتوى أعلى أداء إجمالي (Macro F1: 88.7).
• يجادل المؤلفون بأن الطبيعة الدقيقة للتحقق من الحقائق تجعل تعليمات صفر المحتوى غير كافية لاستيعاب الحالات الحدية المتنوعة، مما يجعل خطوط الأساس لـ "قليل المحتوى" نقطة مقارنة بالغة الأهمية وغالباً ما يتم تجاهلها في الأبحاث المستقبلية.

3. قيود النماذج الصغيرة والضبط الدقيق والبيانات الاصطناعية

بينما تؤدي النماذج الصغيرة والمتخصصة مثل MiniCheck 7B أداءً جيداً في المعايير القياسية، إلا أنها تتخلف بشكل كبير عن النماذج الرائدة الكبيرة في الحالات التي تتطلب استدلالاً معقداً متعدد الخطوات (تحديداً من CoverBench وHover).

• التدخل بالبيانات الاصطناعية: قدم المؤلفون طريقة لتوليد بيانات استدلال اصطناعية متعددة الخطوات. أدى ضبط نموذج صغير بدقة (Llama 3.1 8B) باستخدام مزيج من بيانات ANLI وهذه البيانات الاصطناعية (إنشاء CLEARCHECK) إلى مكاسب كبيرة في الأداء على CoverBench (+12.8%) وHover (+7.1%)، مع الحفاظ على الأداء أو تحسينه في مجموعات البيانات الأخرى.

الأهمية والادعاءات

يزعم البحث أنه يقدم ثلاث رؤى أساسية لتوجيه تطوير محقِّقي حقائق أكثر قوة:

1. جودة البيانات هي الأهم: إهمال أخطاء التوسيم والغموض يؤدي إلى ترتيب مضلل للنماذج. يقترح المؤلفون مساراً منهجياً باستخدام النماذج اللغوية الكبيرة لتحديد هذه المشكلات على نطاق واسع، مما يقلل الحاجة إلى التوسيم البشري الشامل.
2. صرامة خطوط الأساس: يجب أن تتضمن الدراسات المستقبلية أمثلة سياقية "قليلة المحتوى" كخطوط أساس، حيث إنها تمثل سقف أداء بسيط ولكنه فعال للغاية تفوت العديد من التقييمات الحالية.
3. مسارات للنماذج الصغيرة: تعد محقِّقات الحقيقة الصغيرة والفعالة ضرورية للتطبيقات العملية (مثل نماذج المكافأة)، لكنها تعاني حالياً في الاستدلال المعقد. يوضح المؤلفون أن تعزيز التدريب ببيانات استدلال اصطناعية متعددة الخطوات هو استراتيجية قابلة للتطبيق لسد الفجوة في الأداء بين النماذج الصغيرة والكبيرة دون المساس بالقدرات العامة.

يطلق المؤلفون الكود الخاص بهم، ونماذجهم، ومجموعات البيانات (CLEARFACTS، وGRAYFACTS، وCLEARCHECK) لتسهيل إعادة الإنتاج ومزيد من الأبحاث في هذا المجال.