DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation

ملخص تقني: DEEPSCIVERIFY

تعريف المشكلة
تتناول الورقة البحثية القضية الحرجة المتمثلة في عدم التطابق بين الادعاءات العلمية والأدلة المستشهد بها في التقارير التي تولدها النماذج اللغوية الكبيرة (LLMs). فبينما قد يكون الاستشهاد صحيحاً من الناحية البيبليوغرافية، إلا أنه قد لا يدعم الادعاء المحدد المرتبط به دلالياً. تعتمد أنظمة التحقق الحالية، مثل SciFact وSCIVER، بشكل أساسي على الأدلة على مستوى الملخص (Abstract). ومع ذلك، غالباً ما تغفل الملخصات التفاصيل المنهجية الحاسمة، أو النتائج الكمية، أو القيود اللازمة لتحديد ما إذا كان العمل المستشهد به يدعم حقاً ادعاءً ما. وبناءً على ذلك، يمكن أن يكون التحقق المعتمد على الملخص فقط غير كافٍ حتى عندما يحتوي النص الكامل على الدليل ذي الصلة. الهدف هو التحقق مما إذا كان الزوج $(c, r)$ —الادعاء العلمي $c$ والمرجع المستشهد به $r$— مدعوماً، أو متناقضاً، أو إذا كانت هناك معلومات غير كافية (NEI) لاتخاذ قرار.

المنهجية: DEEPSCIVERIFY
يقترح المؤلفون DEEPSCIVERIFY، وهو مسار معالجة مكون من مرحلتين مصمم لموازنة الكفاءة والدقة من خلال الجمع بين الاستدلال على مستوى الملخص والتصعيد الانتقائي إلى دليل النص الكامل.

1. المرحلة الأولى: التحقق على مستوى الملخص مع الخروج المبكر

• الاسترجاع: يقوم النظام بتحليل الاستشهاد المدخل إلى إشارات مهيكلة (معرف arXiv، معرف الرقم الدولي المعياري للمنشورات الإلكترونية DOI، URL، العنوان) باستخدام محلل يعتمد على النماذج اللغوية الكبيرة. ثم ينفذ عملية استرجاع متعددة المصادر (arXiv API، Semantic Scholar، OpenAlex، إلخ) لجلب ملخص الورقة.
• التحقق: يقوم محقق يعمل بنموذج لغوي كبير بتحليل الادعاء مقابل الملخص المسترجع.
• منطق القرار: إذا أنتج النموذج تسمية نهائية (SUPPORTS - يدعم أو CONTRADICTS - يتناقض)، يعيد النظام هذه النتيجة فوراً (الخروج المبكر). أما إذا حدد النموذج أن الأدلة غير كافية (NEI - معلومات غير كافية)، فإن النظام ينتقل إلى المرحلة الثانية. يستفيد هذا التصميم من ملاحظة أن بعض النماذج اللغوية الكبيرة هي بطبيعتها أكثر تحفظاً، مما يجعلها مناسبة لتحديد الحالات التي تكون فيها الملخصات غير كافية.

2. المرحلة الثانية: التحقق على مستوى الفقرة (التصعيد الانتقائي)

• المحفز: يتم تفعيل هذه المرحلة فقط عندما تسفر المرحلة الأولى عن نتيجة NEI.
• استرجاع النص الكامل: يسترجع النظام الورقة الكاملة باستخدام استراتيجية تصعيد مماثلة (Direct URL، arXiv، مستودعات الوصول المفتوح، أو بحث ويب بمساعدة النماذج الل لغوية الكبيرة).
• استخراج الفقرات: باستخدام نهج التوليد المعزز بالاسترجاع (RAG)، يتم تقسيم النص الكامل إلى أجزاء (chunks). يقوم النظام بتضمين (embedding) الادعاء وأجزاء النص، واسترجاع أفضل $k$ من الفقرات الأكثر صلة بناءً على تشابه جيب التمام (cosine similarity).
• الحكم النهائي: يقوم محقق ثانٍ يعمل بنموذج لغوي كبير بتحليل الفقرات المسترجعة مقابل الادعاء لإنتاج التسمية النهائية.

المساهمات الرئيسية

• مسار معالجة من مرحلتين: تقديم نظام يقوم بالتحقق على مستوى الملخص مع آلية خروج مبكر، مع التصعيد إلى مستوى الفقرة عند الضرورة فقط.
• سلاسل استرجاع قوية: تطوير استراتيجيات استرجاع متعددة المصادر لتحليل الاستشهادات، واسترجاع الملخصات، واسترجاع النصوص الكاملة، مما يتيح التحقق حتى مع وجود بيانات وصفية مشوشة أو غير كاملة.
• تحليل معايرة النموذج: تحليل مفصل يكشف أن النماذج اللغوية الكبيرة المختلفة تظهر تحيزات متباينة تحت حالة عدم اليقين. وتحديداً، وُجد أن نموذج GPT-5.4 حذر للغاية (يميل غالباً إلى NEI)، بينما نموذج Claude Sonnet 4.6 مفرط في الثقة (يميل إلى الالتزام بـ SUPPORTS/CONTRADICTS حتى مع وجود أدلة غير مكتملة). يستفيد المسار من هذه السلوكيات المتكاملة عبر استخدام النموذج المتحفظ كمرشح أولي والنموذج المتوازن للقرارات النهائية.
• دليل على التصعيد الانتقائي: إثبات أن التصعيد الانتقائي للحالات غير المؤكدة فقط يحسن كلاً من الدقة والكفاءة مقارنة بالنماذج المرجعية التي تعتمد فقط على الملخصات أو التي تعالج النص الكامل بشكل عشوائي.

النتائج التجريبية
تم تقييم النظام على معيار SCITANCE، وهو مجموعة بيانات تضم 656 حالة مشتقة من جمل استشهادية.

• الأداء: حقق DEEPSCIVERIFY معدل 86.7 Micro-F1 و 81.5 Macro-F1 في إعداد الفئات الثلاث. وهذا يتفوق على أقوى نموذج مرجعي يعتمد على الملخص فقط (GPT-4) بمقدار +4.5 Micro-F1 ويحسن عن أفضل نتيجة سابقة على SCITANCE بمقدار +6.6 Micro-F1.
• الكفاءة: يحل النظام 67.0% من الحالات على مستوى الملخص، متجنباً استرجاع النص الكامل لغالبية الحالات.
• دراسات الاستئصال (Ablation Studies):
  • RAG مقابل استخراج LLM: تفوق نهج استخراج الفقرات القائم على RAG (باستاستخدام تشابه التضمين) بشكل كبير على طريقة الاستخراج القائمة على LLM. حسن نهج RAG مقياس Micro-F1 بمقدار +4.5 نقطة عن النموذج المرجعي المعتمد على الملخص فقط، بينما حقق مستخرج LLM زيادة قدرها +1.1 نقطة فقط وأدى إلى تراجع مقياس "الدعم مقابل عدم الدعم"، ويرجع ذلك على الأرجح إلى اختيار فقرات ذات صلة دلالية ولكنها ضعيفة من حيث الأدلة.
  • استخدام النص الكامل: أدى الاستخدام العشوائي للنص الكامل بواسطة نماذج منفردة (بدون مسار معالجة مرحلي) إلى مكاسب محدودة أو سلبية، مما يسلط الضال على أن طريقة اختيار الدليل لا تقل أهمية عن حجم الدليل نفسه.

الأهمية والادعاءات
تدعي الورقة أن التصعيد الانتقائي للأدلة هو اتجاه واعد لتحسين المحاذاة بين الادعاء العلمي والاستشهاد. ويجادل المؤلفون بأن التحدي الرئيسي ليس مجرد استرجاع المزيد من المعلومات، بل تحديد الأجزاء المحددة من المستند الأكثر إفادة لادعاء ما. ومن خلال الجمع بين سلوكيات المعايرة المتكاملة لنماذج لغوية كبيرة مختلفة مع عملية تحقق مرحلية، يحقق DEEPSCIVERIFY موثوقية أعلى دون تحمل التكلفة الحسابية لمعالجة النصوص الكاملة لكل حالة. وتظل النتائج متواضعة فيما يتعلق بالنطاق، حيث يشير المؤلفون إلى أن تقييمهم يقتصر على مجموعة بيانات SCITANCE ومجال واحد، لكن النتائج تقدم استراتيجية قابلة للتعميم للتحقق العلمي عالي الخطورة.