Can a Large Language Model Serve as the Missing Second Reviewer? Prominence Bias, Retrieval Effects, and a Confidence-Fabrication Gap in an Empirical Evaluation of Two Published Meta-Analyses

ملخص تقني: هل يمكن للنماذج اللغوية الكبيرة أن تعمل كمراجع ثانٍ مفقود؟

بيان المشكلة
تنتشر المراجعات المنهجية (SRs) والتحليلات التلوية (MAs) أحادية المؤلف في الأدبيات الطبية الحيوية، على الرغم من التوجيهات المنهجية (مثل دليل كوكرين) التي لا تنصح بالتأليف الفردي بسبب مخاطر إغفال الدراسات، أو أخطاء النسخ، أو تحيز الاختيار. والوسيلة القياسية للتخفيف من ذلك هي الفحص والاستخراج المستقل من قبل مراجع بشري ثانٍ. وقد اقتُرح استخدام النماذج اللغوية الكبيرة (LLMs) كآلية لتوفير هذا "المراجع الثاني المفقود" دون الحاجة إلى متعاون بشري ثانٍ. ومع ذلك، فإن دراسات التحقق الحالية محدودة بحجم عينات صغير (4-26 مراجعة)، واختبارات أحادية الحالة، والافتقار إلى التوصيف الميكانيكي حول كيفية نجاح أو فشل هذه النماذج في مهام محددة.

المنهجية
تقدم هذه الدراسة تقييماً تجريبياً لنموذج لغوي كبير متاح للجمهور من الجيل الحالي (Claude، Anthropic) يعمل كمراجع ثانٍ عبر تصميمين مختلفين للمهام، تم اختبارهما على مراجعتين منشورتين تم اختيارهما بناءً على الفصل الموضوعي والزمني:

1. التصميم (ب) (التحقق من استخراج المراجع الثاني): زُوّد النموذج بقائمة معروفة مكونة من تسع تجارب عشوائية محكومة (RCTs) من تحليل تلوي لمرض السكري والسرطان (metformin-and-cancer). كانت المهمة هي استخراج مقاييس النتائج، وحجم التأثير، وفترات الثقة بشكل مستقل، وتحديد مخاوف جودة البيانات، وحساب التقدير المجمع. تم اختبار النموذج عبر 8 عمليات تشغيل مستقلة باستخدام إصدارين من مخطط المحفز (v1 و v2)، حيث أضاف الثاني حقولاً مهيكلة لـ "أساس المصدر" (sourcing_basis) و"علامة جودة البيانات" (data_quality_flag).
2. التصميم (أ) (التكرار الذاتي): زُوّد النموذج فقط بسؤال بحثي وفق منهجية PICO وتاريخ قطع للأدبيات لتحليل تلوي حول التدخل التاجي (PCI) متعدد الأوعية مقابل التدخل في الوعاء المسبب فقط. كانت المهمة هي تحديد الدراسات المدرجة بشكل مستقل، واستخراج البيانات، وتوليد استنتاج. تم اختبار هذا التصميم في شرطين:
   • بدون استرجاع (Without Retrieval): 3 عمليات تشغيل تعتمد فقط على المعرفة البارامترية للتدريب.
   • مع الاسترجاع (With Retrieval): 5 عمليات تشغيل تتضمن تعليمات صريحة باستخدام أدوات البحث عبر الويب، مع تسجيل استعلامات البحث حرفياً والإفصاح عن استخدام البحث.

تم التحقق من جميع مخرجات النموذج بشكل مستقل من قبل المؤلف مقابل المصادر الأولية (تقارير التجارب الأصلية) للتمييز بين الأخطاء الحقيقية والتلفيقات من قبل النموذج.

النتائج الرئيسية

• كشف الأخطاء والتلفيق (التصميم ب):

  • حدد النموذج باستمرار خللاً داخلياً في المراجعة المنهجية المصدر: تكرار نسبة المخاطر (hazard ratio) وفترة الثقة لنقطتين نهائيتين مختلفتين في تجربة واحدة.
  • عبر 8 عمليات تشغيل، رصد النموذج أربعة اختلافات إضافية تم تأكيد أنها أخطاء حقيقية في المراجعة المنهجية المنشورة (مثل أخطاء نسخ حجم العينة، وتناقضات التعمية، وعدم تطابق حجم التأثير) والتي فات فريق المراجعة البشري المكون من شخصين.
  • والأهم من ذلك، أنتج النموذج تلفيقاً واحداً مؤكداً: تناقضاً عددياً داخلياً مختلقاً لتجربة لم تكن موجودة في المصدر.
  • فجوة الثقة: لم تنجح لغة الثقة لدى النموذج و"أساس المصدر" الذي أبلغ عنه ذاتياً في التمييز بشكل موثوق بين الاكتشافات الحقيقية والتلفيقات؛ حيث قُدم التلفيق بنفس التسمية المهيكلة والنبرة التي استُخدمت في النتائج الحقيقية.

• تحديد الدراسات والاسترجاع (التصميم أ):

  • بدون استرجاع: بلغ متوسط استدعاء التجارب المدرجة الفعلية 55.6%. لوحظ تحيز بروز (prominence bias) واضح: حدد النموذج بشكل صحيح التجارب البارزة والمشار إليها في الإرشادات، لكنه أغفل بشكل منهجي التجارب الأصغر أو الأقدم أو ذات النطاق الأضيق.
  • مع الاسترجاع: تحسن متوسط الاستدعاء بشكل ملحوظ ليصل إلى 87.5%. ومع ذلك، لم يمحُ الاسترجاع أخطاء الدقة: فغالباً ما خلط النموذج بين الدراسات، حيث استورد تجارب حقيقية مرتبطة موضوعياً ولكنها ليست جزءاً من قائمة مراجع الورقة المحددة (الخلط بين الأوراق البحثية).
  • فشل التركيب (Synthesis Failure): في كلا الشرطين (مع أو بدون استرجاع)، لم يحقق النموذج تركيباً كمياً مستقلاً. فإما أن استشهدت عمليات التشغيل بالتقديرات المجمعة الموجودة في مراجعات أخرى، أو قامت بحساب تجميعات جزئية لمجموعة فرعية من الدراسات، مع الإشارة صراحةً إلى بقية الدراسات بأنها غير مجمعة بسبب عدم التجانس أو نقص البيانات الخام.

المساهمات الرئيسية

1. التوصيف الميكانيكي: تتجاوز هذه الدراسة مقايقات الدقة الإجمالية لتوصيف أنماط الفشل المحددة: الميل لتلفيق تناقضات بثقة عالية، و"تحيز البروز" في تحديد الدراسات ذاتياً، وعدم قدرة أدوات الاسترجاع على حل مسألة دقة المصدر الخاصة بالأوراق البحثية.
2. التحقق من الفائدة التكميلية: تثبت النتائج أن النموذج اللغوي الكبير يمكنه رصد أخطاء حقيقية يمكن التحقق منها بشكل مستقل، مما يشير إلى قيمته كفحص تكميلي وليس كبديل.
3. تحسين المخططات والبروتوكولات: تسلط الدراسة الضوء على ضرورة وجود حقول إفصاح مهيكلة (مثل "أساس المصدر") وعدم كفاية الثقة المبلغ عنها ذاتياً. كما تؤكد أن الاسترجاع يحسن الاستدعاء ولكنه لا يحل مشكلة التحقق من المصدر أو الحساب المستقل.

الأهمية والادعاءات
تخلص الورقة بتواضع إلى أن المراجعة الثانية بمساعدة النماذج اللغوية الكبيرة هي تكميلية، وليست متفوقة على التحقق البشري.

• دعم الإطار التكميلي: تدعم البيانات نشر النماذج اللغوية الكبيرة لكشف الأخطاء الحقيقية وتحسين استدعاء تحديد الدراسات، خاصة عند تجهيزها بأدوات الاسترجاع ومتطلبات الإفصاح المهيكلة.
• رفض الاستبدال: لا تدعم النتائج استخدام النماذج اللغية الكبيرة كبديل للتحقق البشري. فوجود تلفيقات واثقة واستمرار قيود الدقة والتركيب يعني أن كل مخرج للنموذج لا يزال يتطلب تحققاً مستقلاً — وهو نفس المتطلب الذي يحفز المراجعة البشرية المزدوجة في المقام الأول.
• مبادئ التصميم: تقترح الدراسة ثلاثة مبادئ تصميمية للنشر المسؤول: (1) إلزامية حقول المصدر المهيكلة والإفصاح عن جودة البيانات؛ (2) شروط افتراضية تدعم الاسترجاع مع تزويد النص الأساسي للمصدر لعملية الاستخراج؛ و(3) تسجيل التأثيرات المجمعة لكل نتيجة بدلاً من الاعتماد على تقدير واحد منهار.

يشير المؤلفون إلى القيود، بما في ذلك النطاق الصغير (مراجعتان فقط)، واستخدام مدخلات الاقتباس فقط في التصميم (ب) (بدلاً من نص المصدر الأولي)، والتحقق من قبل مؤلف واحد، مؤطرين هذه النتائج كمساهمة مستقلة تهدف إلى توجيه التقييمات الأكبر حجماً في المستقبل.