Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

ملخص تقني: التحقق من صحة مسار فحص آلي ذي مرحلتين للمراجعات المنهجية الطبية

بيان المشكلة
تواجه المراجعات المنهجية (SRs) اختناقاً متزايداً في عملية فحص العناوين والملخصات بسبب التوسع الأسي في الأدبيات الطبية الحيوية. وبينما توفر النماذج اللغوية الكبيرة (LLMs) مساراً محتملاً للأتمتة، فإن التحقق من صحتها في هذا المجال غالباً ما يتأثر بمقاييس غير مناسبة. فالمقاييس القياسية مثل معامل "كوهين كابا" (Cohen's kappa) غير مستقرة رياضياً في ظل حالات انخفاض الانتشار وتوزيع الفئات غير المتوازن الشائع في المراجعات المنهجية. علاوة على ذلك، تفتقر دراسات التحقق الحالية غالباً إلى الجمع بين عناصر تصميم حاسمة: مسار هجين ذي مرحلتين (قواعد + نموذج لغوي كبير)، ومخطط تصنيف ثلاثي يتضمن فئة "غير مؤكدة" تم أخذ عينات منها بشكل منفصل، وأخذ عينات طبقية، واستخدام معاملات اتفاق قوية تجاه الانتشار (PABAK وGwet's AC1). بالإضافة إلى ذلك، غالباً ما تُثار تساؤلات حول صحة المقارنات عندما يعمل مصمم المسار نفسه كمراجع بشري.

المنهجية
تقدم هذه الدراسة دراسة اتفاق استباقية تتحقق من صحة مسار فحص آلي ذي مرحلتين مقابل ثلاثة مراجعين بشريين مستقلين ضمن سياق مراجعة منهجية طبية (تفاعل الصفائح الدموية العالي عند العلاج، ومقاومة الأسبرين، وتصلب الشريان السباتي).

• مجموعة البيانات: 904 سجلاً تم استردادها من قواعد بيانات متعددة (PubMed، Scopus، Europe PMC، OpenAlex، arXiv).
• بنية المسار:
  • المرحلة 1 (قائم على القواعد): نص برمجي بلغة بايثون يستخدم استدلالات الكلمات المفتاحية المستمدة من معايير PICO (بدون تعلم آلي أو نماذج لغوية كبيرة) لتصنيف السجلات إلى: "تضمين" (INCLUDE)، "استبعاد" (EXCLUDE)، أو "غير مؤكد" (UNCERTAIN).
  • المرحلة 2 (التحكيم بواسطة النموذج اللغوي الكبير): تتم معالجة السجلات التي صُنفت كـ "غير مؤكدة" في المرحلة الأولى بواسطة نموذج DeepSeek V4 Pro (بأسلوب التعلم الصفري - zero-shot، ودرجة حرارة = 0) عبر أمر (prompt) ثابت لحسمها إلى "تضمين" أو "استبعاد".
• تصميم التحقق:
  • أخذ العينات: تم سحب عينة طبقية مكونة من 185 سجلاً: 50 من كل طبقة من طبقات المرحلة الأولى الثلاث (تضمين، استبعاد، غير مؤكد) و35 من مخرجات المرحلة الثانية للنموذج اللغوي الكبير.
  • المراجعون: قام ثلاثة أطباء بتقرير العينة بشكل مستقل ومع دون معرفة بالتصنيفات الآلية:
    1. E.P. (مصمم المسار، ملم بالمحتوى).
    2. D.C. (خارجي عن المشروع).
    3. P.P.B. (خارجي عن المشروع).
  • المقاييس: استخدمت الدراسة الحساسية (sensitivity)، والنوعية (specificity)، وPABAK، وGwet's AC1 (مع $q=3$) لقياس التوافق. كما أبلغت عن "العمل الموفر مقابل أخذ العينات" (WSS) و"العدد اللازم للقراءة" (NNR) استجابةً للتوجيهات التحريرية لتقييم التعلم الآلي والذكاء الاصطناعي التوليدي في المراجعات المنهجية. لم تُستخدم تسميات الأغلبية (2 من 3) كلوحة إضافية فحسب، بل لم تحل محل الجداول الثنائية كمرجع أساسي للحساسية.

المساهمات الرئيسية
يدعي البحث أنه الأول الذي يجمع بين خمسة أبعاد منهجية محددة:

1. تطبيق في المجال الطبي.
2. مسار هجين ذي مرحلتين (قواعد + نموذج لغوي كبير).
3. تصنيف ثلاثي مع فئة "غير مؤكدة" مأخوذة العينات بشكل منفصل.
4. أخذ عينات طبقية مع ثلاثة مراجعين بشريين مستقلين.
5. التقرير المزدوج عن المعاملات القوية تجاه الانتشار (PABAK وGwet's AC1) جنباً إلى جنب مع مقاييس عبء العمل.

يعالج البحث صراحةً محدودية "المصمم كمراجع" من خلال إدراج مراجعين خارجيين وفصل تحليل قرار الاستبعاد الأساسي عن التصنيف الدقيق للسجلات المضمنة.

النتائج

• الهدف الأساسي (الاستبعاد الآلي في المرحلة 1): أظهر المسار توافقاً شبه تام مع المراجعين البشريين في قرار الاستبعاد التلقائي للسجلات.
  • طبقة المرحلة 1-استبعاد (EXCLUDE): استبعد المسار 670/904 سجلاً (74.1%).
  • الاتفاق: بلغ PABAK وAC1 نسبة 1.000 مقابل E.P. (48/48) وD.C. (50/50). مقابل P.P.B.، كان الاتفاق PABAK = 0.940 / AC1 = 0.959 (48/50 استبعاد، 2 غير مؤكد).
  • الاتفاق البشري: كان الاتفاق بين البشر أعلى بين القارئين الخارجيين (PABAK = 0.854) وأقل عند إشراك E.P.، مما يشير إلى تأثير محتمل للإلمام بالموضوع، رغم أن هذا لم يكن متغيراً تم قياسه.
• الهدف الثانوي (التصنيف الدقيق/التضمين): أدى المسار أداءً ضعيفاً في تحديد سجلات "التضمين".
  • الحساسية الإجمالية: 0.800 مقابل E.P.، و0.500 مقابل D.C.، و0.833 مقابل Berti.
  • السلب الكاذب: أغفل المسار السجلات التي حددها البشر كـ "تضمين"، خاصة في المرحلة الثانية. بالنسبة للسجلات الأربعة التي اتفقت أغلبية البشر على أنها "تضمين"، صنفها الجهاز كـ "غير مؤكد" أو "استبعاد" (0/4 استعادة).
  • أداء المرحلة 2: أدت عملية التحكيم بواسطة النموذج اللغوي الكبير لـ 94 سجلاً غير مؤكداً إلى 11 تضمين و83 استبعاد، لكن الحساسية ضد التسميات البشرية ظلت منخفضة.
• مقاييس عبء العمل: تعكس نسبة WSS البالغة 74.1% proportion السجلات التي تمت إزالتها بواسطة مرشح المرحلة الأولى، والتي تم التحقق منها عبر طبقة الاستبعاد المأخوذة عيّنتها.

الأهمية والادعاءات
يحدد البحث نطاقه وأهميته بتواضع:

• القدرة المتحقق منها: تتحقق الدراسة من قرار الاستبعاد التلقائي في المرحلة 1 كوسيلة موثوقة لإزالة حوالي 74% من السجلات (الأوراق "الخارجة عن الموضوع بوضوح") من سير عمل المراجعة المنهجية. وقد أكد ثلاثة أطباء مستقلين عملية الاستبعاد هذه.
• القدرة غير المتحقق منها: تنص الدراسة صراحة على أن التصنيف الدقيق لسجلات "التضمين" ليس متحققاً منه. فقد أظهر البشر أنفسهم اتفاقاً منخفضاً على السجلات المتبقية التي كانت "تضمين" (كان التقاطع الثلاثي سجلاً واحداً فقط)، وفشل الجهاز في استعادة السجلات القليلة التي اتفق البشر على تضمينها.
• الآثار المنهجية: تشير النتائج إلى أنه بينما يمكن للأتمتة التعامل بفعالية مع المهمة الكبرى للاستبعاد، فإن المهمة المتبقية لتحديد الدراسات ذات الصلة تظل مهمة بشرية تتطلب خبرة في المجال. وتحذر الدراسة من أن النتائج خاصة بهذا الـ PICO وهذا المسار ولا تنتقل تلقائياً إلى مواضيع أخرى.
• التوصية بالمقاييس: يؤكد المؤلفون على ضرية استخدام PABAK وGwet's AC1 بدلاً من Cohen's kappa للتحقق من صحة فحص المراجعات المنهجية نظراً لعدم استقرار الانتشار.

في الختام، تثبت الورقة أن المرشح القائم على القواعد يمكنه بأمان تخفيف الجزء الأكبر من عبء العمل في فحص المراجعات المنهجية في هذا السياق الطبي المحدد، لكنها لا تدعي أن النماذج اللغوية الكبيرة يمكنها حالياً استبدال الحكم البشري في المهمة الحرجة المتمثلة في تحديد الدراسات ذات الصلة.