Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

तकनीकी सारांश: मेडिकल सिस्टमैटिक रिव्यूज के लिए एक टू-स्टेज ऑटोमेटेड स्क्रीनिंग पाइपलाइन का सत्यापन

समस्या विवरण
बायोमेडिकल साहित्य के घातीय विस्तार के कारण व्यवस्थित समीक्षाओं (सिस्टमैटिक रिव्यूज - SRs) में शीर्षक-सार (टाइटल-एब्स्ट्रैक्ट) स्क्रीनिंग एक बढ़ती हुई बाधा बन गई है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) स्वचालन (ऑटोमेशन) के लिए एक संभावित मार्ग प्रदान करते हैं, इस क्षेत्र में उनका सत्यापन अक्सर अनुपयुक्त मेट्रिक्स के कारण समझौतापूर्ण होता है। मानक माप जैसे कोहेन्स कप्पा (Cohen's kappa), SRs में सामान्य रूप से पाए जाने वाले निम्न-प्रचलन (low-prevalence) और असंतुलित क्लास डिस्ट्रीब्यूशन के तहत गणितीय रूप से अस्थिर होते हैं। इसके अलावा, मौजूदा सत्यापन अध्ययन अक्सर महत्वपूर्ण डिजाइन तत्वों के संयोजन का अभाव प्रदर्शित करते हैं: एक हाइब्रिड टू-स्टेज पाइपलाइन (रूल्स + LLM), एक तीन-तरफा वर्गीकरण योजना जिसमें एक अलग से सैंपल किया गया "अनसर्टेन" (अनिश्चित) क्लास शामिल है, स्तरीकृत नमूनाकरण (stratified sampling), और प्रचलन-रोधी सहमति गुणांक (PABAK और Gwet's AC1) का उपयोग। इसके अतिरिक्त, जब पाइपलाइन डिजाइनर ही मानव सत्यापनकर्ता (human validator) के रूप में कार्य करता है, तो तुलना की वैधता पर भी प्रश्न उठाए जाते हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन एक मेडिकल सिस्टमैटिक रिव्यू के संदर्भ में (हाई ऑन-ट्रीटमेंट प्लेटलेट रिएक्टिविटी, एस्पिरिन रेजिस्टेंस, और कैरोटिड प्लाक) तीन स्वतंत्र मानव समीक्षकों के विरुद्ध एक प्रोस्पेक्टिव एग्रीमेंट स्टडी के माध्यम से एक टू-स्टेज ऑटोमेटेड स्क्रीनिंग पाइपलाइन को सत्यापित करता है।

• डेटासेट: कई डेटाबेस (PubMed, Scopus, Europe PMC, OpenAlex, arXiv) से प्राप्त 904 रिकॉर्ड।
• पाइपलाइन आर्किटेक्चर:
  • स्टेज 1 (रूल-बेस्ड): PICO-व्युत्पन्न कीवर्ड ह्यूरिस्टिक्स (कोई ML/LLM नहीं) का उपयोग करने वाला एक पायथन स्क्रिप्ट रिकॉर्ड्स को INCLUDE, EXCLUDE, या UNCERTAIN में वर्गीकृत करता है।
  • स्टेज 2 (LLM एडजुडिकेशन): स्टेज 1 द्वारा UNCERTAIN लेबल किए गए रिकॉर्ड्स को एक फिक्स्ड प्रॉम्प्ट के माध्यम से (जीरो-शॉट, टेम्परेचर = 0) DeepSeek V4 Pro द्वारा प्रोसेस किया जाता है ताकि उन्हें INCLUDE या EXCLUDE में हल किया जा सके।
• सत्यापन डिजाइन:
  • सैंपलिंग: 185 रिकॉर्डों का एक स्तरीकृत नमूना (stratified sample) लिया गया: तीनों स्टेज 1 स्ट्रेटा (INCLUDE, EXCLUDE, UNCERTAIN) में से प्रत्येक से 50 रिकॉर्ड, और स्टेज 2 LLM आउटपुट से 35 रिकॉर्ड।
  • समीक्षक: तीन चिकित्सकों ने स्वतंत्र रूप से और ऑटोमेटेड लेबल से अनभिज्ञ होकर नमूने का निर्णय लिया:
    1. E.P. (पाइपलाइन डिजाइनर, कॉर्पस से परिचित)।
    2. D.C. (परियोजना से बाहरी)।
    3. P.P.B. (परियोजना से बाहरी)।
  • मेट्रिक्स: अध्ययन ने सहमति मापने के लिए सेंसिटिविटी, स्पेसिफिसिटी, PABAK और Gwet's AC1 ($q=3$) का उपयोग किया। इसने SRs में ML/GenAI मूल्यांकन के लिए संपादकीय मार्गदर्शन के जवाब में वर्क सेव्ड ओवर सैंपलिंग (WSS) और नंबर नीडेड टू रीड (NNR) को भी रिपोर्ट किया। बहुमत लेबल (2 में से 3) को एक पूरक पैनल के रूप में कंप्यूट किया गया था लेकिन उन्हें सेंसिटिविटी के लिए प्राथमिक संदर्भ के रूप में पेयरवाइज टेबल से बदला नहीं गया।

मुख्य योगदान
यह पेपर दावा करता है कि यह उन पांच विशिष्ट पद्धतिगत आयामों को एक साथ जोड़ने वाला पहला अध्ययन है:

1. एक मेडिकल डोमेन अनुप्रयोग।
2. एक हाइब्रिड टू-स्टेज पाइपलाइन (रूल्स + LLM)।
3. एक तीन-तरफा वर्गीकरण जिसमें अलग से सैंपल की गई अनसर्टेन क्लास शामिल है।
4. तीन स्वतंत्र मानव समीक्षकों के साथ स्तरीकृत नमूनाकरण।
5. सेंसिटिविटी के साथ PABAK और Gwet's AC1 जैसे प्रचलन-रोधी गुणांकों की दोहरी रिपोर्टिंग।

अध्ययन ने दो बाहरी समीक्षकों को शामिल करके और 'डिज़ाइनर-एज़-वैलिडेटर' की सीमा को संबोधित करते हुए, प्राथमिक एक्सक्लूजन निर्णय को माध्यमिक फाइन-क्लासिफिकेशन के रिकॉर्ड से अलग करके इस समस्या का समाधान किया है।

परिणाम

• प्राथमिक लक्ष्य (स्टेज 1 ऑटोमैटिक एक्सक्लूजन): पाइपलाइन ने रिकॉर्ड्स को स्वचालित रूप से बाहर करने के निर्णय पर मानव समीक्षकों के साथ लगभग पूर्ण सहमति (near-perfect concordance) प्रदर्शित की।
  • स्टेज 1-EXCLUDE स्ट्रटम: पाइपलाइन ने 904 में से 670 रिकॉर्ड्स (74.1%) को बाहर कर दिया।
  • सहमति: PABAK और AC1, E.P. (48/48) और D.C. (50/50) के विरुद्ध 1.000 था। P.P.B. के विरुद्ध, सहमति PABAK = 0.940 / AC1 = 0.959 (48/50 EXCLUDE, 2 UNCERTAIN) थी।
  • मानव सहमति: अंतर-मानव सहमति दो बाहरी पाठकों के बीच उच्चतम (PABAK = 0.854) थी और E.P. के शामिल होने पर कम थी, जो एक संभावित 'फेमिलियारिटी इफेक्ट' का सुझाव देती है, हालांकि यह एक मापा गया वेरिएबल नहीं था।
• द्वितीयक लक्ष्य (फाइन क्लासिफिकेशन/INCLUDE): पाइपलाइन "INCLUDE" रिकॉर्ड्स की पहचान करने में खराब प्रदर्शन करती है।
  • कुल संवेदनशीलता (Overall Sensitivity): E.P. के विरुद्ध 0.800, D.C. के विरुद्ध 0.500, और Berti के विरुद्ध 0.833।
  • फॉल्स नेगेटिव्स: पाइपलाइन ने मानव-पहचाने गए INCLUDE रिकॉर्ड्स को मिस किया, विशेष रूप से स्टेज 2 में। उन चार रिकॉर्ड्स के लिए जहाँ बहुमत मनुष्यों ने "INCLUDE" पर सहमति जताई थी, मशीन ने उन्हें UNCERTAIN या EXCLUDE के रूप में लेबल किया (0/4 रिकवरी)।
  • स्टेज 2 प्रदर्शन: 94 अनसर्टेन रिकॉर्ड्स के LLM एडजुडिकेशन के परिणामस्वरूप 11 INCLUDE और 83 EXCLUDE मिले, लेकिन मानव लेबल के विरुद्ध संवेदनशीलता कम बनी रही।
• वर्कलोड मेट्रिक्स: 74.1% का WSS उस अनुपात को दर्शाता है जिसे स्टेज 1 फिल्टर द्वारा हटाया गया, जिसे सैंपल किए गए EXCLUDE स्ट्रटम द्वारा सत्यापित किया गया है।

महत्व और दावे
पेपर अपने दायरे और महत्व को विनम्रतापूर्वक परिभाषित करता है:

• सत्यापित क्षमता (Validated Capability): अध्ययन ने रिकॉर्ड्स को स्वचालित रूप से बाहर करने के निर्णय (स्टेज 1 ऑटोमैटिक-एक्सक्लूजन) को व्यवस्थित समीक्षा वर्कफ़्लो से लगभग 74% रिकॉर्ड्स (स्पष्ट रूप से विषय से बाहर के पेपर्स) को हटाने के एक विश्वसनीय तरीके के रूप में सत्यापित किया है। तीन स्वतंत्र चिकित्सकों ने इस एक्सक्लूजन स्लाइस की पुष्टि की।
• असत्यापित क्षमता (Unvalidated Capability): अध्ययन स्पष्ट रूप से कहता है कि INCLUDE रिकॉर्ड्स का फाइन क्लासिफिकेशन सत्यापित नहीं है। मनुष्यों ने स्वयं भी इस बात पर कम सहमति दिखाई कि कौन से अवशेष रिकॉर्ड "INCLUDE" थे (ट्रिपल इंटरसेक्शन केवल एक रिकॉर्ड था), और मशीन उन कुछ रिकॉर्ड्स को रिकवर करने में विफल रही जिन पर मनुष्यों ने सहमति जताई थी।
• पद्धतिगत निहितार्थ: परिणाम बताते हैं कि जबकि स्वचालन (ऑटोमेशन) अधिकांश स्क्रीनिंग वर्कलोड को प्रभावी ढंग से संभाल सकता है, अवशेष कार्य (residual task) प्रासंगिक अध्ययनों की पहचान करने का एक मानवीय, डोमेन-अनुभवी कार्य बना हुआ है। अध्ययन चेतावनी देता है कि परिणाम इस विशिष्ट PICO और पाइपलाइन के लिए विशिष्ट हैं और अन्य विषयों पर स्वतः लागू नहीं होते हैं।
• मेट्रिक अनुशंसा: लेखक SR स्क्रीनिंग सत्यापन के लिए कोहेन्स कप्पा के बजाय PABAK और Gwet's AC1 के उपयोग की आवश्यकता पर जोर देते हैं।

निष्कर्षतः, यह पेपर स्थापित करता है कि एक नियम-आधारित फ़िल्टर इस विशिष्ट मेडिकल संदर्भ में स्क्रीनिंग वर्कलोड के बड़े हिस्से को सुरक्षित रूप से कम कर सकता है, लेकिन यह दावा नहीं करता है कि LLMs वर्तमान में प्रासंगिक अध्ययनों की पहचान करने के महत्वपूर्ण कार्य के लिए मानव निर्णय का स्थान ले सकते हैं।