Large Language Models for Automated AGREE II Quality Appraisal of Sepsis Clinical Practice Guidelines: A Methodological Comparative Study

आधुनिक चिकित्सा की उच्च-दांव वाली दुनिया में, जीवन रक्षक उपचार अक्सर नैदानिक अभ्यास दिशानिर्देशों (clinical practice guidelines) द्वारा निर्देशित होते हैं। ये केवल आकस्मिक सुझाव नहीं हैं, बल्कि सावधानीपूर्वक निर्मित दस्तावेज़ हैं जो डॉक्टरों के लिए स्पष्ट निर्देश देने हेतु सर्वोत्तम उपलब्ध वैज्ञानिक साक्ष्य का संश्लेषण करते हैं। वे चिकित्सा टीमों को सेप्सिस जैसी जटिल स्थितियों को प्रबंधित करने का तरीका बताते हैं, जो संक्रमण के प्रति एक खतरनाक प्रतिक्रिया है जिससे अंग काम करना बंद कर सकते हैं और हजारों जानें जा सकती हैं। हालाँकि, इन दिशानिर्देशों की गुणवत्ता बहुत भिन्न होती है। कुछ कठोर, पारदर्शी तरीकों पर आधारित होते हैं, जबकि अन्य में गहराई या स्पष्टता की कमी हो सकती है। विश्वसनीय को अविश्वसनीय से अलग करने के लिए, विशेषज्ञ AGREE II नामक एक विशिष्ट उपकरण का उपयोग करते हैं। यह उपकरण एक विस्तृत चेकलिस्ट की तरह कार्य करता है, जो किसी दिशानिर्देश की संरचना, उसके साक्ष्य और वास्तविक दुनिया में उपयोग के लिए उसकी व्यावहारिकता के बारे में तेईस विशिष्ट प्रश्न पूछता है। पारंपरिक रूप से, इस चेकलिस्ट को भरना एक धीमी, महंगी प्रक्रिया है जिसके लिए विशेषज्ञों की ऐसी टीमों की आवश्यकता होती है जो हर शब्द को पढ़ें और उसके गुणों पर बहस करें। जैसे-जैसे प्रकाशित होने वाले दिशानिर्देशों की संख्या उपलब्ध विशेषज्ञों की संख्या से अधिक तेजी से बढ़ रही है, चिकित्सा समुदाय एक बाधा का सामना कर रहा है: मात्रा से अभिभूत हुए बिना गुणवत्ता कैसे सुनिश्चित की जाए।

यहीं पर आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) की कहानी में प्रवेश होता है, विशेष रूप से बड़े भाषा मॉडल (large language models) के रूप में जानी जाने वाली नई पीढ़ी के कंप्यूटर प्रोग्राम। टेक्स्ट की विशाल मात्रा पर प्रशिक्षित ये सिस्टम, जटिल जानकारी को पढ़ने, समझने और सारांशित करने की क्षमता प्रदर्शित कर चुके हैं। शोधकर्ताओं ने सोचा कि क्या ये डिजिटल उपकरण चिकित्सा दिशानिर्देशों को ग्रेड देने का भारी काम संभाल सकते हैं, जो मानव विशेषज्ञ के हस्तक्षेप से पहले एक तेज़, स्वचालित प्रथम चरण के रूप में कार्य कर सकें। वैज्ञानिकों की एक टीम ने इस विचार का परीक्षण करने के लिए छह अलग-अलग बड़े भाषा मॉडलों को विशेषज्ञों के एक पैनल के विरुद्ध खड़ा करके इस विचार को परखने का निर्णय लिया। उन्होंने कंप्यूटरों को उत्तरों का अनुमान लगाने के लिए नहीं कहा; इसके बजाय, उन्होंने उन्हें सेप्सिस के इलाज के लिए ग्यारह वास्तविक दुनिया के दिशानिर्देशों का पूरा पाठ दिया और उनसे उन्हीं सख्त AGREE II चेकलिस्ट का उपयोग करके स्कोर करने को कहा, जिसका उपयोग मनुष्यों ने पहले ही कर लिया था। लक्ष्य यह देखना था कि क्या मशीनें विशेषज्ञों की तरह सोच सकती हैं, या क्या वे चिकित्सा निर्णय की बारीकियों में लड़खड़ा जाएंगी।

परिणामों ने एक ऐसा संबंध प्रकट किया जो आशाजनक है लेकिन पूर्णता से दूर है। कंप्यूटर मॉडल मध्यम स्तर तक मानव विशेषज्ञों के साथ सहमत होने में सक्षम थे, जिससे दस्तावेजों की सामान्य गुणवत्ता का पता चला। हालाँकि, वे केवल मानव विचार की नकल नहीं कर रहे थे; वे अपनी विशिष्ट त्रुटिपूर्ण पैटर्न विकसित कर रहे थे। सबसे उल्लेखनीय निष्कर्ष एक दिशानिर्देश की "व्यावहारिकता" (applicability) के मूल्यांकन में एक सुसंगत पूर्वाग्रह था। चेकलिस्ट का यह भाग पूछता है कि क्या कोई दस्तावेज़ डॉक्टरों को वास्तव में इसका उपयोग करने के लिए पर्याप्त व्यावहारिक सलाह प्रदान करता है, जिसमें लागत, उपकरण और स्थानीय संसाधनों जैसी चीजें शामिल हैं। मानव विशेषज्ञों ने आम तौर पर इन खंडों को उच्च अंक दिए, जो सिफारिशों के पीछे के व्यावहारिक इरादे को पहचानते हैं। इसके विपरीत, कंप्यूटर मॉडलों ने इन खंडों को लगातार बहुत कम अंक दिए। ऐसा प्रतीत होता है कि मशीनें उपचार को लागू करने के लिए स्पष्ट, चरण-दर-चरण निर्देशों की तलाश कर रही थीं और दिशानिर्देशों को इसलिए दंडित कर रही थीं क्योंकि वे उन्हें प्रदान नहीं कर रहे थे, भले ही दिशानिर्देश अन्यथा सुदृढ़ हों। वे उस सूक्ष्म, वास्तविक दुनिया के संदर्भ को समझने में विफल रहे जिसे मानव डॉक्टर स्वाभाविक रूप से समझते हैं।

इसके विपरीत, मॉडल "विकास की कठोरता" (rigor of development) को ग्रेड देते समय अत्यधिक उदार रहे। चेकलिस्ट का यह भाग इस बात की जांच करता है कि दिशानिर्देश कैसे बनाया गया था, यह देखते हुए कि क्या लेखकों ने सख्त वैज्ञानिक तरीकों का पालन किया है। कंप्यूटर "व्यवस्थित समीक्षा" (systematic review) या "साक्ष्य-आधारित" (evidence-based) जैसे कीवर्ड्स को पहचानने में बहुत अच्छे थे, और जब उन्होंने ये शब्द देखे, तो उन्होंने उच्च अंक दिए। कभी-कभी, उन्होंने ये अंक तब भी दिए जब मानव विशेषज्ञों को लगा कि विधियाँ उतनी मजबूत नहीं थीं जितनी कि भाषा सुझाती थी। मशीनें पाठ की सतह को बहुत अच्छी तरह से पढ़ रही थीं लेकिन कभी-कभी इस गहरे सत्य को चूक गईं कि कार्य वास्तव में कैसे किया गया था। इसने एक अजीब गतिशीलता पैदा की जहाँ कंप्यूटर दिशानिर्देश के व्यावहारिक हिस्सों पर बहुत सख्त और सैद्धांतिक हिस्सों पर बहुत उदार थे।

विशिष्ट स्कोर के अलावा, अध्ययन ने इन विभिन्न मॉडलों के उपयोग की गति और लागत को भी देखा। शोधकर्ताओं ने मापा कि प्रत्येक कंप्यूटर को एक दिशानिर्देश पढ़ने में कितना समय लगा और उत्तर उत्पन्न करने के लिए उसने कितनी डिजिटल "ईंधन" (digital fuel) का उपभोग किया। एक चीनी प्रौद्योगिकी फर्म द्वारा विकसित मॉडल सबसे कुशल के रूप में उभरा। इसने स्कोर उत्पन्न किए जो मानव विशेषज्ञों के साथ अच्छी तरह से मेल खाते थे, इसे केवल पंद्रह सेकंड में किया और सबसे कम डिजिटल संसाधनों का उपयोग किया। एक प्रमुख अमेरिकी टेक कंपनी के एक अन्य मॉडल ने थोड़ा अधिक समय लिया और चलाने में थोड़ा महंगा था, लेकिन इसमें पूर्वाग्रह सबसे कम था, जिसका अर्थ है कि इसके स्कोर मानव औसत के सबसे करीब थे बिना किसी एक दिशा में बहुत अधिक झुके। अध्ययन ने पाया कि इस विशिष्ट कार्य के लिए एक बड़ा, अधिक शक्तिशाली मॉडल आवश्यक रूप से बेहतर नहीं था; वास्तव में, सबसे कुशल मॉडल वह नहीं था जिसका आकार सबसे बड़ा था या जिसके पास सबसे व्यापक चिकित्सा ज्ञान था। यह सुझाव देता है कि इस प्रकार के विस्तृत, संरचित कार्य के लिए, कच्चे आकार की तुलना में नियमों के एक विशिष्ट सेट का पालन करने की क्षमता अधिक महत्वपूर्ण है।

शोधकर्ताओं ने निष्कर्ष निकाला कि ये आर्टिफिशियल इंटेलिजेंस उपकरण मानव विशेषज्ञों को बदलने के लिए तैयार नहीं हैं। यदि कोई अस्पताल केवल एक कंप्यूटर पर यह तय करने के लिए भरोसा करता है कि कौन से दिशानिर्देश उपयोग के लिए पर्याप्त अच्छे हैं, तो वे उत्कृष्ट दस्तावेजों को केवल इसलिए खारिज कर सकते हैं क्योंकि मशीन व्यावहारिक विवरणों के बारे में बहुत सख्त थी, या वे कमजोर दस्तावेजों को स्वीकार कर सकते हैं क्योंकि मशीन फैंसी भाषा से धोखा खा गई थी। इसके बजाय, इन मॉडलों का सबसे अच्छा उपयोग एक ट्राइएज सिस्टम (triage system) के रूप में है। वे सैकड़ों दिशानिर्देशों को जल्दी से स्कैन कर सकते हैं, उन दिशानिर्देशों को चिह्नित कर सकते हैं जो आशाजनक दिखते हैं और उन पर प्रकाश डाल सकते हैं जिन्हें करीब से देखने की आवश्यकता हो सकती है। इससे मानव विशेषज्ञ अपना समय सबसे कठिन मामलों पर केंद्रित करने के लिए स्वतंत्र हो सकेंगे, विशेष रूप से वे दिशानिर्देश जो स्वीकार्य होने की सीमा पर हैं। इस तरह, तकनीक एक शक्तिशाली सहायक के रूप में कार्य करती है, जो मात्रा और गति को संभालती है, जबकि अंतिम, सूक्ष्म निर्णय उन लोगों पर छोड़ देती है जो रोगी देखभाल की वास्तविकता को समझते हैं। अध्ययन पुष्टि करता है कि हालांकि मशीनें शब्दों को पढ़ सकती हैं, लेकिन उन्हें अर्थ समझने के लिए मनुष्यों की आवश्यकता होती है।