Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

हर दिन, जोड़ों के दर्द, सूजन या जकड़न से जूझ रहे हजारों लोग मदद के लिए रुमेटोलॉजिस्ट्स (rheumatologists) को पत्र लिखते हैं। ये पत्र, जिन्हें 'रेफरल' कहा जाता है, एक बाढ़ की तरह आते हैं जिन्हें विशेषज्ञों द्वारा छाँटना पड़ता है। इस छंटनी, जिसे 'ट्राइएज' (triage) कहा जाता है, का लक्ष्य यह तय करना है कि किसे तुरंत देखने की आवश्यकता है क्योंकि उनकी स्थिति किसी अंग या उनके जीवन के लिए खतरा पैदा कर सकती है, और किसे हफ्तों या महीनों तक सुरक्षित रूप से प्रतीक्षा की जा सकती है। यह कार्य वरिष्ठ डॉक्टरों पर पड़ता है, जिन्हें निर्णय लेने के लिए जटिल, असंरचित पाठ (unstructured text) को पढ़ना पड़ता है। यह एक उच्च-मात्रा वाला, मानसिक रूप से थका देने वाला काम है जो मरीजों को देखने और बीमारी के इलाज करने के समय को कम कर देता है। जब यह प्रणाली अच्छी तरह से काम करती है, तो सबसे बीमार लोगों को जल्दी मदद मिलती है। जब यह विफल होती है, तो तेजी से बिगड़ती ऑटोइम्यून स्थिति वाले मरीज को बहुत लंबे समय तक इंतजार करना पड़ सकता है, जिससे स्थायी नुकसान का जोखिम होता है। फिर भी, अनुभवी मानव डॉक्टरों द्वारा किए जाने पर भी, यह छंटनी प्रक्रिया दोषरहित नहीं होती है; विशेषज्ञ अक्सर एक-दूसरे से असहमत होते हैं, और कभी-कभी गंभीर मामलों को अनदेखा या विलंबित कर दिया जाता है।

जैसे-जैसे रेफरल की संख्या उपलब्ध विशेषज्ञों की संख्या से अधिक तेजी से बढ़ रही है, क्लीनिक आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करने के तरीकों की तलाश कर रहे हैं। विशेष रूप से, वे 'लार्ज लैंग्वेज मॉडल्स' (large language models) का परीक्षण कर रहे हैं, जो कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है और जो मानव भाषा को समझ और उत्पन्न कर सकते हैं। इन मॉडल्स का उपयोग पहले से ही चिकित्सा संबंधी प्रश्नों के उत्तर देने और निदान में सहायता करने के लिए किया जा रहा है, लेकिन यह स्पष्ट नहीं था कि क्या वे रुमेटोलॉजी रेफरल को छाँटने के विशिष्ट, उच्च-दांव वाले कार्य को विश्वसनीय रूप से संभाल सकते हैं। मुख्य प्रश्न केवल यह नहीं था कि क्या एक कंप्यूटर यह कर सकता है, बल्कि यह था कि क्या वह एक मानव टीम के समान कुशलता से इसे कर सकता है, और क्या काम को सही ढंग से करने के लिए सबसे शक्तिशाली, महंगे कंप्यूटरों का उपयोग करने की लागत आवश्यक थी।

ऑस्ट्रेलिया में मोनाश हेल्थ के एक शोधकर्ता ने बीस-तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स को एक कठोर परीक्षण से गुजारकर इन सवालों के जवाब देने का प्रयास किया। उन्होंने वास्तविक मामलों पर आधारित बीस यथार्थवादी रेफरल परिदृश्य बनाए, जिसमें जीवन के लिए खतरा पैदा करने वाली आपात स्थितियों से लेकर सामान्य दर्द तक की पूरी सीमा शामिल थी। एक सही उत्तर के लिए 'गोल्ड स्टैंडर्ड' स्थापित करने हेतु, चार स्वतंत्र रुमेटोलॉजिस्ट्स ने बिना यह जाने कि दूसरों ने क्या निर्णय लिया है, प्रत्येक मामले की समीक्षा की, और अंततः प्रत्येक मामले के लिए सहमति से तात्कालिकता का स्तर निर्धारित किया। इसके बाद शोधकर्ता ने प्रत्येक मॉडल से उन बीस मामलों को छाँटने के लिए कहा। परिणामों को स्थिर सुनिश्चित करने के लिए, और यह सुनिश्चित करने के लिए कि यह केवल भाग्यशाली अनुमान नहीं है, प्रत्येक मॉडल से प्रत्येक मामले के लिए तीन बार निर्णय लेने को कहा गया। प्रयोग दो बार चलाया गया था: एक बार बहुत सरल निर्देश के साथ जिसमें मॉडल को रेफरल को छाँटने के लिए कहा गया था, और दूसरी बार बहुत विस्तृत निर्देश के साथ जो यह समझाता था कि समस्या के बारे में कैसे सोचना है, प्रत्येक तात्कालिकता स्तर के उदाहरण प्रदान करता था, और मॉडल को दर्द के स्तर जैसे कम प्रासंगिक कारकों को अनदेखा करते हुए विशिष्ट चिकित्सा संकेतों पर ध्यान केंद्रित करने के लिए निर्देशित करता था।

परिणामों ने एक स्पष्ट पैटर्न का खुलासा किया कि ये मशीनें कैसे सोचती हैं। जब केवल सरल निर्देश दिए गए, तो मॉडल्स ने एक-दूसरे से बहुत अलग प्रदर्शन किया। सबसे बड़े, सबसे उन्नत और सबसे महंगे मॉडल्स छोटे और सस्ते मॉडल्स की तुलना में काफी अधिक सटीक थे। इस सरल सेटिंग में, एक बड़े मॉडल के लिए अधिक भुगतान करने से बेहतर प्रदर्शन मिलता था। हालांकि, कहानी पूरी तरह से बदल गई जब शोधकर्ता ने उन्नत, विस्तृत निर्देशों का उपयोग किया। इस बेहतर मार्गदर्शन के साथ, मॉडल्स के बीच का अंतर समाप्त हो गया। छोटे, सस्ते मॉडल्स ने महंगे मॉडल्स की बराबरी कर ली, और लागत एवं सटीकता के बीच का संबंध गायब हो गया। विस्तृत निर्देशों ने अनिवार्य रूप से छोटे मॉडल्स को समस्या के माध्यम से तर्क करने का तरीका सिखा दिया, जिससे वे बिना भारी कीमत चुकाए, दिग्गजों के समान प्रदर्शन करने में सक्षम हुए।

सर्वश्रेष्ठ निर्देशों के बावजूद, कंप्यूटर त्रुटिहीन नहीं थे। वे अभी भी गलतियाँ करते थे, कभी-कभी सुझाव देते थे कि मरीज अधिक बीमार है, और कभी-कभी सुझाव देते थे कि वे कम बीमार हैं। शोधकर्ता ने नोट किया कि 'अंडर-ट्रिएजिंग' (under-triaging)—यानी एक तत्काल मामले को चूक जाना—सबसे खतरनाक प्रकार की गलती थी, क्योंकि यह महत्वपूर्ण देखभाल में देरी कर सकती है। इस जोखिम के बावजूद, शीर्ष प्रदर्शन करने वाले मॉडल्स अधिकांश मामलों में मानव सहमति से मेल खाते थे, और अक्सर तीनों प्रयासों में सही तात्कालिकता स्तर पर सहमत होते थे। प्रदर्शन का यह स्तर सटीकता की उस सीमा के भीतर या उससे ऊपर था जो मानव डॉक्टरों के लिए रिपोर्ट की जाती है, जो लगभग एक-तिहाई मामलों में असहमत होते हैं और मरीज को देखने के बाद अक्सर अपनी तात्कालिकता रेटिंग बदल देते हैं।

अध्ययन का सुझाव है कि इस प्रशासनिक बोझ को स्वचालित करने के उपकरण पहले से मौजूद हैं और वे पहले की तुलना में अधिक किफायती हो सकते हैं। मुख्य निष्कर्ष यह है कि कंप्यूटर से सवाल पूछने का तरीका उतना ही महत्वपूर्ण है जितना कि कंप्यूटर स्वयं। एक अच्छी तरह से डिज़ाइन किए गए 'प्रॉम्प्ट' का उपयोग करके, जिसमें स्पष्ट नियम और उदाहरण शामिल हों, क्लीनिक सबसे महंगे सिस्टमों की बराबरी करने वाले परिणाम प्राप्त करने के लिए छोटे, सस्ते मॉडल्स का उपयोग कर सकते हैं। इससे चिकित्सा सेवाओं को वरिष्ठ डॉक्टरों को बहुमूल्य समय वापस मिल सकता है, जिससे वे पत्रों को छाँटने के बजाय मरीजों का इलाज करने पर ध्यान केंद्रित कर सकें। हालांकि तकनीक आशाजनक है, शोधकर्ता इस बात पर जोर देते हैं कि वास्तविक दुनिया में उपयोग किए जाने वाले किसी भी सिस्टम की सावधानीपूर्वक निगरानी की जानी चाहिए ताकि यह सुनिश्चित हो सके कि वह तत्काल मामलों को न छोड़े, और मानव डॉक्टरों को सबसे महत्वपूर्ण निर्णयों की समीक्षा करने के लिए प्रक्रिया में शामिल रहना चाहिए। आगे का रास्ता इन उपकरणों को वास्तविक, लाइव रेफरल पर परीक्षण करने और निर्देशों को परिष्कृत करने में निहित है ताकि सुरक्षा सुनिश्चित की जा सके, लेकिन डेटा इंगित करता है कि रुमेटोलॉजी ट्राइएज के लिए एक विश्वसनीय, स्वचालित सहायक अब कोई दूर का सपना नहीं है।