Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

बाल चिकित्सा की दुनिया में, जुवेनाइल इडियोपैथिक अर्थराइटिस (juvenile idiopathic arthritis) नामक एक स्थिति है। यह उन बीमारियों का एक समूह है जहाँ बिना किसी स्पष्ट कारण के एक बच्चे के जोड़ों में सूजन और दर्द हो जाता है, और यह उनके विकास और गतिशीलता को प्रभावित कर सकता है। चूंकि यह स्थिति कई अलग-अलग रूपों में आती है, इसलिए डॉक्टरों को बहुत सावधानी से यह पहचानना चाहिए कि बच्चे को वास्तव में किस प्रकार का रोग है और सही उपचार चुनना चाहिए। इन निर्णयों को लेने के नियम चिकित्सा विशेषज्ञों द्वारा बनाई गई विस्तृत मार्गदर्शिकाओं में लिखे गए हैं। ये मार्गदर्शिकाएँ डॉक्टरों को बताती हैं कि दवा कब शुरू करनी है, दुष्प्रभावों पर कैसे नज़र रखनी है, और संक्रमण या आंखों की सूजन जैसी जटिल स्थितियों को कैसे संभालना है। वर्षों से, ये मार्गदर्शिकाएँ डॉक्टरों के लिए एक भरोसेमंद मानचित्र रही हैं, लेकिन अब क्षितिज पर एक नए प्रकार का उपकरण दिखाई दे रहा है: लार्ज लैंग्वेज मॉडल्स (large language models)। ये कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है और वे धाराप्रवाह, मानव जैसी भाषा में प्रश्नों के उत्तर लिख सकते हैं। वे चिकित्सा संबंधी जानकारी खोजने के लिए लोकप्रिय हो रहे हैं, लेकिन कोई नहीं जानता था कि क्या उन पर बाल चिकित्सा अर्थराइटिस देखभाल के सख्त नियमों का पालन करने के लिए भरोसा किया जा सकता है या क्या वे ऐसे तथ्य गढ़ सकते हैं जो सुनने में सही लगें लेकिन वास्तव में गलत हों।

तुर्की की शोधकर्ताओं की एक टीम ने इन कंप्यूटर प्रोग्रामों को एक गंभीर परीक्षण में डालने का निर्णय लिया। वे देखना चाहते थे कि क्या तीन सबसे उन्नत उपलब्ध मॉडल, जुवेनाइल इडियोपैथिक अर्थराइटिस के बारे में प्रश्नों के उत्तर उतनी ही अच्छी तरह दे सकते हैं जितना कि एक मानव विशेषज्ञ। इसके लिए, उन्होंने कंप्यूटरों को कहानियाँ लिखने या भावनाओं के बारे में बात करने के लिए नहीं कहा। इसके बजाय, उन्होंने उन्हें आधिकारिक चिकित्सा मार्गदर्शिकाओं पर आधारित इक्कीस विशिष्ट प्रश्न दिए। कुछ प्रश्न सरल तथ्यों के बारे में थे, जैसे कि विभिन्न प्रकार की बीमारियों के बीच अंतर कैसे किया जाए। अन्य उपचार योजनाओं के बारे में थे, जैसे कि उस बच्चे को कौन सी दवा दी जाए जो बेहतर नहीं हो रहा है। सबसे कठिन प्रश्न रोगियों के काल्पनिक किस्से थे, जिनमें कंप्यूटरों को एक विशिष्ट इतिहास वाले विशेष बच्चे के लिए अगला सबसे अच्छा कदम तय करने के लिए कहा गया था। शोधकर्ताओं ने तीन अलग-अलग कंप्यूटर मॉडलों से प्रत्येक प्रश्न का उत्तर देने के लिए कहा। परीक्षण को निष्पक्ष बनाने के लिए, उन्होंने कंप्यूटरों के नाम छिपाने के लिए तटस्थ लेबल का उपयोग किया और उत्तर दिखाने के क्रम को भी बदल दिया।

फिर पांच विशेषज्ञ डॉक्टरों ने, जो बच्चों के जोड़ों की बीमारियों के विशेषज्ञ हैं, इन उत्तरों को पढ़ा। उन्हें यह नहीं पता था कि किस कंप्यूटर ने कौन सा उत्तर लिखा है। उन्होंने प्रत्येक प्रतिक्रिया को इस आधार पर स्कोर किया कि वह आधिकारिक मार्गदर्शिकाओं की तुलना में कितनी सटीक थी, एक वास्तविक डॉक्टर के कार्यालय में वह कितनी उपयोगी होगी, और समग्र उत्तर कितना अच्छा था। परिणामों ने मशीनों के बीच एक स्पष्ट अंतर दिखाया। एक मॉडल, जिसे शोधकर्ताओं ने GPT-5.6 Sol कहा, ने लगातार सबसे अच्छे उत्तर दिए। इसने सटीकता और डॉक्टर के लिए उपयोगी होने के मामले में उच्चतम स्कोर प्राप्त किया। अन्य दो मॉडल, Gemini 3.1 Pro और Claude Opus 5, ने अच्छा प्रदर्शन किया लेकिन वे अग्रणी से पीछे रह गए। कुछ क्षेत्रों में, जैसे कि बीमारी के निदान में, एक कमजोर मॉडल दूसरे से बेहतर प्रदर्शन कर गया, लेकिन अन्य क्षेत्रों में, जैसे कि उपचार योजनाओं में, क्रम उलट गया। इससे सिद्ध हुआ कि कोई भी कंप्यूटर हर चीज़ में पूर्ण नहीं है, और उनका प्रदर्शन पूछे गए प्रश्न के प्रकार के आधार पर बदल जाता है।

अध्ययन में यह भी देखा गया कि उत्तर कैसे लिखे गए थे। एक मॉडल ने बहुत लंबे उत्तर दिए, इक्कीस प्रश्नों में हजारों शब्द लिखे। शोधकर्ता उम्मीद कर रहे थे कि लंबे उत्तर बेहतर होंगे, लेकिन डॉक्टर इससे सहमत नहीं थे। जिस मॉडल ने सबसे अधिक शब्द लिखे, उसे उच्चतम अंक नहीं मिले। वास्तव में, सबसे अच्छा स्कोर पाने वाला मॉडल अक्सर अधिक सीधा और संक्षिप्त था। डॉक्टरों ने यह भी देखा कि सभी कंप्यूटरों द्वारा उपयोग की जाने वाली भाषा काफी कठिन थी, जो एक ऐसे स्तर पर लिखी गई थी जिसे चिकित्सा पृष्ठभूमि के बिना एक सामान्य वयस्क के लिए समझना मुश्किल होगा। यह सुझाव देता है कि हालांकि ये उपकरण धाराप्रवाह टेक्स्ट उत्पन्न कर सकते हैं, लेकिन वे हमेशा सामान्य दर्शकों के लिए जटिल चिकित्सा नियमों को सरल बनाने के बारेों को नहीं जानते हैं।

इस शोध का सबसे महत्वपूर्ण निष्कर्ष यह है कि ये कंप्यूटर प्रोग्राम मानव डॉक्टर की जगह नहीं ले सकते। जबकि वे जानकारी प्राप्त कर सकते हैं और उसे एक सुसंगत उत्तर में व्यवस्थित कर सकते हैं, वे कभी-कभी एक सख्त नियम और बीमारी की एक सामान्य विशेषता के बीच की रेखा को धुंधला कर देते हैं। वे एक ऐसा उपचार विकल्प सुझा सकते हैं जो संभव तो है लेकिन सबसे अच्छा नहीं है, या वे बीमारी के वर्गीकरण के विवरणों को मिला सकते हैं। शोधकर्ताओं ने निष्कर्ष निकाला कि इन उपकरणों का उपयोग केवल एक विशेषज्ञ की देखरेख में किया जाना चाहिए जो तथ्यों की जांच कर सके। अध्ययन ने दिखाया कि सबसे अच्छे कंप्यूटर मॉडल को भी अपने काम को सत्यापित करने के लिए एक मानव विशेषज्ञ की आवश्यकता होती है, विशेष रूप से तब जब एक बच्चे का स्वास्थ्य दांव पर हो। तकनीक शक्तिशाली है, लेकिन बाल चिकित्सा रुमेटोलॉजी (pediatric rheumatology) के नाजुक क्षेत्र में, यह सहायता करने के लिए एक उपकरण है, न कि अपने आप में निर्णय लेने वाला।