Expert Evaluation of Clinical AI Tools on Real Point-of-Care Clinical Queries
30 विशिष्टताओं के 149 चिकित्सकों द्वारा किए गए एक ब्लाइंड मूल्यांकन से पता चलता है कि एक विशेषीकृत क्लिनिकल एआई टूल वास्तविक दुनिया के पॉइंट-ऑफ-केयर प्रश्नों पर तीन फ्रंटियर सामान्य-उद्देश्य वाले लार्ज लैंग्वेज मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है, जो मेडिकल एआई के मूल्यांकन के लिए विशेषज्ञ जजों और प्रामाणिक क्लिनिकल डेटा के उपयोग के महत्वपूर्ण महत्व को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं और यह तय करने की कोशिश कर रहे हैं कि आपके रेस्टोरेंट के लिए कौन सी रेसिपी बुक सबसे अच्छी है। आपके पास दो विकल्प हैं:
- "जनरलिस्ट" (Generalist) किताबें: विशाल विश्वकोश जो हर चीज़ के बारे में थोड़ा-थोड़ा जानते हैं (खाना बनाना, इतिहास, विज्ञान, और यहाँ तक कि कार कैसे ठीक करें, यह भी)।
- "स्पेशलिस्ट" (Specialist) किताब: एक ऐसी कुकबुक जो विशेष रूप से आपके प्रकार के व्यंजन के लिए लिखी गई है, जिसमें उन मास्टर शेफों के सुझाव भरे हैं जो केवल उसी विशिष्ट भोजन को पकाते हैं।
आमतौर पर, जब लोग इन किताबों का परीक्षण करते हैं, तो वे उनसे ऐसे सवाल पूछते हैं जैसे, "फ्रांस की राजधानी क्या है?" या "आप अंडा कैसे उबालते हैं?" ये आसान, काल्पनिक सवाल हैं। लेकिन वास्तविक दुनिया में, एक शेफ ऐसा नहीं पूछता, "आप अंडा कैसे उबालते हैं?" बल्कि वह पूछता है, "मेरा सूप बहुत नमकीन है, लेकिन मैं इसमें और पानी नहीं डाल सकता क्योंकि शोरबा (broth) पहले से ही एकदम सही है; मैं क्या करूँ?"
यह पेपर एक विशाल, 'ब्लाइंड टेस्ट' (blind taste test) है यह देखने के लिए कि कौन सी "रेसिपी बुक" (AI टूल) वास्तव में डॉक्टरों को उन वास्तविक, जटिल समस्याओं को हल करने में मदद करती है जिनका वे हर दिन सामना करते हैं।
सेटअप: एक ब्लाइंड टेस्ट
शोधकर्ताओं ने 620 वास्तविक प्रश्न एकत्र किए जो डॉक्टरों ने वास्तव में एक विशेष मेडिकल AI टूल, जिसे OpenEvidence (OE) कहा जाता है, से अपने मरीजों का इलाज करते समय पूछे थे। ये काल्पनिक परीक्षा के प्रश्न नहीं थे; ये वे वास्तविक चीजें थीं जिन्हें डॉक्टरों को तुरंत जानने की आवश्यकता थी।
उन्होंने इन सवालों को चार अलग-अलग AI "शेफों" को दिया:
- तीन जनरलिस्ट: नवीनतम, सबसे शक्तिशाली "सब-कुछ-करने-वाले" AI (GPT-5.5, Gemini 3.1 Pro, और Claude Opus 4.8)।
- एक स्पेशलिस्ट: OpenEvidence (OE), एक टूल जिसे विशेष रूप से डॉक्टरों के लिए बनाया गया है।
फिर, उन्होंने 149 वास्तविक डॉक्टरों को जज के रूप में काम करने के लिए नियुक्त किया जो 36 अलग-अलग राज्यों से थे। इसे निष्पक्ष बनाने के लिए, उन्होंने जजों को उनके संबंधित विषयों से मिलाया। यदि प्रश्न हृदय रोग के बारे में था, तो एक कार्डियोलॉजिस्ट ने उत्तरों को ग्रेड किया। यदि यह त्वचा संबंधी समस्याओं के बारे में था, तो एक डर्मेटोलॉजिस्ट ने ग्रेड किया। डॉक्टर यह नहीं जानते थे कि किस AI ने कौन सा उत्तर लिखा है (यह "ब्लाइंडेड" था), ठीक वैसे ही जैसे एक कुकिंग कॉम्पिटिशन में जज को प्रतियोगिता के अंत तक शेफ का नाम नहीं पता होता।
परिणाम: स्पेशलिस्ट की जीत
डॉक्टरों ने पाँच चीजों पर रेटिंग दी:
- सटीकता (Accuracy): क्या तथ्य सही था?
- उपयोगिता (Usefulness): क्या मैं वास्तव में इसका उपयोग किसी मरीज की मदद करने के लिए कर सकता हूँ?
- स्रोत की गुणवत्ता (Source Quality): क्या इसने अच्छे, भरोसेमंद किताबों या जर्नल्स का हवाला दिया?
- सत्यापन क्षमता (Verifiability): क्या मैं आसानी से जाँच सकता था कि यह सच था?
- पूर्णता (Completeness): क्या इसने पूरे प्रश्न का उत्तर दिया?
परिणाम: विशेष टूल (OpenEvidence) हर एक श्रेणी में जीत गया। इसने जनरलिस्ट दिग्गजों को भारी अंतर से पीछे छोड़ दिया।
- "सटीकता" की श्रेणी में, स्पेशलिस्ट को जनरलिस्ट की तुलना में लगभग 25% से 39% अधिक बार पसंद किया गया।
- "स्रोत की गुणवत्ता" में, स्पेशलिस्ट लगभग 40% के अंतर से जीता।
जनरलिस्ट AI (वे "सब-कुछ-करने-वाले" मॉडल) बहुत बुरा नहीं कर रहे थे, लेकिन उन्हें उस टूल द्वारा लगातार पीछे छोड़ दिया गया जो विशेष रूप से उस काम के लिए बनाया गया था।
"रोबोट जज" प्रयोग
शोधकर्ताओं ने एक और दिलचस्प चीज़ भी आजमाई: उन्होंने AI मॉडल को एक-दूसरे के उत्तरों को ग्रेड करने के लिए कहा (एक "रोबोट जज")।
- समस्या: रोबोट जज अक्सर अति-आत्मविश्वासी और पक्षपाती थे। उदाहरण के लिए, GPT मॉडल खुद को उच्च स्कोर देने की प्रवृत्ति रखता था, भले ही मानव डॉक्टरों को लगता था कि वह गलत था।
- सबक: हालांकि रोबोट जज इस बात पर सहमत थे कि समग्र रूप से कौन सबसे अच्छा है, लेकिन वे विवरणों के मामले में इंसानों से असहमत थे। आप बिना वास्तविक मानव विशेषज्ञों की जाँच किए केवल एक AI को दूसरे AI को ग्रेड करने के लिए नहीं छोड़ सकते।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर मुख्य रूप से दो बातें बताता है:
- वास्तविक परीक्षणों के लिए वास्तविक प्रश्न चाहिए: यदि आप केवल काल्पनिक परीक्षा प्रश्नों पर AI का परीक्षण करते हैं, तो आपको पता नहीं चलेगा कि वास्तविक दुनिया में यह कैसा प्रदर्शन करेगा। आपको इसे उन जटिल, विशिष्ट प्रश्नों पर परखने की आवश्यकता है जो डॉक्टर वास्तव में पूछते हैं।
- विशेषज्ञता की जीत होती है: सिर्फ इसलिए कि एक सामान्य AI स्मार्ट है, इसका मतलब यह नहीं है कि वह किसी विशिष्ट कार्य के लिए सबसे अच्छा उपकरण है। स्पेशलिस्ट टूल की जीत का मतलब यह नहीं है कि जनरलिस्ट बेकार हैं; इसका मतलब यह है कि किसी विशिष्ट क्षेत्र (जैसे चिकित्सा) के लिए AI को कस्टमाइज़ (अनुकूलित) करना उसे उस विशिष्ट काम के लिए बहुत बेहतर बनाता है।
यह पेपर क्या नहीं कहता
- यह नहीं कहता कि इन उपकरणों को डॉक्टरों की जगह लेनी चाहिए।
- यह नहीं कहता कि जनरलिस्ट AI हर चीज़ में "बुरे" हैं; वे बस इन विशिष्ट चिकित्सा प्रश्नों के लिए उतने अच्छे नहीं थे जितना कि स्पेशलिस्ट।
- यह दावा नहीं करता कि यह AI के बारे में अंतिम शब्द है, क्योंकि मॉडल तेजी से बदलते रहते हैं।
संक्षेप में: जब आपको किसी विशिष्ट चिकित्सा समस्या के लिए डॉक्टर की मदद चाहिए, तो डॉक्टरों के लिए बना टूल एक सामान्य "स्मार्ट" AI से बेहतर काम करता है जो सब कुछ करने की कोशिश करता है। और यह जानने के लिए कि कौन सा टूल सबसे अच्छा है, आपको उन्हें वास्तविक डॉक्टरों और वास्तविक प्रश्नों के साथ परखना होगा, न कि नकली परीक्षाओं के साथ।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।