Comparative Performance of General-Purpose Large Language Models and a Specialized Clinical AI Tool on OKAP-Style Ophthalmology Questions
यह अध्ययन OKAP-शैली के नेत्र विज्ञान (ऑप्थल्मोलॉजी) प्रश्नों पर पांच बड़े भाषा मॉडलों का मूल्यांकन करता है, जो यह प्रकट करता है कि सामान्य-उद्देश्य वाले मॉडल, विशेष रूप से Gemini-Pro-3 ने, सटीकता और अंशांकन (कैलिब्रेशन) में विशिष्ट नैदानिक एआई टूल OpenEvidence से बेहतर प्रदर्शन किया, जबकि सभी प्रणालियों में महत्वपूर्ण प्रदर्शन विषमता और साझा तर्क संबंधी विफलताओं को भी रेखांकित किया।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि नेत्र विशेषज्ञों के लिए एक उच्च-स्तरीय चिकित्सा परीक्षा हो रही है, जिसे OKAP के रूप में जाना जाता है। अब, कल्पना कीजिए कि पाँच अलग-अलग "सुपर-स्मार्ट" कंप्यूटर प्रोग्राम इस टेस्ट को देने की कोशिश कर रहे हैं। इस अध्ययन का लक्ष्य यह देखना था कि कौन सा कंप्यूटर प्रोग्राम आँखों से जुड़े इन कठिन सवालों के जवाब देने में सबसे अच्छा है और, जो बात उतनी ही महत्वपूर्ण है, कि किसे पता है कि वह कब गलत हो सकता है।
यहाँ क्या हुआ, इसका विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
प्रतियोगी
शोधकर्ताओं ने पाँच अलग-अलग AI "छात्रों" को लाइन में खड़ा किया:
- OpenEvidence: एक विशेष छात्र जिसने केवल मेडिकल टेक्स्टबुक्स का अध्ययन किया है और जिसका प्रसिद्ध मेडिकल जर्नल्स के साथ सीधा संपर्क है। इसे एक मेडिकल लाइब्रेरियन के रूप में सोचें जिसने लाइब्रेरी को रट लिया है लेकिन अन्य सभी चीजों के लिए उसके पास सामान्य मस्तिष्क नहीं है।
- Gemini-Pro-3, Claude-Opus-4.6, ChatGPT-5.4-Pro, और DeepSeek-v3.2: ये "सामान्य-उद्देश्य" (general-purpose) वाले छात्र हैं। इन्होंने खाना बनाने की रेसिपी से लेकर भौतिकी के शोध पत्रों तक सब कुछ पढ़ा है। इन्हें पॉलीमथ्स (बहुज्ञ) के रूप में सोचें—ऐसे लोग जो बहुत सारी चीजों के बारे में थोड़ा-थोड़ा जानते हैं।
टेस्ट
टेस्ट में आँखों के स्वास्थ्य के बारे में 659 बहुविकल्पीय प्रश्न शामिल थे। ये कोई आसान सामान्य ज्ञान नहीं थे; ये सरल तथ्यों (जैसे, "इस आँख के हिस्से का नाम क्या है?") से लेकर जटिल परिदृश्यों (जैसे, "यदि किसी रोगी में लक्षण X और इतिहास Y है, तो सबसे अच्छा उपचार क्या है?") तक फैले हुए थे।
परिणाम: कौन जीता?
परिणाम कुछ विशेषज्ञों के लिए आश्चर्यजनक थे:
- विजेता: Gemini-Pro-3 (एक सामान्य-उद्देश्य वाला छात्र) ने सबसे अधिक स्कोर किया, जिसने 95.8% प्रश्नों के सही उत्तर दिए। यह इतना अच्छा था कि इसने एक बड़े अंतर से बाकी सभी को पीछे छोड़ दिया।
- उपविजेता: Claude-Opus-4.6 (एक अन्य सामान्य-उद्देश्य वाला छात्र) दूसरे स्थान पर रहा।
- विशेषज्ञ: OpenEvidence (वह मेडिकल लाइब्रेरियन) तीसरे स्थान पर आया। इसने बहुत अच्छा प्रदर्शन किया (88%), लेकिन यह सामान्य-उद्देश्य वाले छात्रों को पछाड़ नहीं सका। वास्तव में, सामान्य छात्रों ने विशेषज्ञ से बेहतर प्रदर्शन किया।
- बाकी: ChatGPT और DeepSeek ने पीछा किया, जिसमें DeepSeek का स्कोर सबसे कम (73.7%) रहा।
बड़ी सीख: एक टूल बनाना जो विशेष रूप से चिकित्सा के लिए बना हो, यह गारंटी नहीं देता कि वह आँखों से जुड़े सवालों के जवाब देने में सबसे स्मार्ट होगा। सामान्य-उद्देश्य वाला AI वास्तव में इस विशिष्ट टेस्ट में बेहतर था।
"आत्मविश्वास" की जाँच (The "Confidence" Check)
शोधकर्ताओं ने AI से पूछा: "आप कितने आश्वस्त हैं कि आपका उत्तर सही है?" (0 से 100 के पैमाने पर)। यह ऐसा ही है जैसे किसी छात्र से हाथ उठाने के लिए कहना यदि वह 100% आश्वस्त है।
- सबसे "आत्म-जागरूक" छात्र: Gemini-Pro-3 सबसे ईमानदार था। जब इसने कहा कि यह आश्वस्त है, तो यह आमतौर पर सही होता था। इसका आत्मविश्वास इसके वास्तविक प्रदर्शन के साथ पूरी तरह मेल खाता था।
- "अति-आत्मविश्वासी" बनाम "अल्प-आत्मविश्वासी": कुछ अन्य मॉडल यह जानने में अच्छे थे कि वे कब सही हैं (भेदभाव/discrimination), लेकिन अपने आत्मविश्वास के स्तर को अपनी वास्तविक सटीकता (कैलिब्रेशन/calibration) के साथ मिलाने में उतने अच्छे नहीं थे।
- चेतावनी का संकेत: एक मॉडल, DeepSeek, इसमें बहुत खराब था। यह अक्सर तब भी आश्वस्त होने का दावा करता था जब वह गलत होता था, या तब अनिश्चित होता था जब वह सही होता था। यह खतरनाक है क्योंकि यदि कोई डॉक्टर एक आत्मविश्वासी लेकिन गलत उत्तर पर भरोसा करता है, तो इससे गलतियाँ हो सकती हैं।
वे सब कहाँ विफल हुए?
शोधकर्ताओं ने उन 9 प्रश्नों को देखा जिन्हें प्रत्येक AI ने गलत किया। उन्होंने पता लगाने की कोशिश की कि ऐसा क्यों हुआ।
- उन्होंने क्या सही समझा: वे शब्दों और बुनियादी विषय को समझ गए थे।
- वे कहाँ लड़खड़ाए: वे जटिल तर्क (complex reasoning) और अपने स्रोतों की जाँच करने में विफल रहे।
- उपमा: कल्पना कीजिए कि एक छात्र प्रश्न को पूरी तरह से पढ़ तो लेता है लेकिन एक पहेली को हल करने के लिए तीन अलग-अलग तथ्यों को जोड़ने में खो जाता है। या, वे नियम पुस्तिका की जाँच किए बिना ही उत्तर का अनुमान लगाने लगते हैं।
- AI सबसे अधिक उन प्रश्नों में संघर्ष करता था जिनमें तथ्य को याद रखने के बजाय "सोचने के चरणों" (thinking steps) की आवश्यकता होती थी।
सीमाएँ (बारीक विवरण)
लेखकों ने सावधानी बरतते हुए कहा कि यह अध्ययन क्या साबित नहीं करता है:
- कोई चित्र नहीं: टेस्ट केवल टेक्स्ट-आधारित था। वास्तविक नेत्र देखभाल में, डॉक्टर आँखों की तस्वीरें देखते हैं। इस अध्ययन के दौरान इनमें से किसी भी AI का परीक्षण छवियों को देखने के लिए नहीं किया गया था।
- वास्तविक मरीज नहीं: ये परीक्षा के प्रश्न थे, न कि वास्तविक जीवन के मरीज जिनके जटिल और उलझे हुए इतिहास हों।
- एक बार का टेस्ट: AI ने टेस्ट एक ही बार दिया। यदि आप इसे दोबारा पूछते, तो यह अलग उत्तर दे सकता था।
सारांश
सरल शब्दों में: सामान्य-उद्देश्य वाला AI वर्तमान में आँखों के डॉक्टर की परीक्षा के सवालों के जवाब देने में विशेष चिकित्सा AI को हरा रहा है। हालांकि, AI अभी भी सबसे कठिन, सबसे जटिल तर्क कार्यों में संघर्ष करता है। साथ ही, सिर्फ इसलिए कि एक AI उच्च स्कोर देता है, इसका मतलब यह नहीं है कि इसे बिना सोचे-समझे इस्तेमाल किया जा सकता है; आपको यह जांचने की आवश्यकता है कि क्या उसे पता है कि वह कब अनिश्चित है। अध्ययन बताता है कि फिलहाल, हमें यह जानने तक कि वे वास्तविक दुनिया की जटिलताओं को कैसे संभालते हैं, वास्तविक चिकित्सा निर्णयों के लिए इन उपकरणों का उपयोग करने के बारे में सावधान रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।