Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
इस क्रॉस-सेक्शनल अध्ययन में यह पाया गया कि जहाँ पाँच जनरेटिव एआई सिस्टम्स ने अंडरग्रेजुएट ऑप्थल्मोलॉजी के टेक्स्ट-आधारित प्रश्नों पर चौथी वर्ष के मेडिकल छात्रों से काफी बेहतर प्रदर्शन किया, वहीं अधिकांश सिस्टम इमेज-आधारित मदों (items) के साथ संघर्ष करते दिखे, जो शैक्षिक उपकरणों के रूप में उनकी क्षमता को उजागर करते हुए नैदानिक सक्षमता (clinical competence) के साथ परीक्षा प्रदर्शन को समान मानने के विरुद्ध आगाह करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक चिकित्सा की कक्षाओं में, एक नए प्रकार का छात्र चुपचाप व्याख्यान कक्ष में प्रवेश कर चुका है। यह न तो सोता है, न ही कुछ भूलता है, और यह एक सेकंड में हजारों पन्ने पढ़ सकता है। यह जनरेटिव आर्टिफिशियल इंटेलिजेंस (AI) है, जो एक प्रकार का कंप्यूटर प्रोग्राम है जिसे भाषा समझने और ऐसे उत्तर उत्पन्न करने के लिए डिज़ाइन किया गया है जो सुनने में मानवीय लगते हैं। ये प्रणालियाँ, जिन्हें अक्सर लार्ज लैंग्वेज मॉडल्स कहा जाता है, सीखने के लिए सामान्य उपकरण बन गई हैं, जो छात्रों को जटिल विचारों को समझाने या परीक्षाओं की तैयारी करने में मदद करती हैं। लेकिन जबकि ये मशीनें पढ़ने और तर्क करने में बेहतर हो रही हैं, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या वे वास्तव में चिकित्सा की दृश्य दुनिया (visual world) को समझती हैं? नेत्र विज्ञान (ophthalmology) जैसे क्षेत्रों में, जहाँ आँखों का अध्ययन किया जाता है, निदान अक्सर रेटिना या आँख के अंदर की तस्वीरों में सूक्ष्म पैटर्न को पहचानने पर निर्भर करता है। एक मानव डॉक्टर के लिए, देखना ही विश्वास करना है। एक मशीन के लिए, देखना एक बहुत बड़ी चुनौती है। जैसे-जैसे ये उपकरण शिक्षा में अधिक एकीकृत हो रहे हैं, शिक्षकों को यह जानने की आवश्यकता है कि क्या वे केवल ज्ञान की नकल कर रहे हैं या क्या वे वास्तव में देख सकते हैं जो एक छात्र देखता है।
इसका उत्तर खोजने के लिए, पुर्तगाल के यूनिवर्सिटी ऑफ पोर्टो के शोधकर्ताओं की एक टीम ने पांच सबसे उन्नत आर्टिफिशियल इंटेलिजेंस प्रणालियों को चौथे वर्ष के मेडिकल छात्रों के विरुद्ध परीक्षण के लिए रखा। शोधकर्ताओं ने 2025 में छात्रों को दिए गए वास्तविक नेत्र विज्ञान परीक्षाओं से 89 बहुविकल्पीय प्रश्न एकत्र किए। इन प्रश्नों में ग्लूकोमा से लेकर रेटिनल रोगों तक, आँखों की विभिन्न स्थितियों को शामिल किया गया था। इस सेट में 77 प्रश्न ऐसे थे जिनका उत्तर केवल पाठ (text) पढ़कर दिया जा सकता था, और 12 प्रश्न ऐसे थे जिनमें सही उत्तर खोजने के लिए एक तस्वीर या चिकित्सा छवि को देखना आवश्यक था। इसके बाद शोधकर्ताओं ने प्रत्येक प्रश्न को, जहाँ भी लागू हो, उसके साथ जुड़ी छवि के साथ, पांच अलग-अलग AI प्रणालियों में डाला: GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto, और Claude Sonnet 4.5। कंप्यूटरों को कोई अतिरिक्त सहायता, कोई इंटरनेट खोज, और स्पष्टीकरण के लिए पूछने का कोई अवसर नहीं दिया गया; उन्हें बस दिए गए पांच विकल्पों में से सबसे अच्छा उत्तर चुनना था, ठीक वैसे ही जैसे एक छात्र करता है।
परिणामों ने शब्दों बनाम छवियों को संभालने के तरीके के बीच एक चौंका देने वाले अंतर को प्रकट किया। केवल पाठ-आधारित प्रश्नों पर, आर्टिफिशियल इंटेलिजेंस प्रणालियों ने उल्लेखनीय कौशल के साथ प्रदर्शन किया। पांच में से तीन प्रणालियों ने 90 प्रतिशत से अधिक उत्तर सही दिए, और शीर्ष प्रदर्शन करने वाली प्रणाली, Gemini 3 Flash, ने 95.5 प्रतिशत सटीकता प्राप्त की। इसकी तुलना में, औसत मेडिकल छात्र ने लगभग 73 प्रतिशत प्रश्न सही किए। इसका अर्थ है कि कागज-आधारित प्रश्नों पर, सर्वश्रेष्ठ AI प्रणालियाँ अधिकांश मानव छात्रों से बेहतर प्रदर्शन कर रही थीं, जो कक्षा के शीर्ष प्रतिशत में आती हैं। हालाँकि, कहानी पूरी तरह से बदल गई जब प्रश्नों में छवियां शामिल की गईं। जब प्रश्न में आँख की तस्वीर देखने की आवश्यकता थी, तो पांच में से चार AI प्रणालियों का प्रदर्शन काफी गिर गया। जहाँ मानव छात्रों ने पाठ या छवि-आधारित प्रश्नों के बावजूद अपनी सटीकता का स्तर बनाए रखा, वहीं मशीनों को दृश्य डेटा की व्याख्या करने में संघर्ष करना पड़ा। उदाहरण के लिए, एक प्रणाली जिसने पाठ प्रश्नों पर 98.7 प्रतिशत स्कोर किया था, वह छवि प्रश्नों पर गिरकर 75 प्रतिशत पर आ गई। दूसरी प्रणाली 96 प्रतिशत से गिरकर 67 प्रतिशत पर आ गई। केवल एक प्रणाली, GPT-4.1 Auto, ने दोनों प्रारूपों के बीच कोई महत्वपूर्ण अंतर नहीं दिखाया, लेकिन इसका समग्र स्कोर भी सभी मशीनों में सबसे कम था।
शोधकर्ताओं ने यह भी देखा कि मशीनों के उत्तर छात्रों के उत्तरों से कैसे तुलना करते हैं ताकि यह देखा जा सके कि क्या वे वही गलतियाँ कर रहे हैं। उन्होंने पाया कि AI प्रणालियाँ छात्रों की नकल नहीं कर रही थीं। वास्तव में, जो प्रणालियाँ सबसे अधिक प्रश्न सही कर रही थीं, वे अक्सर उन प्रश्नों में असहमत थीं जहाँ छात्र बहुमत में थे। इन उच्च-प्रदर्शन करने वाली मशीनों ने कई प्रश्नों के सही उत्तर दिए जिन्हें अधिकांश छात्रों ने गलत बताया था, जिससे पता चलता है कि वे एक अलग प्रकार के ज्ञान या तर्क प्रक्रिया तक पहुँच रही थीं। इसके विपरीत, सबसे कम समग्र सटीकता वाली प्रणाली, GPT-4.1 Auto, वह थी जो छात्रों के उत्तरों के पैटर्न के साथ सबसे अधिक मेल खाती थी। यह इंगित करता है कि जबकि मशीनें शक्तिशाली हैं, वे आवश्यक रूप से मनुष्यों की तरह नहीं सोचती हैं, और उनकी त्रुटियाँ मानव त्रुटियों के समान नहीं हैं। अध्ययन ने यह भी दिखाया कि मशीनें उन प्रश्नों के उत्तर देने में बेहतर थीं जो छात्रों के लिए हल करना आसान थे, जिससे पता चलता है कि प्रश्न की कठिनाई मनुष्यों और मशीनों दोनों को समान रूप से प्रभावित करती है।
उच्च स्कोर के बावजूद, शोधकर्ता चेतावनी देते हैं कि इन परिणामों का मतलब यह नहीं है कि मशीनें डॉक्टरों को बदलने के लिए तैयार हैं या उनमें वास्तविक नैदानिक सक्षमता है। अध्ययन एक विशिष्ट सेट के प्रश्नों पर किया गया था जो एक ही विश्वविद्यालय से थे, और छवि-आधारित प्रश्नों की संख्या अपेक्षाकृत कम थी। लेखक इस बात पर जोर देते हैं कि हालांकि ये उपकरण तथ्यों की समीक्षा करने और लिखित परीक्षाओं की तैयारी करने के लिए उत्कृष्ट हो सकते हैं, लेकिन अभी तक इन पर नेत्र देखभाल के केंद्र में स्थित जटिल दृश्य निष्कर्षों की व्याख्या करने के लिए भरोसा नहीं किया जा सकता है। रोगी की आँख को देखकर निदान करने की क्षमता एक ऐसा कौशल है जिसके लिए केवल एक परीक्षण पर सही अक्षर चुनने से कहीं अधिक की आवश्यकता होती है। फिलहाल, ये आर्टिफिशियल इंटेलिजेंस प्रणालियाँ शक्तिशाली अध्ययन सहायक के रूप में कार्य करती हैं जो छात्रों को सीखने में मदद कर सकती हैं, लेकिन वे चिकित्सा की दुनिया को देखने और समझने की मानवीय क्षमता से अभी भी भिन्न हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।