Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

आधुनिक क्लिनिक में, एक डॉक्टर का मस्तिष्क एक शक्तिशाली उपकरण होता है, जिसे वर्षों के प्रशिक्षण के बाद रोगी की कहानी, शारीरिक संकेतों और परीक्षण के परिणामों को एक स्पष्ट चित्र में जोड़ने के लिए प्रशिक्षित किया जाता है। नैदानिक तर्क (clinical reasoning) की यह प्रक्रिया चिकित्सा का आधार है, फिर भी यह एक ऐसा कौशल है जिसे महारत हासिल करने में लंबा समय लगता है। हाल ही में, एक नए प्रकार के डिजिटल मस्तिष्क का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है, जो मानवीय भाषा को उल्लेखनीय प्रवाह के साथ पढ़ने, समझने और उत्पन्न करने में सक्षम हैं। उन्होंने पत्र लिखने से लेकर सामान्य प्रश्नों के उत्तर देने तक, सब कुछ में मदद करने की क्षमता दिखाई है। लेकिन नेत्र देखभाल (ophthalmology) जैसे सटीक और दृश्य क्षेत्र में, जहाँ निदान एक छवि के सूक्ष्म विवरण या लक्षणों के एक विशिष्ट पैटर्न पर निर्भर कर सकता है, यह स्पष्ट नहीं है कि ये डिजिटल सहायक वास्तव में रोगों की जटिलताओं को कितनी अच्छी तरह समझते हैं। प्रश्न अब केवल यह नहीं है कि क्या वे चिकित्सा की भाषा बोल सकते हैं, बल्कि यह है कि क्या वे एक कठिन मामले का सामना करते समय एक विशेषज्ञ की तरह सोच सकते हैं।

शोधकर्ताओं की एक टीम ने दो सबसे उन्नत कृत्रिम बुद्धिमत्ता प्रणालियों का उपयोग करके इस प्रश्न का परीक्षण करने का निर्णय लिया: DeepSeek-R1 और GPT-4o। उन्होंने नेत्र विज्ञान (ophthalmology) पर ध्यान केंद्रित करने का विकल्प चुना, जो आँख से संबंधित चिकित्सा की शाखा है, क्योंकि इसके लिए उच्च स्तर के विशेष ज्ञान और कई अलग-अलग सूचनाओं को तौलने की क्षमता की आवश्यकता होती है। एक निष्पक्ष और कठोर परीक्षण बनाने के लिए, टीम ने कंप्यूटरों को वास्तविक रोगियों या आँखों के वास्तविक स्कैन को देखने के लिए नहीं कहा। इसके बजाय, उन्होंने चीन में नेत्र विशेषज्ञों को प्रशिक्षित करने और उनकी परीक्षा लेने के लिए उपयोग किए जाने वाले एक राष्ट्रीय डेटाबेस से लिए गए तैंतीस मानकीकृत केस स्टडीज (case studies) का उपयोग किया। इन मामलों में रेटिनल रोगों और ग्लूकोमा से लेकर चोटों और ट्यूमर तक, विभिन्न प्रकार की स्थितियाँ शामिल थीं, जो उन परिदृश्यों का प्रतिनिधित्व करती हैं जिनका सामना एक विशेषज्ञ अपने दैनिक कार्य में कर सकता है। शोधकर्ताओं ने दोनों कृत्रिम बुद्धिमत्ता मॉडलों को एक वरिष्ठ नेत्र रोग विशेषज्ञ के रूप में कार्य करने के लिए कहा। उन्होंने प्रत्येक मामले का टेक्स्ट प्रदान किया और एक निदान, अन्य संभावित स्थितियों की सूची जो लक्षणों की व्याख्या कर सकती हैं, और उपचार की योजना मांगी।

परिणामों को वस्तुनिष्ठ बनाने के लिए, तीन अनुभवी, बोर्ड-प्रमाणित नेत्र विशेषज्ञों ने दोनों कृत्रिम बुद्धिमत्ता प्रणालियों द्वारा दिए गए उत्तरों की समीक्षा की। विशेषज्ञों को यह पता नहीं था कि किस मॉडल ने कौन सा उत्तर लिखा है। उन्होंने प्रत्येक प्रतिक्रिया को दो मुख्य मानदंडों के आधार पर स्कोर किया: सटीकता (accuracy) और पूर्णता (completeness)। सटीकता ने इस बात को मापा कि चिकित्सा सलाह कितनी सही थी, जबकि पूर्णता ने यह मापा कि क्या उत्तर ने बिना कुछ छोड़े सभी आवश्यक विवरणों को कवर किया है। विशेषज्ञों ने एक सरल स्कोरिंग प्रणाली का उपयोग किया, जिसमें प्रशिक्षण डेटाबेस में पाए गए मानक, सही समाधानों के साथ उत्तरों के मेल खाने पर अंक दिए गए। इस प्रक्रिया ने शोधकर्ताओं को इन दो डिजिटल मस्तिष्कों की तुलना सीधे मानव विशेषज्ञता के 'गोल्ड स्टैंडर्ड' के साथ करने की अनुमति दी।

परिणामों ने दोनों प्रणालियों के बीच एक स्पष्ट अंतर दिखाया। समीक्षा किए गए सभी मामलों में, DeepSeek-R1 ने लगातार GPT-4o की तुलना में अधिक सटीक और अधिक पूर्ण उत्तर दिए। जब विशेषज्ञों ने सही बीमारी की पहचान करने के विशिष्ट कार्य को देखा, तो DeepSeek-R1 को 10 में से औसतन 8.04 का स्कोर मिला, जबकि GPT-4o का स्कोर 6.46 रहा। यह अंतर तब और भी बढ़ गया जब मॉडलों से अन्य संभावित स्थितियों की सूची बनाने के लिए कहा गया, जिसे 'डिफरेंशियल डायग्नोसिस' (differential diagnosis) के रूप में जाना जाता है। यहाँ, DeepSeek-R1 ने 5.50 के मुकाबले 7.52 का स्कोर प्राप्त किया। उपचार योजनाओं के संबंध में, DeepSeek-R1 ने फिर से दूसरे मॉडल को पछाड़ दिया, जिसका स्कोर 6.65 के मुकाबले 7.62 रहा। यह अंतर केवल अंतिम आंकड़ों में नहीं था; विशेषज्ञों ने यह भी नोट किया कि DeepSeek-R1 के उत्तर अधिक विस्तृत थे, जो अपनी व्याख्याओं में आवश्यक तत्वों के अधिक हिस्सों को कवर करते थे।

अध्ययन में पाया गया कि DeepSeek-R1 का लाभ उन क्षेत्रों में सबसे अधिक स्पष्ट था जिनमें जटिल, बहु-चरणीय सोच की आवश्यकता होती है। रेटिना की बीमारियों, ग्लूकोमा, ऑप्टिक नर्व के विकारों, और आँख के संरेखण एवं दृष्टि विकास से जुड़ी समस्याओं जैसे मामलों में प्रदर्शन का अंतर सबसे बड़ा था। ये वे प्रकार के मामले हैं जहाँ एक डॉक्टर को निष्कर्ष तक पहुँचने के लिए कई अलग-अलग सुरागों को जोड़ना पड़ता है। इसके विपरीत, अधिक स्पष्ट या विशिष्ट संकेतों वाली स्थितियों के लिए, जैसे कि कुछ नेत्र चोटें या सतही रोग, दोनों मॉडलों के बीच का अंतर कम था। यह सुझाव देता है कि DeepSeek-R1 को जिस तरह से प्रशिक्षित किया गया है, जिसमें उन्नत तर्क (reasoning) पर भारी ध्यान दिया गया है, वह इसे उन स्थितियों में बढ़त दे सकता है जहाँ उत्तर तुरंत स्पष्ट नहीं होता और सावधानीपूर्वक निष्कर्ष निकालने की आवश्यकता होती है।

इन उत्साहजनक परिणामों के बावजूद, शोधकर्ता अपने निष्कर्षों को एक अंतिम निर्णय के बजाय एक प्रारंभिक कदम के रूप में प्रस्तुत करने में सावधान रहे। अध्ययन इस तथ्य से सीमित था कि इसमें केवल टेक्स्ट-आधारित मामलों का उपयोग किया गया था, जिसका अर्थ है कि कृत्रिम बुद्धिमत्ता प्रणालियों ने आँखों की वास्तविक छवियों को कभी नहीं देखा, जो वास्तविक दुनिया के निदान के लिए महत्वपूर्ण हैं। नमूना आकार भी केवल तैंतीस मामलों का था, और मूल्यांकन तीन मानव विशेषज्ञों के व्यक्तिपरक निर्णयों पर आधारित था। लेखकों ने इस बात पर जोर दिया कि इन परिणामों का मतलब यह नहीं है कि इनमें से कोई भी कृत्रिम बुद्धिमत्ता प्रणाली मानव डॉक्टर को बदलने या मरीजों के लिए निर्णय लेने हेतु सीधे अस्पताल में उपयोग करने के लिए तैयार है। इन मॉडलों का प्रदर्शन अपडेट होने के साथ तेजी से बदल सकता है, और 2025 की शुरुआत में परीक्षण किए गए विशिष्ट संस्करण भविष्य की प्रणालियों की क्षमताओं को प्रतिबिंबित नहीं कर सकते हैं।

अंततः, यह कार्य यह समझने के लिए एक महत्वपूर्ण बेंचमार्क के रूप में कार्य करता है कि नेत्र देखभाल के विशिष्ट क्षेत्र में कृत्रिम बुद्धिमत्ता कहाँ खड़ी है। यह प्रदर्शित करता है कि एक नए मॉडल, DeepSeek-R1 ने, इस विशिष्ट संदर्भ में स्थापित GPT-4o की तुलना में जटिल चिकित्सा मामलों के माध्यम से तर्क करने की मजबूत क्षमता दिखाई है। हालाँकि, अध्ययन का निष्कर्ष है कि अभी बहुत काम करने की आवश्यकता है। भविष्य के शोध को इन प्रणालियों का वास्तविक छवियों और लाइव क्लिनिकल सेटिंग्स में परीक्षण करना होगा ताकि यह देखा जा सके कि क्या वे वास्तव में डॉक्टरों को रोगी देखभाल की अव्यवस्थित और जटिल वास्तविकता में सहायता कर सकते हैं। फिलहाल, निष्कर्ष बताते हैं कि हालांकि कृत्रिम बुद्धिमत्ता चिकित्सा तर्क के लिए एक शक्तिशाली उपकरण बन रही है, लेकिन यह अभी भी एक प्रगतिशील कार्य है, और क्लिनिक में इसकी भूमिका निरंतर सत्यापन और मानव विशेषज्ञता के साथ सावधानीपूर्वक एकीकरण पर निर्भर करेगी।