Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)
अगली पीढ़ी के लार्ज लैंग्वेज मॉडल्स, विशेष रूप से डोमेन-विशिष्ट न्यूक्लियर कार्डियोलॉजी संसाधनों के साथ रिट्रीवल-ऑगमेंटेड जनरेशन से लैस क्लॉड ओपस 4.7 और GPT-5.5 ने ASNC बोर्ड प्रिपरेशन एग्जाम पर लगभग 86% की औसत सटीकता दर हासिल की, जो अनुमानित पासिंग थ्रेशोल्ड और मानव फेलो-इन-ट्रेनिंग के औसत प्रदर्शन दोनों से अधिक है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि हृदय के चित्रों को देखने के लिए विशेष रेडियोधर्मी ट्रेसर का उपयोग करने वाले डॉक्टरों के लिए एक उच्च-दांव वाली अंतिम परीक्षा हो रही है। यह "न्यूक्लियर कार्डियोलॉजी बोर्ड एग्जाम" है। वर्षों से, आर्टिफिशियल इंटेलिजेंस (AI) इस परीक्षा को देने की कोशिश कर रहा है, लेकिन यह बार-बार असफल होता रहा, और एक औसत मेडिकल छात्र से भी कम स्कोर करता रहा।
यह शोध पत्र बताता है कि कैसे दो नए, अत्यंत बुद्धिमान AI मॉडल्स ने आखिरकार इस परीक्षा को शानदार ढंग से पास किया और औसत मानव छात्र को पीछे छोड़ दिया।
सेटअप: परीक्षा और "चीट शीट"
इस परीक्षा में 168 प्रश्न हैं। कुछ केवल टेक्स्ट आधारित हैं (जैसे कि एक सामान्य क्विज़), लेकिन लगभग 27 प्रश्न हृदय के जटिल चिकित्सा चित्रों को देखने से संबंधित हैं।
अतीत में, जब AI ने बिना किसी मदद के ("कोल्ड" मोड में) यह परीक्षा दी, तो इसका सर्वश्रेष्ठ प्रदर्शन लगभग 63% रहा। यह एक फेलिंग ग्रेड था। एक औसत मानव मेडिकल छात्र (एक "फेलो-इन-ट्रेनिंग") का स्कोर 78% था।
इस नए अध्ययन के लिए, शोधकर्ताओं ने AI को एक विशाल "चीट शीट" दी। यह केवल एक त्वरित गूगल सर्च नहीं था; यह एक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम था। इसे ऐसे समझें जैसे AI को एक आदर्श, खोजने योग्य डिजिटल लाइब्रेरी दी गई हो जिसमें न्यूक्लियर कार्डियोलॉजी की आधिकारिक पाठ्यपुस्तकें, एटलस और मेडिकल गाइडलाइन्स शामिल हों। जब AI कोई प्रश्न देखता है, तो वह तुरंत इस लाइब्रेरी में जाता है, उत्तर के साथ सटीक पेज ढूंढता है, और उसका उपयोग अपना जवाब तैयार करने के लिए करता है।
प्रतियोगी
शोधकर्ताओं ने दो नए, अगली पीढ़ी के AI मॉडल्स का परीक्षण किया:
- क्लाउड ओपस 4.7 (Claude Opus 4.7): एक मॉडल जो एक स्थानीय, पारदर्शी खोज प्रणाली का उपयोग करता है (जैसे एक लाइब्रेरियन जो आपको दिखाता है कि उसने किन किताबों को शेल्फ से निकाला है)।
- जीपीटी-5.5 (GPT-5.5): एक मॉडल जो क्लाउड-आधारित खोज प्रणाली का उपयोग करता है (जैसे एक लाइब्रेरियन जो आपके लिए किताबें ढूंढ लेता है लेकिन अपनी प्रक्रिया नहीं दिखाता)।
परिणाम: AI ने औसत छात्र को पछाड़ दिया
जब इन दोनों AI ने पांच-पांच बार परीक्षा दी, तो परिणाम आश्चर्यजनक थे:
- स्कोर: दोनों मॉडल्स ने लगभग 86% से 87% स्कोर किया।
- तुलना: यह मानव छात्र के 78% के औसत स्कोर से काफी अधिक है। वास्तव में, यदि आप 13 मानव छात्रों और 2 AI को एक लाइन में खड़ा करें, तो AI शीर्ष 5 में होगा, और 8 या 9 मनुष्यों को पीछे छोड़ देगा।
- प्रगति की गति: यह एक बहुत बड़ी छलांग है। केवल 18 महीने पहले, सर्वश्रेष्ठ AI का स्कोर 63% था। अब, "चीट शीट" (RAG) के साथ, वे 23 प्रतिशत अंक आगे निकल गए।
दो कमजोरियां
भले ही AI जीत गया, लेकिन उसे दो विशिष्ट समस्याओं का सामना करना पड़ा:
- "इमेज" की समस्या: AI टेक्स्ट वाले प्रश्नों में बहुत अच्छा था (लगभग 89% स्कोर), लेकिन वह इमेज वाले प्रश्नों पर लड़खड़ा गया। इमेज वाले प्रश्नों पर उनका स्कोर लगभग 73–77% रहा। मनुष्य इसमें अभी भी बेहतर थे, जिनका स्कोर 81.5% था।
- उपमा: कल्पना कीजिए कि AI एक अत्यंत बुद्धिमान प्रोफेसर है जो पूरी किताब याद कर सकता है, लेकिन एक धुंधली एक्स-रे देखते समय भ्रमित हो जाता है। वह सिद्धांत को पूरी तरह जानता है, लेकिन अभी भी "देखना" सीख रहा है।
- "सेफ्टी" ग्लिच (केवल GPT-5.5 में): GPT-5.5 ने लगभग 7% प्रश्नों के उत्तर देने से इनकार कर दिया। वह कहता था, "मुझे खेद है, मैं इसमें मदद नहीं कर सकता," भले ही वे प्रश्न हृदय की दवाओं या रेडिएशन सुरक्षा के बारे में मानक चिकित्सा परीक्षा के प्रश्न ही क्यों न हों। इसके सेफ्टी फिल्टर्स बहुत संवेदनशील थे, जिससे उसके अंक कट गए।
- उपमा: यह एक बहुत ही सतर्क लाइब्रेरियन की तरह है जो आपको "बम बनाने के तरीके" के बारे में कोई किताब देने से मना कर देता है, भले ही आप परमाणु ऊर्जा के बारे में भौतिकी के छात्र से एक वैध प्रश्न पूछ रहे हों। इसके सुरक्षा फिल्टर बहुत अधिक संवेदनशील थे, जिससे वह वैध प्रश्नों को भी छोड़ गया। क्लाउड ओपस 4.7 में यह समस्या नहीं थी; उसने सभी प्रश्नों के उत्तर दिए।
लेखक वास्तव में क्या कहते हैं (और क्या नहीं कहते)
शोध पत्र बहुत सावधानी से स्पष्ट करता है कि इसका क्या अर्थ है:
- यह क्या है: यह सिद्ध करता है कि सही संदर्भ सामग्री के साथ, AI न्यूक्लियर कार्डियोलॉजी के तथ्यों और नियमों को एक औसत ट्रेनी से बेहतर सीख सकता है। लेखक सुझाव देते हैं कि इन उपकरणों का उपयोग छात्रों को अध्ययन करने में मदद करने के लिए शैक्षिक सहायता (educational aids) के रूप में या रीडिंग रूम में तथ्यों की दोबारा जांच करने के लिए संदर्भ उपकरण (reference tools) के रूप में किया जा सकता है।
- यह क्या नहीं है: लेखक स्पष्ट रूप से कहते हैं कि मल्टीपल-चॉइस टेस्ट पास करने का मतलब यह नहीं है कि AI डॉक्टर बनने के लिए तैयार है। वास्तविक चिकित्सा में मरीजों से बात करना, अनिश्चितता को संभालना और जटिल निर्णय लेना शामिल है, जिसे एक मल्टीपल-चॉइस परीक्षा नहीं माप सकती। AI एक शक्तिशाली संदर्भ पुस्तक है, न कि मानव चिकित्सक का विकल्प।
निष्कर्ष
डेढ़ साल के भीतर, AI न्यूक्लियर कार्डियोलॉजी बोर्ड परीक्षा में फेल होने से लेकर औसत मानव छात्र को पछाड़ने तक पहुँच गया है, बशर्ते उसके पास सही पाठ्यपुस्तकें उपलब्ध हों। हालांकि, वह अभी भी चिकित्सा छवियों की व्याख्या करने में संघर्ष करता है, और एक मॉडल वैध प्रश्नों का उत्तर देने में बहुत अधिक "डरा हुआ" है। हालांकि यह चिकित्सा शिक्षा उपकरणों के लिए एक बड़ी छलांग है, पेपर यह निष्कर्ष निकालता है कि ये मशीनें सहायक हैं, मानव डॉक्टरों का विकल्प नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।