Evidence-Grounded Subspecialty Reasoning: Evaluating a Curated Clinical Intelligence Layer on the 2025 Endocrinology Board-Style Examination
यह अध्ययन प्रदर्शित करता है कि जनवरी मिरर (January Mirror), जो एक क्यूरेटेड एंडोक्रिनोलॉजी कॉर्पस के साथ एक साक्ष्य-आधारित नैदानिक तर्क प्रणाली है, ने 2025 की एंडोक्रिनोलॉजी बोर्ड-शैली की परीक्षा में वास्तविक समय वेब एक्सेस वाले फ्रंटियर लार्ज लैंग्वेज मॉडल्स और मानव विशेषज्ञों दोनों से काफी बेहतर प्रदर्शन करते हुए, 100% उद्धरण सत्यापन सुनिश्चित करते हुए 87.5% सटीकता प्राप्त की।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही पेचीदा मेडिकल रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास इस मामले को सुलझाने के लिए दो जासूस हैं:
"वेब सर्फर" जासूस: यह जासूस अविश्वसनीय रूप से बुद्धिमान है और इसके पास पूरे इंटरनेट तक पहुंच है। यह सेकंडों में लाखों लेख, ब्लॉग और समाचार कहानियाँ पढ़ सकता है। हालाँकि, इसे यह समझना होगा कि कौन सी कहानियाँ सच हैं, कौन सी पुरानी हो चुकी हैं, और कौन सी सिर्फ शोर (noise) है। यह किसी आकर्षक हेडलाइन से विचलित हो सकता है या गलती से किसी पुराने नियम को नए नियम के साथ मिला सकता है।
"लाइब्रेरियन" जासूस (मिरर): इस जासूस के पास इंटरनेट नहीं है। इसके बजाय, इसके पास एक एकल, पूरी तरह से व्यवस्थित, अत्यंत सुरक्षित लाइब्रेरी है। इसके अंदर, हर किताब दुनिया के शीर्ष विशेषज्ञों द्वारा चुनी गई है। किताबों को महत्व के अनुसार व्यवस्थित किया गया है: सबसे महत्वपूर्ण नियम सबसे ऊपरी शेल्फ पर हैं, और सहायक साक्ष्य नीचे करीने से रखे गए हैं। यह जासूस केवल इन विशिष्ट पुस्तकों का उपयोग करके ही केस सुलझाने के लिए प्रशिक्षित है।
बड़ा परीक्षण
लेखकों ने दोनों जासूसों को ESAP 2025 का उपयोग करके टेस्ट किया, जो एंडोक्रिनोलॉजिस्ट्स (हार्मोन, मधुमेह और चयापचय के विशेषज्ञ डॉक्टर) के लिए "ओलंपिक्स" की तरह है। यह 120 प्रश्नों की परीक्षा है जो बहुत कठिन है, जो जटिल रोगी कहानियों से भरी हुई है जिनमें गहन, विशेष सोच की आवश्यकता होती है।
परिणाम: लाइब्रेरियन की जीत
यहाँ एक आश्चर्यजनक मोड़ है: लाइब्रेरियन (मिरर) भारी अंतर से जीता।
- लाइब्रेरियन (मिरर): इसने 87.5% प्रश्न सही किए।
- वेब सर्फर (टॉप AI मॉडल जैसे GPT-5.2): इसने लगभग 74.6% सही किए।
- औसत मानव डॉक्टर: औसत मानव जो यह परीक्षा दे रहा था, उसने लगभग 62.3% सही किया।
भले ही "वेब सर्फर" के पास इंटरनेट की पूरी दुनिया उसकी उंगलियों पर थी, लाइब्रेरियन जो अपनी क्यूरेटेड (चुनी हुई), उच्च-गुणवत्ता वाली लाइब्रेरी के साथ था, वह दोनों—स्मार्टतम AI और औसत मानव विशेषज्ञ—से बेहतर प्रदर्शन कर गया।
लाइब्रेरियन क्यों जीता?
यह पेपर इसे तीन मुख्य विचारों का उपयोग करके समझाता है:
मात्रा से अधिक गुणवत्ता: इंटरनेट एक विशाल बाज़ार की तरह है। इसमें सब कुछ है, लेकिन यह अव्यवस्थित है। आपको एक बेहतरीन रेसिपी के बगल में एक नकली रेसिपी भी मिल सकती है। लाइब्रेरियन की लाइब्रेरी में केवल "गोल्ड स्टैंडर्ड" रेसिपी ही हैं। जब टेस्ट में मधुमेह के इलाज के लिए एक विशिष्ट, पेचीदा नियम के बारे में पूछा गया, तो वेब सर्फर गलत जानकारी वाला कोई ब्लॉग पोस्ट ढूंढ सकता था, जबकि लाइब्रेरियन ने ऊपरी शेल्फ से सटीक, अद्यतित (up-to-date) गाइडलाइन निकाली।
कोई मतिभ्रम (Hallucinations) नहीं: जो AI मॉडल वेब सर्च करते हैं, वे कभी-कभी "हैलुसिनेट" करते हैं—यानी वे ऐसे तथ्य बना लेते हैं जो सुनने में असली लगते हैं लेकिन नहीं होते। क्योंकि लाइब्रेरियन अपनी क्यूरेटेड लाइब्रेरी के भीतर बंद है, वह चीजें मनगढ़ंत नहीं बना सकता। वह केवल वही कह सकता है जो उसकी विश्वसनीय किताबों में लिखा है।
"रसीद" प्रणाली: यह डॉक्टरों के लिए सबसे महत्वपूर्ण हिस्सा है। जब लाइब्रेरियन एक उत्तर देता है, तो वह आपको एक रसीद (साइटेशन) भी देता है जो दिखाता है कि उसने किस पुस्तक के किस पृष्ठ का उपयोग किया है।
- उपमा: कल्पना कीजिए कि एक वेब सर्फर कहता है, "मुझे लगता है कि उत्तर X है," लेकिन वह यह नहीं दिखा सकता कि उसने इसे कहाँ पढ़ा। लाइब्रेरियन कहता है, "उत्तर X है, और यहाँ 2024 के डायबिटीज गाइडलाइन्स का सटीक पृष्ठ है जो इसे साबित करता है।"
- पेपर ने पाया कि लाइब्रेरियन की 100% रसीदें सटीक थीं। यह डॉक्टरों के लिए अत्यंत महत्वपूर्ण है क्योंकि डॉक्टर एक "ब्लैक बॉक्स" AI पर भरोसा नहीं कर सकते; उन्हें प्रमाण को सत्यापित करने की आवश्यकता होती है।
"हार्ड मोड" टेस्ट
शोधकर्ताओं ने टेस्ट के 30 सबसे कठिन प्रश्नों को देखा—वे प्रश्न जिन्हें मानव डॉक्टर भी आधे से अधिक समय गलत करते हैं।
- वेब सर्फर ने इनमें से लगभग 53% सही किए।
- लाइब्रेरियन ने 77% सही किए।
यह सुझाव देता है कि लाइब्रेरियन की पद्धति विशेष रूप से सबसे भ्रमित करने वाले, जटिल चिकित्सा मामलों को संभालने में अच्छी है जहाँ एक साधारण इंटरनेट सर्च पर्याप्त नहीं होती है।
इसका भविष्य के लिए क्या अर्थ है?
पेपर का तर्क है कि चिकित्सा AI को सुरक्षित और उपयोगी बनाने के लिए, हमें केवल AI को "अधिक स्मार्ट" बनाने या उसे अधिक इंटरनेट एक्सेस देने की आवश्यकता नहीं है। इसके बजाय, हमें इसे सीखने के लिए बेहतर, क्यूरेटेड लाइब्रेरी बनानी चाहिए।
इसे इस तरह सोचें: यदि आप एक सेल्फ-ड्राइविंग कार बनाना चाहते हैं, तो आप केवल उसे एक कैमरा नहीं देते और उसे "सड़क देखने" के लिए नहीं कहते। आप उसे यातायात नियमों का एक सख्त, सत्यापित मानचित्र प्रोग्राम करते हैं। इसी तरह, मेडिकल AI के लिए, हमें इसे चिकित्सा दिशानिर्देशों का एक सख्त, सत्यापित मानचित्र खिलाने की आवश्यकता है।
सारांश में:
यह अध्ययन दिखाता है कि विशेष चिकित्सा कार्यों के लिए, एक केंद्रित, सत्यापित और पता लगाने योग्य (traceable) AI सिस्टम, एक सामान्य, इंटरनेट-कनेक्टेड AI सिस्टम की तुलना में अधिक सुरक्षित और सटीक है। यह साबित करता है कि चिकित्सा में, आपके पास सारी जानकारी होने से ज्यादा महत्वपूर्ण यह है कि आपके पास सही जानकारी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।