Active Evidence-Seeking and Diagnostic Reasoning in Large Language Models for Clinical Decision Support
यह शोध पत्र सक्रिय नैदानिक पूछताछ (active diagnostic inquiry) के लिए एक OSCE-प्रेरित बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि बड़े भाषा मॉडल (LLMs) स्थिर पूर्ण-संदर्भ मूल्यांकनों की तुलना में बहु-चरण साक्ष्य खोज (multi-turn evidence seeking) के दौरान सटीकता और साक्ष्य की गुणवत्ता में महत्वपूर्ण गिरावट का अनुभव करते हैं, जिसका मुख्य कारण समयपूर्व नैदानिक समापन (premature diagnostic closure) और अक्षम प्रश्न पूछना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।
मुख्य विचार: "सर्वदर्शी" बनाम "जासूस"
कल्पना कीजिए कि आप एक मेडिकल परीक्षा दे रहे हैं।
परिदृश्य A (पुराना तरीका): आपको एक मोटा फ़ाइल फोल्डर थमाया जाता है जिसमें रोगी की पूरी जीवन कहानी, उसके हर लक्षण, हर ब्लड टेस्ट के परिणाम और हर एक्स-रे इमेज का विवरण है। आप पूरा पढ़ लेते हैं और निदान (diagnosis) लिख देते हैं। अधिकांश AI मॉडल वर्तमान में इसी तरह के "फ़ाइल फोल्डर" वाले टेस्ट में परीक्षण किए जाते हैं। वे इस तरह के टेस्ट में बहुत माहिर होते हैं।
परिदृश्य B (वास्तविक दुनिया): आप एक रोगी के साथ एक कमरे में प्रवेश करते हैं। आपको केवल इतना पता है कि उसे "सीने में दर्द" है। आपके पास अभी वह फ़ाइल फोल्डर नहीं है। आपको सवाल पूछने होंगे: "क्या सांस लेते समय दर्द होता है?" "क्या धूम्रपान का इतिहास है?" आपको एक-एक करके विशिष्ट परीक्षण (tests) करवाने होंगे। आपको जो भी पूछेंगे, उसके आधार पर आपको खुद वह फ़ाइल फोल्डर बनाना होगा।
शोध की खोज: शोधकर्ताओं ने एक नया टेस्ट बनाया जिसे ROUNDS-Bench कहा जाता है, ताकि यह देखा जा सके कि AI परिदृश्य B को कैसे संभालता है। उन्होंने एक चौंकाने वाला अंतर पाया: वे AI मॉडल जो परिदृश्य A में जीनियस हैं, वे अक्सर परिदृश्य B में बुरी तरह विफल हो जाते हैं।
जब उन्हें एक जासूस की भूमिका निभाने के लिए मजबूर किया गया जिसे सुरागों के लिए पूछना पड़ता है, तो AI की सटीकता लगभग 13% गिर गई, और उनके द्वारा एकत्र किए गए साक्ष्यों (evidence) की गुणवत्ता लगभग 25% कम हो गई।
प्रयोग: एक "मानकीकृत रोगी" (Standardized Patient) सिम्युलेटर
निष्पक्ष परीक्षण करने के लिए, शोधकर्ताओं ने एक डिजिटल "मानकीकृत रोगी" (जैसे किसी नाटक में मेथड एक्टर) बनाया।
- अभिनेता (The Actor): यह AI रोगी पूरी मेडिकल कहानी जानता है, लेकिन इसे इस तरह प्रोग्राम किया गया है कि यह जानकारी केवल तभी प्रकट करेगा जब सही सवाल पूछे जाएंगे।
- नियम: यदि डॉक्टर (AI मॉडल) कहता है, "मुझे सब कुछ बताओ," तो रोगी कहता है, "मैं ऐसा नहीं कर सकता।" डॉक्टर को विशिष्ट प्रश्न पूछने होंगे जैसे, "क्या आप अपने दर्द का वर्णन कर सकते हैं?" या "चलिए आपकी हृदय गति (heart rate) की जांच करते हैं।"
- लक्ष्य: AI को सही क्रम में सही सवाल पूछकर बीमारी का पता लगाना है, ठीक वैसे ही जैसे एक असली डॉक्टर करता है।
उन्होंने 15 अलग-अलग AI मॉडल्स (GPT-4o, Gemini और Qwen जैसे बड़े नामों सहित) का 468 विभिन्न मेडिकल मामलों पर परीक्षण किया, जिसमें हृदय संबंधी समस्याओं से लेकर संक्रमण (infections) तक सब कुछ शामिल था।
उन्होंने क्या पाया
1. प्रदर्शन में "गिरावट" (The "Crash" in Performance)
जब AI को पूरा फ़ाइल फोल्डर दिया गया (परिदृश्य A), तो उसने उच्च स्कोर प्राप्त किया। लेकिन जब उसे सुरागों के लिए पूछना पड़ा (परिदृश्य B), तो उसका प्रदर्शन गिर गया।
- उपमा: कल्पना कीजिए कि एक छात्र बहुविकल्पीय (multiple-choice) परीक्षा में 'A' ग्रेड प्राप्त करता है क्योंकि वह पूरी पाठ्यपुस्तक पढ़ सकता है। लेकिन यदि आप उसे एक रहस्य के साथ एक कमरे में रख दें और कहें कि वह इसे सुलझाने के लिए केवल तीन सवाल पूछ सकता है, तो वह गलत उत्तर का अनुमान लगा सकता है।
- परिणाम: AI केवल "थोड़ा कम सही" नहीं हुआ; यह अक्सर 100% सही होने से पूरी तरह से गलत होने की ओर चला गया। इसने सावधानी बरतना छोड़ दिया और बहुत कम जानकारी के आधार पर मनमाने अनुमान लगाने शुरू कर दिए।
2. "भ्रमित तर्क" का जादू (The "Magic Trick" of Hallucinated Reasoning)
यह सबसे खतरनाक खोज है। कभी-कभी, AI सही बीमारी का अनुमान तो लगा लेता था, लेकिन वह यह समझाने में असमर्थ था कि वह मिले हुए सुरागों के आधार पर क्यों सही था।
- उपमा: कल्पना कीजिए कि एक जासूस हत्या की गुत्थी सुलझाता है। वह कहता है, "बटलर ने यह किया!" (सही)। लेकिन जब सबूत के लिए पूछा जाता है, तो वह कहता है, "क्योंकि मैंने एक छाया देखी," भले ही उस छाया का केस फाइल में कोई जिक्र न हो। उसने सही कारण के बिना ही सही उत्तर का अनुमान लगा लिया।
- जोखिम: एक वास्तविक अस्पताल में, यदि कोई डॉक्टर उस AI पर भरोसा करता है जो कहता है "यह यह बीमारी है" लेकिन यह नहीं बता पाता कि कौन सा विशिष्ट टेस्ट परिणाम इसका प्रमाण है, तो यह सुरक्षा के लिए खतरा है। शोध पत्र इसे "Hallucinated Reasoning" कहता है।
3. आकार हमेशा काम नहीं आता (Size Doesn't Always Save You)
आप सोच सकते हैं कि बड़े, स्मार्ट AI मॉडल बेहतर जासूस होंगे।
- वास्तविकता: हालांकि बड़े मॉडल छोटे मॉडलों की तुलना में थोड़ा बेहतर प्रदर्शन करते थे, फिर भी बड़े और महंगे मॉडल भी संघर्ष करते रहे। वे पूरी फ़ाइल पढ़ने में अच्छे थे, लेकिन जब उनके पास फ़ाइल नहीं थी, तो उन्हें यह नहीं पता था कि आगे क्या पूछना है।
- "डिस्टिल्ड" (Distilled) जाल: कुछ मॉडल "स्टेप-बाय-स्टेप" सोचने (reasoning models) के लिए प्रशिक्षित होते हैं। शोध में पाया गया कि जबकि ये मॉडल पहेलियाँ सुलझाने में बेहतरीन हैं जब सभी टुकड़े मेज पर हों, लेकिन जब उन्हें लापता टुकड़ों को खोजने के लिए बाहर निकलना पड़ता है, तो वे भ्रमित हो जाते हैं।
4. कुछ बीमारियाँ "डिटेक्ट" करना कठिन है
AI ने हृदय और फेफड़ों की समस्याओं (जिनमें अक्सर स्पष्ट, मानक लक्षण होते हैं) के साथ ठीक प्रदर्शन किया। लेकिन न्यूरोलॉजिकल (मस्तिष्क/तंत्रिका) और मेटाबॉलिक (रक्त रसायन) मामलों में यह पूरी तरह विफल रहा।
- क्यों? इन क्षेत्रों के लिए बहुत विशिष्ट, सूक्ष्म प्रश्नों (जैसे "क्या आपके बाएं पैर में रिफ्लेक्स कमजोर है?") या लैब नंबरों के साथ जटिल गणित की आवश्यकता होती है। AI यह जानने में संघर्ष करता था कि सही उत्तर पाने के लिए वास्तव में कौन सा विशिष्ट प्रश्न पूछना है।
निष्कर्ष (The Bottom Line)
यह शोध पत्र तर्क देता है कि हम AI डॉक्टरों की इस बात के लिए प्रशंसा कर रहे हैं कि वे मेडिकल फाइलों को पढ़ने में माहिर हैं, लेकिन हमने उन्हें डॉक्टर का काम करने (सवाल पूछने और सुराग इकट्ठा करने) के लिए पर्याप्त रूप से टेस्ट नहीं किया है।
मुख्य सीख: सिर्फ इसलिए कि एक AI मेडिकल परीक्षा पास कर सकता है, इसका मतलब यह नहीं है कि वह सुरक्षित रूप से रोगी से बात कर सकता है और यह पता लगा सकता है कि क्या गलत है। चिकित्सा AI को सुरक्षित बनाने के लिए, हमें उन्हें "फ़ाइल फोल्डरों" के साथ टेस्ट करना बंद करना होगा और उन्हें "जासूसों" के रूप में टेस्ट करना शुरू करना होगा जिन्हें अपने उत्तरों के लिए मेहनत करनी पड़ती है।
शोधकर्ताओं ने इस नए टेस्ट (ROUNDS-Bench) को बनाया है ताकि डेवलपर्स इन "जासूसी कौशल" को सुधार सकें, ताकि भविष्य का मेडिकल AI केवल सही उत्तर का अनुमान न लगाए, बल्कि वास्तव में यह भी जाने कि वह क्यों सही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।