Few shot chain-of-thought driven reasoning to prompt LLMs for open ended medical question answering
यह शोधपत्र MEDQA-OPEN प्रस्तुत करता है, जो नैदानिक-अनुमोदित तर्क (clinician-approved reasoning) के साथ एक नया ओपन-एंडेड मेडिकल डेटासेट है, और CLINICR का प्रस्ताव करता है, जो एक चेन-ऑफ-थॉट प्रॉम्प्टिंग फ्रेमवर्क है जो नैदानिक निदान प्रक्रियाओं का अनुकरण करके और प्रतिक्रिया सत्यापन के लिए रिवॉर्ड मॉडल को शामिल करके मौजूदा पद्धतियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी बहुत शाब्दिक (literal) होने वाले रोबोट को डॉक्टर की तरह व्यवहार करना सिखाने की कोशिश कर रहे हैं। यह शोध पत्र इस बारे में है कि उस रोबोट से सबसे अच्छी चिकित्सा सलाह प्राप्त करने के लिए उससे बात करने का एक नया तरीका क्या है।
यहाँ शोधकर्ताओं ने जो किया है उसकी कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. समस्या: "बहुविकल्पीय" (Multiple Choice) जाल
शोधकर्ताओं ने एक मानक चिकित्सा परीक्षण डेटासेट (जैसे कि USMLE परीक्षा जो डॉक्टर देते हैं) से शुरुआत की। ये बहुविकल्पीय प्रश्न (MCQs) हैं।
- उपमा (Analogy): एक क्विज़ की कल्पना करें जहाँ आपको चार विकल्पों के मेनू में से सही उत्तर चुनना होता है: A, B, C, या D।
- समस्या: वास्तविक जीवन में, एक मरीज क्लिनिक में आता है और कहता है, "मुझे बुरा महसूस हो रहा है।" डॉक्टर के पास चुनने के लिए चार विकल्पों का मेनू नहीं होता। उन्हें शून्य से पता लगाना होता है कि क्या गलत है। AI को चिकित्सा प्रश्नों पर परखने का पुराना तरीका एक आइसक्रीम के स्वाद को सूची से चुनने के बारे में पूछने जैसा था, बजाय इसके कि लक्षणों के आधार पर पेट दर्द का निदान करने के लिए पूछा जाए।
2. नया डेटासेट: "MEDQA-OPEN"
इसे ठीक करने के लिए, टीम ने MEDQA-OPEN नामक एक नया डेटासेट बनाया।
- उन्होंने क्या किया: उन्होंने उन बहुविकल्पीय प्रश्नों को लिया और उनके उत्तर विकल्पों (A, B, C, D) को हटा दिया। उन्होंने उन्हें खुले-अंत वाले (open-ended) प्रश्नों में बदल दिया।
- लक्ष्य: अब, विकल्प चुनने के बजाय, AI को अपना उत्तर स्वयं बनाना होगा, ठीक वैसे ही जैसे एक वास्तविक डॉक्टर करेगा। उन्होंने एक विशेष "तर्क" (reasoning) वाला भाग भी जोड़ा, जहाँ AI को यह समझाना होगा कि वह कैसे अपने उत्तर तक पहुँचा, चरण-दर-चरण।
3. पुराना तरीका बनाम नया तरीका ("एलिमिनेटर" बनाम "क्लिनिशियन")
शोधकर्ताओं ने AI से बात करने (प्रॉम्प्टिंग) के दो अलग-अलग तरीकों का परीक्षण किया।
विधि A: "एलिमिनेटर" (MCQ-ELIMINATIVE)
- यह कैसे काम करता है: यह विधि AI को विकल्पों की एक सूची देती है और कहती है, "विकल्प A को देखें, क्या यह सही है? नहीं? ठीक है, B को देखें। क्या यह सही है? नहीं? ठीक है, C को देखें..." यह "गेस हू" (Guess Who?) के खेल जैसा है जहाँ आप तब तक नाम काटते रहते हैं जब तक कि एक बच न जाए।
- दोष: एक वास्तविक क्लिनिक में, आपके पास संदिग्धों की एक सूची नहीं होती जिन्हें आप काट सकें। आपको शून्य से एक निदान (diagnosis) बनाना होता है। शोध पत्र में पाया गया कि यह विधि बहुविकल्पीय परीक्षणों के लिए तो ठीक काम करती है लेकिन जब AI को बिना किसी मेनू के स्वतंत्र रूप से सोचना पड़ता है, तो यह विफल हो जाती है।
विधि B: "क्लिनिशियन" (CLINICR)
- यह कैसे काम करता है: यह इस शोध पत्र का मुख्य आविष्कार है। यह इस तरह नकल करता है जैसे एक मानव डॉक्टर सोचता है। यह AI से मरीज की कहानी को टुकड़ों में देखने के लिए कहता है।
- चरण 1: "मरीज को बुखार है।" -> AI सोचता है: "संक्रमण हो सकता है।"
- चरण 2: "मरीज को चकत्ते (rash) भी हैं।" -> AI सोचता है: "ठीक है, शायद यह किसी विशिष्ट प्रकार का संक्रमण है।"
- चरण 3: "मरीज के प्लेटलेट्स कम हैं।" -> AI सोचता है: "इससे मामला और सीमित हो जाता है।"
- उपमा: विकल्पों की सूची से नाम काटने के बजाय, क्लिनिशियन विधि ईंट-दर-ईंट घर बनाने जैसी है। आप नींव (लक्षणों) से शुरू करते हैं और दीवारें (परीक्षण) जोड़ते हैं जब तक कि घर (निदान) पूरा न हो जाए।
- परिणाम: शोध पत्र दिखाता है कि CLINICR खुले-अंत वाले चिकित्सा प्रश्नों का उत्तर देने में "एलिमिनेटर" विधि की तुलना में बहुत बेहतर है, विशेष रूप से छोटे AI मॉडल के लिए। यह AI को केवल अनुमान लगाने के बजाय अपना "काम दिखाने" (show its work) के लिए मजबूर करता है।
4. "फॉरवर्ड-बैकवर्ड" रणनीति
कभी-कभी, सबसे स्मार्ट AI भी अटक जाता है या अजीब उत्तर दे देता है। शोधकर्ताओं ने एक सुरक्षा जाल बनाया जिसे फॉरवर्ड-बैकवर्ड दृष्टिकोण कहा जाता है।
- फॉरवर्ड (Forward): पहले, वे AI से (क्लिनिशियन विधि का उपयोग करके) संभावित उत्तरों की एक सूची बनाने के लिए कहते हैं। यह एक डॉक्टर द्वारा कहने जैसा है, "यह फ्लू हो सकता है, यह निमोनिया हो सकता है, या यह एलर्जी हो सकती है।"
- बैकवर्ड (Backward): फिर, वे उन संभावनाओं को लेते हैं और एक दूसरे AI (या एक "वेरिफायर") से उनमें से सबसे अच्छा एक चुनने के लिए कहते हैं।
- उपमा: इसे एक जासूस की तरह सोचें। पहले, जासूस संदिग्धों की एक सूची लिखता है (फॉरवर्ड)। फिर, एक वरिष्ठ जासूस उस सूची की समीक्षा करता है और सबसे संभावित अपराधी को चुनता है (बैकवर्ड)।
5. "रिवॉर्ड मॉडल" (स्मार्ट रेफरी)
केवल एक सूची से सबसे अच्छा उत्तर चुनने के बजाय (बैकवर्ड चरण की तरह), उन्होंने एक विशेष "रेफरी" AI को प्रशिक्षित किया।
- यह कैसे काम करता है: उन्होंने रेफरी को "अच्छा तर्क + सही उत्तर" और "खराब तर्क + गलत उत्तर" के हजारों उदाहरण दिखाए।
- कार्य: जब मुख्य AI एक निदान उत्पन्न करता है, तो रेफरी उसकी जाँच करता है। यदि तर्क ठोस है, तो रेफरी उसे उच्च स्कोर देता है। यदि तर्क कमजोर है, तो वह कम स्कोर देता है।
- परिणाम: सबसे अच्छा उत्तर चुनने के लिए इस रेफरी का उपयोग करना "फॉरवर्ड-बैकवर्ड" पद्धति के समान ही प्रभावी रहा, लेकिन यह गुणवत्ता सुनिश्चित करने का एक अधिक स्वचालित तरीका था।
6. मुख्य निष्कर्ष (The Big Takeaway)
शोध पत्र निष्कर्ष निकालता है कि:
- यथार्थवाद मायने रखता है: AI बहुत बेहतर प्रदर्शन करता है जब उसे एक वास्तविक डॉक्टर की तरह सोचने (चरण-दर-चरण निदान बनाना) के लिए कहा जाता है, बजाय एक टेस्ट-टेकर की तरह (बहुविकल्पीय विकल्पों को काटना)।
- तर्क (Reasoning) महत्वपूर्ण है: AI को अपने चरणों को समझाने के लिए मजबूर करने से (Chain of Thought) इसकी सटीकता बढ़ती है, खासकर जब पहले से तय विकल्प मौजूद न हों।
- सत्यापन (Verification) मदद करता है: AI के काम की जाँच के लिए एक "रेफरी" का उपयोग करना यह सुनिश्चित करता है कि अंतिम उत्तर विश्वसनीय है।
संक्षेप में: शोधकर्ताओं ने AI को "बहुविकल्पीय" खेलना बंद करने और "डॉक्टर" खेलना शुरू करने के लिए सिखाया, जिसमें मानव नैदानिक तर्क (clinical reasoning) की नकल करने वाली चरण-दर-चरण सोचने की प्रक्रिया का उपयोग किया गया। इसने AI को खुले-अंत वाले चिकित्सा प्रश्नों का उत्तर देने में बहुत बेहतर बना दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।