When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models
यह शोध पत्र यह प्रदर्शित करता है कि चेन-ऑफ-थॉट और फ्यू-शॉट प्रॉम्प्टिंग जैसी मानक प्रॉम्प्ट इंजीनियरिंग तकनीकें मेडिकल लार्ज लैंग्वेज मॉडल्स के प्रदर्शन को काफी कम कर देती हैं, जबकि क्लोज़ स्कोरिंग और परम्यूटेशन वोटिंग मेडिकल प्रश्न उत्तर देने के लिए अधिक सुदृढ़ और सटीक विकल्प प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास MedGemma नामक एक प्रतिभाशाली मेडिकल छात्र है। इस छात्र ने हजारों मेडिकल टेक्स्टबुक्स को रट लिया है और वह किसी भी लिखित परीक्षा में टॉप कर सकता है। आप इस छात्र का उपयोग डॉक्टरों को वास्तविक जीवन के निर्णय लेने में मदद करने के लिए करना चाहते हैं।
लेकिन यहाँ एक पेंच है: MedGemma इस बात के प्रति अविश्वसनीय रूप से संवेदनशील है कि आप प्रश्न कैसे पूछते हैं।
यह शोध पत्र MedGemma के लिए एक "स्ट्रेस टेस्ट" की तरह है। शोधकर्ताओं ने यह देखने के लिए कि क्या छात्र के उत्तर बदल जाते हैं, एक ही मेडिकल प्रश्न को अलग-अलग तरीकों से पूछकर देखा। उन्होंने कुछ चौंकाने वाली चीजें खोजीं: सवाल पूछने का तरीका छात्र के वास्तविक ज्ञान से अधिक महत्वपूर्ण है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "ओवर-थिंकर" की समस्या (Chain-of-Thought बैकफायर करता है)
विचार: आमतौर पर, जब हम चाहते हैं कि कोई AI स्मार्ट बने, तो हम उसे कहते हैं, "उत्तर देने से पहले चरण-दर-चरण सोचें।" इसे चेन-ऑफ-थॉट (CoT) कहा जाता है। यह एक छात्र को यह बताने जैसा है कि, "सिर्फ अनुमान न लगाएं; अपने तर्क को विस्तार से लिखें।"
आश्चर्य: MedGemma के लिए, इसने वास्तव में उन्हें और खराब बना दिया।
उपमा: एक शतरंज ग्रैंडमास्टर की कल्पना करें जो सहजता (instinct) से बेहतरीन खेलता है। यदि आप उसे कोई भी चाल चलने से पहले हर एक विचार को रुककर लिखने के लिए मजबूर करते हैं, तो वह भ्रमित हो सकता है, खुद पर संदेह कर सकता है, और ऐसी गलती कर सकता है जो उसने बिना सोचे-समझे कभी नहीं की होती।
परिणाम: MedGemma को "चरण-दर-चरण सोचने" के लिए कहने से उनकी सटीकता लगभग 6% गिर गई। वे अत्यधिक विश्लेषण करने लगे और खुद को गलत उत्तर की ओर ले जाने लगे।
2. "उदाहरण का जाल" (Few-Shot Learning)
विचार: कभी-कभी, किसी AI को सिखाने के लिए, आप उसे पहले कुछ उदाहरण देते हैं (जैसे, "यहाँ एक प्रश्न और सही उत्तर है। अब आप प्रयास करें।")।
आश्चर्य: MedGemma को उदाहरण देने से वह काफी खराब हो गया (सटीकता लगभग 12% गिर गई)।
उपमा: कल्पना करें कि आप एक परीक्षा दे रहे हैं। शिक्षक आपको पेज के ऊपर तीन अभ्यास प्रश्न देता है। लेकिन वे अभ्यास प्रश्न एक अजीब, भ्रमित करने वाली शैली में लिखे गए थे। अब, जब आप वास्तविक प्रश्नों पर आते हैं, तो आप उन उदाहरणों की शैली की नकल करने में इतने विचलित हो जाते हैं कि आप वास्तविक उत्तर भूल जाते हैं। MedGemma उदाहरणों से "विचलित" हो गया और मेडिकल तथ्यों के बजाय उदाहरणों के पैटर्न के आधार पर अनुमान लगाने लगा।
3. "सीट बदलने" की समस्या (Position Bias)
विचार: बहुविकल्पीय प्रश्नों (multiple-choice questions) में, उत्तर आमतौर पर A, B, C और D के रूप में लेबल किए जाते हैं।
आश्चर्य: यदि आप अक्षरों को इधर-उधर करते हैं (ताकि सही उत्तर A से बदलकर C हो जाए), तो MedGemma अपना उत्तर 59% बार बदल देता है।
उपमा: एक ऐसे छात्र की कल्पना करें जिसे वास्तव में उत्तर नहीं पता है। उसके पास बस एक आदत है कि वह हमेशा दूसरी सीट वाला विकल्प चुनता है। यदि आप सही उत्तर को तीसरी सीट पर ले जाते हैं, तो छात्र अभी भी दूसरी सीट ही चुनता है, भले ही वह अब गलत हो। MedGemma सामग्री को नहीं पढ़ रहा था; वह बस इस आधार पर अनुमान लगा रहा था कि उत्तर कहाँ बैठा है।
4. "पहली छाप" का नियम (Context Truncation)
विचार: कभी-कभी आपके पास एक लंबी मेडिकल रिपोर्ट होती है और आप पूरी रिपोर्ट AI को नहीं दिखा सकते, इसलिए आपको उसे छोटा करना पड़ता है।
आश्चर्य:
- शुरुआत को काटना: यदि आप रिपोर्ट का पहला आधा हिस्सा काट देते हैं, तो AI का प्रदर्शन बिखर जाता है। यह केवल आखिरी 10 मिनट देखकर फिल्म समझने की कोशिश करने जैसा है; आपको पता ही नहीं चलेगा कि क्या हो रहा है।
- अंत को काटना: यदि आप आखिरी आधा हिस्सा काट देते हैं, तो AI लगभग ठीक से काम करता है।
उपमा: MedG//MedGemma को संदर्भ (context) समझने के लिए कहानी के "सेटअप" की आवश्यकता होती है। एक बार जब वह शुरुआत जान लेता है, तो वह अंत का अनुमान लगा सकता है भले ही अंत गायब हो। लेकिन यदि आप शुरुआत छीन लेते हैं, तो वह पूरी तरह से खो जाता है।
5. "गुप्त ज्ञान" की ट्रिक (Cloze Scoring)
विचार: आमतौर पर, हम AI को "उत्तर B है" जैसा उत्तर लिखने के लिए कहते हैं।
आश्चर्य: शोधकर्ताओं ने एक अलग तरीका आजमाया। AI को बोलने के लिए कहने के बजाय, उन्होंने इसे फुसफुसाने के लिए कहा कि वह मन में कौन सा अक्षर सोच रहा है (इसके आंतरिक आत्मविश्वास स्तरों या log-probabilities की जाँच करके)।
परिणाम: यह "फुसफुसाने" वाला तरीका सबसे सटीक था।
उपमा: एक छात्र की कल्पना करें जो परीक्षा दे रहा है। जब उसे उत्तर लिखना होता है, तो वह घबरा सकता है, टाइपिंग में गलती कर सकता है, या निर्देशों से भ्रमित हो सकता है। लेकिन यदि आप उसका मन पढ़ सकते और देख सकते कि वह क्या सोच रहा था, तो आपको एहसास होगा कि उसे वास्तव में उत्तर पता था! MedGemma को सही उत्तर "पता" था, लेकिन उसे लिखने की प्रक्रिया ने सब गड़बड़ कर दिया।
मुख्य निष्कर्ष
यह शोध पत्र चेतावनी देता है कि हम सामान्य AI से प्राप्त "सर्वोत्तम प्रथाओं" (best practices) को सीधे मेडिकल AI पर लागू नहीं कर सकते।
- इसे चरण-दर-चरण सोचने के लिए मजबूर न करें यदि यह पहले से ही एक विशेषज्ञ है; यह अत्यधिक सोच (overthink) सकता है।
- इसे उदाहरण न दें यदि वे इसकी शैली को भ्रमित कर सकते हैं।
- उत्तरों के क्रम पर भरोसा न करें; यह जांचने के लिए उन्हें शफल करें कि AI वास्तव में स्मार्ट है या सिर्फ अनुमान लगा रहा है।
- टेक्स्ट की शुरुआत को हमेशा रखें; अंत को यदि आवश्यक हो तो काटा जा सकता है।
निष्कर्ष: हमारे स्वास्थ्य के साथ AI पर भरोसा करने से पहले, हमें यह समझना होगा कि AI "स्मार्ट" तो है लेकिन "नाजुक" (fragile) भी है। यह एक प्रतिभाशाली संगीतकार की तरह है जो पूरी तरह से बजाता है, लेकिन जैसे ही आप लाइटिंग या माइक्रोफ़ोन बदलते हैं, वह गलत सुर लगाने लगता है। उनकी असली प्रतिभा पाने के लिए हमें सवाल पूछने का सही तरीका ढूंढना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।