Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment
यह अध्ययन उपभोक्ता हार्डवेयर पर क्लिनिकल प्रश्नोत्तर के लिए छोटे ओपन-सोर्स भाषा मॉडलों का मूल्यांकन करता है, जो यह प्रकट करता है कि जहाँ Llama 3.2 सटीकता और विश्वसनीयता का सर्वोत्तम संतुलन प्रदान करता है, वहीं उच्च प्रॉम्प्ट निरंतरता (prompt consistency) सही होने की गारंटी नहीं देती है और कुछ विशिष्ट प्रॉम्प्ट शैलियाँ या निर्देश ट्यूनिंग (instruction tuning) के बिना डोमेन-विशिष्ट प्रीट्रेनिंग प्रदर्शन को गंभीर रूप से खराब कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ग्रामीण क्लिनिक में हैं जहाँ इंटरनेट नहीं है और कोई फैंसी सुपरकंप्यूटर भी नहीं है। आपके पास एक साधारण लैपटॉप पर एक छोटा, स्थानीय AI सहायक है, और आपको कठिन चिकित्सा प्रश्नों के उत्तर देने में मदद करने के लिए इसकी आवश्यकता है। आप जानना चाहते हैं: क्या हम इस छोटे से AI पर भरोसा कर सकते हैं?
यह शोध पत्र पाँच अलग-अलग छोटे AI मॉडल्स का एक गहन "तनाव परीक्षण" (stress test) है, यह देखने के लिए कि वे चिकित्सा संबंधी प्रश्नों को थोड़े अलग तरीकों से पूछने पर कैसे संभालते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें कुछ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. "स्थिर हाथ" बनाम "तेज दिमाग"
इस अध्ययन का सबसे बड़ा आश्चर्य यह है कि लगातार एक जैसा होना (consistent होना) सही होने की गारंटी नहीं है।
- उपमा: कल्पना कीजिए कि दो छात्र गणित की परीक्षा दे रहे हैं।
- छात्र A (Gemma 2 मॉडल): यदि आप उनसे एक ही प्रश्न पाँच अलग-अलग तरीकों से पूछते हैं, तो वे हर बार बिल्कुल एक ही गलत उत्तर देते हैं। वे अविश्वसनीय रूप से सुसंगत (consistent) हैं (जैसे कि एक टूटी हुई घड़ी जो दिन में दो बार सही होती है, लेकिन यहाँ, वह हमेशा गलत है)। वे पूरे आत्मविश्वास के साथ गलत होते हैं।
- छात्र B (Llama 3.2 मॉडल): यदि आप उनसे अलग-अलग तरीकों से सवाल पूछते हैं, तो वे शायद थोड़े अलग उत्तर दें, लेकिन अधिकांश समय वे सही उत्तर देते हैं। वे अपनी शब्दावली में कम "स्थिर" हो सकते हैं, लेकिन वे बहुत अधिक समझदार हैं।
निष्कर्ष: स्वास्थ्य सेवा में, एक मॉडल जो "भरोसेमंद रूप से गलत" है, वह उस मॉडल से अधिक खतरनाक है जो कभी-कभी सही और कभी-कभी गलत होता है, क्योंकि डॉक्टर उस स्थिर-लेकिन-गलत मॉडल पर बहुत अधिक भरोसा कर सकता है।
2. "रोलप्ले" का जाल
शोधकर्ताओं ने AI को अलग-अलग "किरदारों" (personas) में प्रश्न पूछकर परीक्षण किया। उदाहरण के लिए, उन्होंने कोशिश की: "मान लीजिए कि आप बोर्ड परीक्षा देने वाले एक वरिष्ठ डॉक्टर हैं," बनाम सीधे प्रश्न पूछना।
- उपमा: यह एक शेफ (chef) को खाना बनाने के लिए कहने जैसा है।
- सीधा (Direct): "मेरे लिए एक बर्गर बनाओ।" (शेफ एक बेहतरीन बर्गर बनाता है)।
- रोलप्ले (Roleplay): "आप एक विश्व प्रसिद्ध शेफ हैं जिन्हें बर्गर बनाना पसंद है। अपना कौशल दिखाएं!" (शेफ रोलप्ले के नाटक में विचलित हो जाता है, ज़रूरत से ज़्यादा सोचने लगता है, और बर्गर जला देता है)।
निष्कर्ष: इन छोटे AI मॉडल्स के लिए, किसी किरदार को निभाने का नाटक करना वास्तव में उन्हें चिकित्सा प्रश्नों के उत्तर देने में कमजोर बना देता है। "रोलप्ले" वाले प्रॉम्प्ट्स उन्हें भ्रमित कर देते हैं। यदि आप सर्वोत्तम परिणाम चाहते हैं, तो बस सीधा सवाल पूछें।
3. बड़ा होना हमेशा बेहतर नहीं होता (और "चिकित्सा ज्ञान" पर्याप्त नहीं है)
उन्होंने विभिन्न आकारों के मॉडल्स का परीक्षण किया (2 बिलियन से 7 बिलियन "मस्तिष्क कोशिकाओं" या पैरामीटर्स वाले) और एक ऐसा मॉडल भी जिसका परीक्षण किया गया जो विशेष रूप से मेडिकल किताबों पर प्रशिक्षित था लेकिन उसे निर्देश (instructions) का पालन करना नहीं सिखाया गया था।
- उपमा:
- बड़ा मॉडल: एक विशाल पुस्तकालय (7B पैरामीटर्स) की कल्पना करें। आप सोचेंगे कि वह सब कुछ जानता होगा। लेकिन कभी-कभी, वह इतना अभिभूत हो जाता है कि वह आपके द्वारा मांगे गए प्रारूप (format) में उत्तर देना भूल जाता है (जैसे कि आपसे "हाँ/नहीं" में उत्तर मांगे जाने पर पैराग्राफ दे देना)।
- मेडिकल एक्सपर्ट: कल्पना कीजिए कि एक डॉक्टर है जिसने दुनिया की हर मेडिकल किताब पढ़ ली है लेकिन उसे कभी फॉर्म भरने के लिए नहीं सिखाया गया। यदि आप उससे सवाल पूछते हैं, तो उसे उत्तर तो पता हो सकता है, लेकिन वह उसे उस तरह से नहीं दे सकता जैसा आपको चाहिए। वह बस आपको खाली आँखों से देखता रह जाएगा।
निष्कर्ष:
- आकार सुरक्षा की गारंटी नहीं देता: एक बड़े मॉडल ने जरूरी नहीं कि एक छोटे मॉडल की तुलना में निर्देशों का बेहतर पालन किया हो।
- ज्ञान के लिए निर्देश चाहिए: केवल चिकित्सा ज्ञान होना पर्याप्त नहीं है। AI को यह सीखने की आवश्यकता है कि कैसे सुनना है और संरचित (structured) तरीके से उत्तर देना है। जिस मॉडल को सबसे अधिक चिकित्सा ज्ञान था लेकिन वह निर्देशों का पालन नहीं कर सका, वह लगभग 100% बार विफल रहा।
4. कम संसाधनों वाले क्लीनिकों के लिए विजेता
चूंकि कई विकासशील क्षेत्रों के क्लीनिक महंगे क्लाउड सर्वर नहीं खरीद सकते, इसलिए उन्हें ऐसे मॉडल्स की आवश्यकता है जो सामान्य कंप्यूटरों पर चल सकें।
- विजेता: Llama 3.2 (एक 3-बिलियन पैरामीटर वाला मॉडल)।
- क्यों? इसने सबसे अच्छा संतुलन बनाया। यह सबसे अधिक "स्थिर" (steady) नहीं था (प्रश्न पूछने के तरीके के आधार पर इसका उत्तर थोड़ा बदल जाता था), लेकिन यह सबसे सटीक था। इसने शायद ही कभी उत्तर देने में विफलता दिखाई।
सारांश: हमें क्या करना चाहिए?
यदि आप किसी कम संसाधन वाले क्लिनिक के डॉक्टर के लिए AI बना रहे हैं:
- केवल सटीकता (accuracy) न देखें: यह भी जांचें कि क्या AI हर बार एक ही उत्तर देता है, और यह भी जांचें कि क्या वह उत्तर वास्तव में सही है।
- "रोलप्ले" का उपयोग न करें: AI को "डॉक्टर बनने का अभिनय" करने के लिए न कहें। बस सीधे प्रश्न पूछें।
- इसे नियम पालन करना सिखाएं: सुनिश्चित करें कि AI निर्देशों का पालन करना जानता हो, न कि केवल यह कि वह चिकित्सा तथ्यों को जानता है।
- संतुलित मॉडल चुनें: कभी-कभी एक थोड़ा छोटा, लेकिन समझदार मॉडल, एक बहुत बड़े लेकिन भ्रमित मॉडल से बेहतर होता है।
मुख्य बात: चिकित्सा में, एक "पूरे आत्मविश्वास के साथ गलत" होने वाला AI एक टिकिंग टाइम बम है। हमें इन मॉडल्स का परीक्षण केवल इस आधार पर नहीं करना चाहिए कि वे कितने स्मार्ट हैं, बल्कि इस आधार पर भी करना चाहिए कि वे कितने स्थिर और आज्ञाकारी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।