Prompt engineering does not universally improve Large Language Model performance across clinical decision-making tasks
यह अध्ययन नैदानिक निर्णय लेने के कार्यों में तीन अत्याधुनिक एलएलएम (LLMs) का मूल्यांकन करता है और पाता है कि हालांकि प्रॉम्प्ट इंजीनियरिंग नैदानिक परीक्षण जैसे विशिष्ट कमजोर क्षेत्रों में प्रदर्शन में महत्वपूर्ण सुधार करती है, लेकिन यह एक सार्वभौमिक समाधान नहीं है और अन्य कार्यों के लिए प्रतिकूल भी हो सकती है, जो अनुकूलित, संदर्भ-जागरूक एकीकरण रणनीतियों की आवश्यकता पर प्रकाश डालती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर हर लिखे गए मेडिकल टेक्स्टबुक को पढ़ सकते हैं और हर तथ्य को पूरी तरह से याद रख सकते हैं। यही लार्ज लैंग्वेज मॉडल्स (LLMs) का वादा है, जो उन सुपर-स्मार्ट AI दिमागों के पीछे हैं जो चैटबॉट्स की तरह डॉक्टरों की तरह सुनाई देने लगे हैं। लेकिन एक तथ्य को जानना और उसका उपयोग किसी जटिल, वास्तविक जीवन की पहेली को सुलझाने में करना, दोनों बहुत अलग बातें हैं। इसे ऐसे समझें जैसे एक छात्र जो फुटबॉल के पूरे नियम पुस्तिका को रट सकता है बनाम एक खिलाड़ी जो वास्तव में डिफेंडरों को छकाकर, सही टीममेट को पास देकर और घड़ी की टिक-टिक के बीच गोल कर सकता है। स्वास्थ्य सेवा के इस उच्च-जोखिम वाले खेल में, डॉक्टरों को केवल नियमों को जानने की ही नहीं जरूरत होती; उन्हें क्रमवार तरीके से कठिन निर्णय लेने की आवश्यकता होती है: क्या गलत है? हमें अभी क्या जांचना चाहिए? हमें किन परीक्षणों की आवश्यकता है? और अंत में, हम इसे कैसे ठीक करेंगे? यहीं पर चीजें पेचीदा हो जाती हैं। वैज्ञानिक इन AI "छात्रों" को खेल को बेहतर तरीके से खेलना सिखाने के लिए उन्हें विशेष निर्देश देने की कोशिश कर रहे हैं, जिसे "प्रॉम्प्ट इंजीनियरिंग" कहा जाता है। यह AI को एक गुप्त प्लेबुक या चरण-दर-चरण प्लेबुक देने जैसा है ताकि इसे अधिक स्पष्ट रूप से सोचने में मदद मिल सके। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या यह प्लेबुक वास्तव में AI को खेल जीतने में मदद करती है, या यह बेचारे को भ्रमित कर देती है?
इस अध्ययन ने यह पता लगाने के लिए तीन सबसे स्मार्ट AI मॉडल्स को टेस्ट पर रखने का फैसला किया: ChatGPT-4o, Gemini 2.5 Flash, और Llama 3.3 70B। शोधकर्ताओं ने उनसे केवल सामान्य ज्ञान के प्रश्न नहीं पूछे; उन्होंने उन्हें 36 वास्तविक जीवन की कहानियाँ (जिन्हें क्लिनिकल विग्नेट्स कहा जाता है) दीं और उनसे चरण-दर-चरण पूरी निर्णय लेने की प्रक्रिया को पूरा करने के लिए कहा। वे यह देखना चाहते थे कि क्या विशेष "प्रॉम्प्ट इंजीनियरिंग" तकनीकों का उपयोग करना—विशेष रूप से एक विधि जिसे MedPrompt कहा जाता है जो AI को चरण-दर-चरण सोचने और पिछले समान उदाहरणों को देखने के लिए मजबूर करती है—AI को इन चिकित्सा रहस्यों को सुलझाने में बेहतर बनाएगा।
यहाँ एक मोड़ है: उत्तर स्पष्ट रूप से "यह निर्भर करता है" है। अध्ययन से पता चला कि प्रॉम्प्ट इंजीनियरिंग कोई जादुई छड़ी नहीं है जो सब कुछ ठीक कर देती है। वास्तव में, यह शोर कम करने वाले हेडफ़ोन की तरह है जो लाइब्रेरी में तो बहुत अच्छा काम करता है लेकिन व्यस्त सड़क पर आपको बस मिस करा देता है।
जब AI मॉडल्स को उनके हाल पर छोड़ दिया गया (बेसिक प्रॉम्प्ट्स का उपयोग करते हुए), तो वे कुछ चीजों में आश्चर्यजनक रूप से अच्छे और कुछ में बहुत खराब थे। वे सभी सुराग मिलने के बाद "अंतिम निदान" (फाइनल डायग्नोसिस) का पता लगाने में लगभग सटीक थे, लेकिन वे यह तय करने में सबसे ज्यादा संघर्ष करते थे कि कौन से "प्रासंगिक नैदानिक परीक्षण" (रेलेवेंट डायग्नोस्टिक टेस्ट) ऑर्डर किए जाने चाहिए। यह ऐसा है जैसे वे फिल्म के अंत में खलनायक का नाम आसानी से बता सकते हैं, लेकिन उन्हें कहानी के बीच में यह समझने में कठिनाई होती है कि किन सुरागों की तलाश करनी है।
फिर, शोधकर्ताओं ने "MedPrompt" प्लेबुक का परीक्षण किया। उस कार्य के लिए जहाँ AI सबसे कमजोर था—सही नैदानिक परीक्षण चुनना—प्लेबुक ने चमत्कार कर दिया। यह एक भ्रमित पदयात्री को विस्तृत मानचित्र देने जैसा था; AI का प्रदर्शन काफी बढ़ गया। उदाहरण के लिए, इस कठिन कार्य पर एक मॉडल की सटीकता लगभग 31% से बढ़कर 51% हो गई। यह एक बहुत बड़ा सुधार है!
हालाँकि, कहानी तब बदल जाती है जब AI उसी प्लेबुक का उपयोग अन्य कार्यों के लिए करने की कोशिश करता है। जब संभावित बीमारियों (डिफरेंशियल डायग्नोसिस) की सूची बनाने या उपचार सुझाने के लिए कहा गया, तो फैंसी प्रॉम्प्ट्स ने AI को वास्तव में और भी खराब बना दिया। यह ऐसा है जैसे AI "चरण-दर-चरण सोचने" के निर्देशों का पालन करने में इतना व्यस्त हो गया कि वह अपने खुद के दिमाग का उपयोग करना ही भूल गया। एक मॉडल की संभावित बीमारियों को सूचीबद्ध करने की क्षमता केवल इसलिए 71% से गिरकर 56% हो गई क्योंकि वह निर्देशों का पालन करने की बहुत कोशिश कर रहा था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या AI के "तापमान" (टेम्परेचर) को बदलना—जो इसकी रचनात्मकता या रैंडमनेस को नियंत्रित करता है—कोई अंतर पैदा करता है। उन्होंने पाया कि, आश्चर्यजनक रूप से, सटीकता के लिए इससे बहुत अधिक फर्क नहीं पड़ता था। चाहे AI को बहुत रूढ़िवादी रखा गया हो या थोड़ा अधिक रचनात्मक, उसने लगभग समान संख्या में सही उत्तर दिए। यह सुझाव देता है कि इन विशिष्ट कार्यों के लिए, AI का मस्तिष्क काफी स्थिर है, हालांकि शोधकर्ता नोट करते हैं कि वास्तविक अस्पतालों में सुरक्षा के लिए निरंतरता अभी भी महत्वपूर्ण है।
इस अध्ययन का मुख्य निष्कर्ष यह है कि कोई "एक-आकार-सभी-के-लिए-उपयुक्त" (वन-साइज़-फिट्स-ऑल) समाधान नहीं है। आप बस किसी भी AI पर एक फैंसी प्रॉम्प्ट लगाकर यह उम्मीद नहीं कर सकते कि वह एक जीनियस डॉक्टर बन जाएगा। कभी-कभी, अतिरिक्त संरचना मदद करती है, और कभी-कभी यह एक जकड़न (स्ट्रेटजैक) की तरह काम करती है, जो AI को स्वाभाविक रूप से सोचने से रोकती है। लेखक सुझाव देते हैं कि वास्तविक दुनिया में, हमें इन निर्णयों को अकेले लेने के लिए AI पर भरोसा नहीं करना चाहिए। इसके बजाय, हमें उन्हें सहायक के रूप में उपयोग करना चाहिए जिन्हें एक मानव डॉक्टर द्वारा अपने काम की दोबारा जांच करने की आवश्यकता होती है, खासकर जब AI पहेली के सबसे कठिन हिस्सों को सुलझाने की कोशिश कर रहा हो। आगे का रास्ता सही प्रॉम्प्ट खोजने के बारे में नहीं है; यह सही काम के लिए सही उपकरण को मिलाने और यह सुनिश्चित करने के लिए कि सभी सुरक्षित रहें, एक इंसान को प्रक्रिया में शामिल रखने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।