What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts
यह शोध पत्र LLMs में प्रॉम्प्ट अंडरस्पेसिफिकेशन (prompt underspecification) की नाजुकता का विश्लेषण करता है, यह प्रदर्शित करते हुए कि हालांकि मॉडल अक्सर लुप्त आवश्यकताओं का अनुमान लगा लेते हैं, लेकिन इससे अस्थिर प्रदर्शन होता है जिसे सरल विशिष्टता या मानक ऑप्टिमाइज़र द्वारा विश्वसनीय रूप से ठीक नहीं किया जा सकता है, जो लेखकों को आवश्यकताओं-जागरूक अनुकूलन तंत्र (requirements-aware optimization mechanisms) और सक्रिय आवश्यकता प्रबंधन के लिए एक व्यवस्थित प्रक्रिया प्रस्तावित करने के लिए प्रेरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "What Prompts Don't Say" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "मौन धारणा" (Silent Assumption) की समस्या
कल्पना कीजिए कि आप अपने लिए एक यात्रा की योजना बनाने के लिए एक बहुत ही प्रतिभाशाली, लेकिन थोड़े शाब्दिक (literal-minded) व्यक्तिगत सहायक (AI) को काम पर रख रहे हैं। आप उन्हें कहते हैं: "मेरे लिए जुलाई में चीन की 7 दिनों की यात्रा की योजना बनाएं।"
आपको लग सकता है कि आपने पर्याप्त निर्देश दे दिए हैं। लेकिन आपने यह नहीं कहा:
- "मौसम की जाँच करें।"
- "पूछें कि क्या मुझे वीज़ा की आवश्यकता है।"
- "मेरे लिए उड़ानें बुक न करें; केवल सलाह दें।"
- "लहजा दोस्ताना रखें।"
यह पेपर इसे "प्रॉम्प्ट अंडरस्पेसिफिकेशन" (Prompt Underspecification) कहता है। यह तब होता है जब आप महत्वपूर्ण नियमों को छोड़ देते हैं क्योंकि आप यह मान लेते हैं कि AI इसे "बस जान जाएगा" या किसी इंसान की तरह इसे "समझ लेगा"।
शोधकर्ताओं ने पाया कि हालांकि AI कभी-कभी इन छूटे हुए नियमों का अनुमान लगा सकता है, लेकिन यह एक जुआ (gamble) है। कभी-कभी वह सही अनुमान लगाता है; कभी-कभी वह पूरी तरह से गलत अनुमान लगाता है। और यदि आप AI को अपडेट करते हैं या अपनी शब्दावली में थोड़ा बदलाव करते हैं, तो वह "अनुमान" पूरी तरह से गायब हो सकता है, जिससे यात्रा की योजना विफल हो सकती है (जैसे, आपको मानसून में ट्रेकिंग करने का सुझाव देना या बिना वीज़ा के उड़ान बुक करने के लिए कहना)।
तीन मुख्य समस्याएँ जो उन्होंने पाईं
शोधकर्ताओं ने प्रयोग चलाकर देखा कि नियम छोड़ने पर क्या होता है। यहाँ उनके निष्कर्ष दिए गए हैं:
1. AI एक "मनमौजी मन-पढ़ाने वाला" (Fickle Mind Reader) है
- निष्कर्ष: AI छूटे हुए नियमों का सही अनुमान लगभग 41% बार लगा पाता है। लेकिन इसकी "मन-पढ़ने" की क्षमता अविश्वसनीय रूप से नाजुक है।
- उपमा: कल्पना कीजिए कि AI एक परीक्षा देने वाला छात्र है। यदि आप प्रश्न स्पष्ट रूप से नहीं लिखते हैं, तो छात्र उत्तर का अनुमान लगा सकता है। कभी-कभी वे सही अनुमान लगाते हैं। लेकिन यदि आप शिक्षक (AI मॉडल) को बदल देते हैं या कमरे की रोशनी (प्रॉम्प्ट में मामूली बदलाव) बदल देते हैं, तो वही छात्र अचानक गलत उत्तर दे सकता है।
- परिणाम: जब AI उस नियम का अनुमान लगाता है जिसे उसे बताया नहीं गया था, तो AI के अपडेट होने पर उसके टूटने की संभावना उन मामलों की तुलना में दोगुनी होती है जब आपने उसे नियम स्पष्ट रूप से बताया था।
2. "किचन सिंक" (सब कुछ डाल देने की) गलती
- निष्कर्ष: आप सोच सकते हैं, "ठीक है, सुरक्षित रहने के लिए मैं हर एक नियम लिख देता हूँ जो मेरे दिमाग में आ रहा है।" शोधकर्ताओं ने पाया कि यह वास्तव में चीजों को बदतर बना देता है।
- उपमा: कल्पना कीजिए कि आप एक कुत्ते को बैठने का आदेश दे रहे हैं। यदि आप एक साथ कहते हैं "बैठो, रुको, साथ चलो, भौंकना मत, कूदना मत, मेरी ओर देखो, खरोंचना मत," तो कुत्ता भ्रमित हो जाता है और कुछ नहीं करता।
- परिणाम: जब आप प्रॉम्प्ट में बहुत अधिक निर्देश (जैसे 19 नियम) भर देते हैं, तो AI का प्रदर्शन काफी गिर जाता है। वह अभिभूत (overwhelmed) हो जाता है और उन नियमों को भी अनदेखा करने लगता है जिन्हें आपने स्पष्ट रूप से लिखा था।
3. "वाइब चेक" (Vibe Check) पर्याप्त नहीं है
- निष्कर्ष: डेवलपर्स आमतौर पर अपने प्रॉम्प्ट्स का परीक्षण कुछ उदाहरणों को देखकर करते हैं ताकि देख सकें कि वे काम कर रहे हैं या नहीं। शोधकर्ता कहते हैं कि यह खिड़की से 5 सेकंड के लिए बाहर झाँककर मौसम देखने जैसा है।
- उपमा: यदि आप केवल कुछ उदाहरणों की जाँच करते हैं, तो आप "एज केसेस" (जैसे वीज़ा की आवश्यकता या खतरनाक गतिविधि) को मिस कर सकते हैं। आपको लगता है कि AI एकदम सही है, लेकिन जैसे ही कोई उपयोगकर्ता थोड़ा अलग सवाल पूछता है, AI विफल हो जाता है क्योंकि उसे उस विशिष्ट परिदृश्य को संभालने के लिए कभी बताया ही नहीं गया था।
समाधान: "स्मार्ट" प्रॉम्प्टिंग
पेपर इस बात का सुझाव देता है कि केवल अधिक या कम टेक्स्ट लिखने के बजाय इसे ठीक करने के दो मुख्य तरीके हैं।
1. "क्यूरेटर" दृष्टिकोण (अनुकूलन/Optimization)
नियमों की एक विशाल सूची लिखने के बजाय, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो एक स्मार्ट संपादक की तरह काम करती है।
- यह क्या करता है: यह आपके 20 नियमों की सूची को देखता है और पूछता है: "इनमें से कौन सा नियम AI पहले से ही डिफ़ॉल्ट रूप से जानता है?" और "कौन से नियम वास्तव में एक-दूसरे के खिलाफ लड़ रहे हैं?"
- परिणाम: यह एक छोटा, साफ-सुथरा प्रॉम्प्ट बनाता है। यह उन नियमों को हटा देता है जिन्हें AI पहले से जानता है (जगह बचाने के लिए) और महत्वपूर्ण नियमों को रखता है। इसने प्रदर्शन में औसतन लगभग 5% का सुधार किया और प्रॉम्प्ट को 40% छोटा बना दिया।
2. "निरंतर निगरानी" दृष्टिकोण (प्रक्रिया/Process)
शोधकर्ता तर्क देते हैं कि AI प्रॉम्प्ट को प्रबंधित करना "सेट इट एंड फॉरगेट इट" (एक बार सेट किया और भूल गए) वाला कार्य नहीं होना चाहिए। इसे कार के रखरखाव की तरह होना चाहिए।
- उपमा: आप केवल एक कार खरीदते हैं और कभी तेल की जाँच नहीं करते। आपको नियमित रूप से इसकी जाँच करनी पड़ती है।
- प्रक्रिया:
- खोज (Discover): शुरू करने से पहले सभी छिपे हुए नियमों (जैसे "वीज़ा की जाँच करें") को व्यवस्थित रूप से खोजें।
- सत्यापन (Validate): एक "जज" (दूसरा AI या मानव) लगातार यह जाँचता रहे कि क्या AI लिखित नियमों और छिपे हुए नियमों दोनों का पालन कर रहा है।
- निगरानी (Monitor): जब AI मॉडल अपडेट होता है (जैसे सॉफ़्टवेयर पैच), तो तुरंत सब कुछ फिर से जाँचें ताकि यह सुनिश्चित हो सके कि वह कोई नियम भूल तो नहीं गया है।
सारांश
पेपर निष्कर्ष निकालता है कि आप भरोसेमंद तरीके से AI द्वारा "खाली जगहों को भरने" की उम्मीद नहीं कर सकते।
- यह न मानें कि AI जानता है कि आपका मतलब क्या है।
- इसे बहुत सारे नियमों की सूची न दें; यह भ्रमित हो जाएगा।
- स्मार्ट टूल्स का उपयोग करें ताकि सही नियमों को चुना जा सके, और AI पर निरंतर नज़र रखें ताकि बदलाव होने पर वह अपने रास्ते से भटक न जाए।
लक्ष्य "यह अनुमान लगाने" से हटकर "एक विश्वसनीय प्रणाली इंजीनियर करने" की ओर बढ़ना है जहाँ AI को पता हो कि उसे हर बार बिल्कुल क्या करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।