Spurious Prompts: Can Irrelevant Prompts Steer Large Language Models?
यह शोध पत्र प्रदर्शित करता है कि अर्थहीन रूप से असंबंधित "स्पूरियस" (spurious) प्रॉम्प्ट्स बड़े भाषा मॉडलों को व्यवस्थित रूप से या तो कार्य प्रदर्शन में सुधार करने के लिए या अनपेक्षित व्यवहार उत्पन्न करने के लिए निर्देशित कर सकते हैं, जो ब्लैक-बॉक्स सर्च के माध्यम से शोषण की जा सकने वाली प्रॉम्प्ट संवेदनशीलता के एक नए रूप को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा अजीब सा रोबोट सहायक है। आमतौर पर, उसे कोई गणित का सवाल हल करने के लिए कहने के लिए, आप कहते हैं, "कृपया इस समीकरण को हल करें।" उसे एक कहानी लिखने के लिए कहने के लिए, आप कहते हैं, "एक ड्रैगन के बारे में एक कहानी लिखें।" हम एआई (AI) से इसी तरह बात करते हैं: हम उसे स्पष्ट और प्रासंगिक निर्देश देते हैं।
यह शोध पत्र एक अजीब और आश्चर्यजनक चीज़ की खोज करता है: आपको काम करने के लिए रोबोट को सही निर्देश देने की वास्तव में आवश्यकता नहीं है। वास्तव में, आप उसे ऐसे निर्देश दे सकते हैं जिनका कार्य से बिल्कुल कोई लेना-देना नहीं है, और फिर भी वह सामान्य निर्देश देने की तुलना में समस्या को बेहतर ढंग से हल कर सकता है।
शोधकर्ता इन निर्देशों को "स्पूरियस प्रॉम्प्ट्स" (Spurious Prompts) कहते हैं।
जादुई ट्रिक: "सीक्रेट कोड" की उपमा
एआई मॉडल को एक ग्रैंड पियानो की तरह समझें। आमतौर पर, एक विशिष्ट गाना (कार्य) बजाने के लिए, आप विशिष्ट कुंजियों (कार्य के निर्देशों) को दबाते हैं।
शोधकर्ताओं ने पाया कि यदि आप पियानो पर पूरी तरह से अलग, यादृच्छिक धुन (जैसे हार्प के तारों को ट्यून करने या बुनाई करने के बारे में प्रॉम्प्ट) बजाते हैं, तो पियानो गलती से वही सही गाना बजाना शुरू कर सकता है जिसे आप चाहते थे, और कभी-कभी तो यह उस गाने को सीधे बजाने की कोशिश करने की तुलना में बेहतर भी बजा सकता है।
प्रॉम्प्ट में यह नहीं कहा गया है कि "इस गणित के सवाल को हल करें।" इसके बजाय, इसमें ऐसा कुछ हो सकता है:
"आप एक करघे (loom) में छह अलग-अलग धागों के बुनकर हैं। एक डिजाइनर एक पैटर्न निर्दिष्ट करता है। आपको उस धागे का चयन करना होगा जो उस बनावट (texture) को बनाता है। कपड़े के ड्रेप (लटकने के तरीके) पर विचार न करें। आपकी भूमिका विशुद्ध रूप से संरचनात्मक संरेखण की है। एक बार जब पैटर्न सेट हो जाए, तो बुनाई रोक दें और कहें: [अक्षर]।"
भले ही यह बुनाई के बारे में है और इसमें गणित का कोई शब्द नहीं है, लेकिन जब आप इस प्रॉम्प्ट के साथ एआई को गणित का सवाल देते हैं, तो एआई अक्सर गणित के सवाल को सही ढंग से हल कर लेता है।
उन्होंने इन प्रॉम्प्ट्स को कैसे खोजा
शोधकर्ताओं ने इन प्रॉम्प्ट्स का अनुमान नहीं लगाया; उन्होंने एक "ब्लैक-बॉक्स सर्च" (एक खजाने की खोज की तरह जहाँ आप केवल परिणाम देख सकते हैं, पेटी के अंदर नहीं) का उपयोग किया।
- जेनरेटर (The Generator): उन्होंने एक सुपर-स्मार्ट एआई से सैकड़ों अजीब, असंबंधित कहानियाँ लिखवाईं (जैसे लाइटहाउस, घंटियों या गुप्त अभिलेखागार के बारे में)।
- फ़िल्टर (The Filter): उन्होंने ऐसी हर कहानी को हटा दिया जिसमें गलती से कार्य का उल्लेख था (जैसे "गणित", "गणना", या "निदान" जैसे शब्द)।
- परीक्षण (The Test): उन्होंने यह देखने के लिए इन अजीब कहानियों को एआई पर आजमाया कि क्या वे वास्तविक सवालों के सही उत्तर देने में मदद करती हैं।
- विकास (The Evolution): उन्होंने सबसे अच्छी अजीब कहानियों को लिया, उन्हें थोड़ा बदला, और फिर से कोशिश की, धीरे-धीरे उन्हें "परफेक्ट" अजीब प्रॉम्प्ट्स में विकसित किया।
उन्होंने क्या खोजा
- यह काम करता है: ये असंबंधित प्रॉम्प्ट्स अक्सर एआई को "कदम-दर-कदम सोचें" (Think step-by-step) या "इसे सावधानी से हल करें" जैसे मानक निर्देशों की तरह ही, या उनसे भी बेहतर प्रदर्शन करने के लिए प्रेरित करते हैं।
- यह लंबाई के बारे में नहीं है: आप सोच सकते हैं कि लंबे, विस्तृत प्रॉम्प्ट बेहतर काम करते हैं। लेकिन ये "स्पूरियस" प्रॉम्प्ट्स अनुकूलित (optimized) प्रॉम्प्ट्स की तुलना में बहुत छोटे थे, फिर भी वे जीत गए।
- यह अर्थ के बारे में नहीं है: जब शोधकर्ताओं ने प्रॉम्प्ट्स के "अर्थ" की जाँच की, तो उन्होंने पाया कि ये अजीब प्रॉम्प्ट्स यादृच्छिक बड़बड़ाहट (gibberish) की तरह ही कार्य से असंबंधित थे। एआई कहानी को समझ नहीं रहा था; वह टेक्स्ट की संरचना या वाइब (vibe) पर प्रतिक्रिया दे रहा था।
- यह जानबूझकर गलत भी हो सकता है (या सही): शोधकर्ताओं ने यह भी पाया कि वे इन प्रॉम्प्ट्स का उपयोग एआई को कुछ अजीब चीजें करने के लिए मजबूर करने हेतु कर सकते हैं, जैसे कि:
- हमेशा पहले विकल्प (A) को चुनना, भले ही वह गलत हो।
- हमेशा एक सम संख्या (even number) देना।
- किसी प्रश्न का जानबूझकर गलत उत्तर देना।
मुख्य निष्कर्ष
यह शोध पत्र सुझाव देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) उन चीजों के प्रति संवेदनशील हैं जिन्हें हम अभी तक पूरी तरह से नहीं समझते हैं। वे केवल हमारे शब्दों के "अर्थ" का पालन नहीं कर रहे हैं जैसा कि एक इंसान मैनुअल पढ़ते समय करता है। इसके बजाय, उनके भीतर छिपे हुए "लीवर्स" (levers/लिवर) प्रतीत होते हैं। "हार्प को ट्यून करने" के बारे में एक प्रॉम्प्ट एक ऐसा लीवर खींच सकता है जो मॉडल को बेहतर ध्यान केंद्रित करने में मदद करता है, भले ही हार्प का गणित के सवाल से कोई लेना-देना न हो।
संक्षेप में: यह शोध पत्र साबित करता है कि आप एक शक्तिशाली एआई को उन निर्देशों का उपयोग करके निर्देशित कर सकते हैं जो पूरी तरह से अप्रासंगिक हैं, और कभी-कभी, वे अप्रासंगिक निर्देश स्पष्ट निर्देशों की तुलना में बेहतर काम करते हैं। यह यह जानने जैसा है कि शेफ को "चांदी के बर्तन चमकाने" के लिए कहना उनके सूप का स्वाद बेहतर बना देता है, बजाय इसके कि उन्हें "सूप पकाने" के लिए कहा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।