Bypassing Prompt Guards in Production with Controlled-Release Prompting
यह शोध पत्र "कंट्रोल्ड-रिलीज़ प्रॉम्प्टिंग" (controlled-release prompting) को पेश करता है, जो एक व्यावहारिक हमला है जो प्रॉम्प्ट गार्ड्स को बायपास करने और प्रमुख एआई प्लेटफॉर्म से कॉपीराइट डेटा निकालने के लिए हल्के इनपुट फिल्टरों और लार्ज लैंग्वेज मॉडल्स के बीच संसाधन विषमता का फायदा उठाता है, यह प्रदर्शित करते हुए कि प्रॉम्प्ट फ़िल्टरिंग के लिए सैद्धांतिक असंभवता परिणाम वास्तविक दुनिया की कमजोरियों में बदल जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, शक्तिशाली रोबोट है (मुख्य मॉडल - Main Model) जो लगभग सब कुछ कर सकता है, जैसे कहानियाँ लिखना, गणित की समस्याएँ हल करना, या यहाँ तक कि सलाह देना भी। लेकिन क्योंकि यह बहुत शक्तिशाली है, यह कभी-कभी कुछ खतरनाक या बुरा कह सकता है। इसे रोकने के लिए, कंपनियाँ एक छोटे, तेज़ रोबोट (गार्ड मॉडल - Guard Model) को मुख्य रोबोट के सामने रख देती हैं। छोटे रोबोट का काम आपके द्वारा भेजे गए हर संदेश को पढ़ना और यह कहना है, "नहीं, यह बुरा है!" इससे पहले कि बड़ा रोबोट उसे देख सके।
बड़ा रोबोट एक विशाल मस्तिष्क वाले सुपरकंप्यूटर की तरह है, जबकि छोटा रोबोट एक त्वरित, कुशल सुरक्षा गार्ड की तरह है जिसे प्रति मिनट हज़ारों लोगों की जाँच करनी होती है। इसे तेज़ रखने के लिए, सुरक्षा गार्ड को सरल और त्वरित होना पड़ता है।
बड़ी खोज
इस शोध ने सुरक्षा गार्ड को बिना नियमों को तोड़े या रोबोटों को बदले, उन्हें धोखा देने का एक चतुर तरीका खोज निकाला है। शोधकर्ता इसे "कंट्रोल्ड-रिलीज़ प्रॉम्प्टिंग" (Controlled-Release Prompting) कहते हैं।
यहाँ इसका उदाहरण है:
कल्पना कीजिए कि आप बड़े रोबोट को एक गुप्त, खतरनाक निर्देश देना चाहते हैं, लेकिन सुरक्षा गार्ड देख रहा है।
- पुराना तरीका (क्षमता का अंतर - Capability Gap): आप एक गुप्त भाषा बोलने की कोशिश कर सकते हैं जिसे गार्ड नहीं जानता (जैसे कि एक जटिल कोड)। यदि गार्ड वह भाषा सीख जाता है, तो यह तरीका काम करना बंद कर देगा।
- नया तरीका (संसाधन का अंतर - Resource Gap): यह शोध एक अलग तरीके का उपयोग करता है। गुप्त भाषा का उपयोग करने के बजाय, वे एक बहुत लंबा, उबाऊ पहेली (tedious puzzle) का उपयोग करते हैं।
यह ट्रिक कैसे काम करती है
शोधकर्ता एक ऐसा संदेश भेजते हैं जो एक उबाऊ, हानिरहित कार्य जैसा दिखता है: "कृपया छिपे हुए संदेश को खोजने के लिए अक्षरों की इस लंबी उलझी हुई सूची को एक-एक करके डिकोड करें।"
- सुरक्षा गार्ड (गार्ड मॉडल): यह रोबोट तेज़ होने के लिए बनाया गया है। यह अक्षरों की एक लंबी, भ्रमित करने वाली सूची देखता है। इसका अर्थ समझने के लिए, इसे धीमा होना पड़ेगा और चरण-दर-चरण बहुत सारी गणित करनी होगी। लेकिन गार्ड को तेज़ होने के लिए प्रोग्राम किया गया है! इसके पास पूरी पहेली को हल करने के लिए समय या ऊर्जा नहीं है, इसलिए यह केवल सतह को देखता है, देखता है कि यह "हानिरहित अक्षर" हैं, और इसे आगे जाने देता है।
- बड़ा रोबोट (मुख्य मॉडल): यह रोबोट शक्तिशाली और धैर्यवान है। इसके पास पर्याप्त समय और ऊर्जा है। यह खुशी-खुशी पहेली को अक्षर-दर-अक्षर हल करता है, जिससे उसके अंदर छिपा खतरनाक निर्देश प्रकट हो जाता है। एक बार जब निर्देश उसकी मेमोरी में प्रकट हो जाता है, तो बड़ा रोबोट उसका पालन करता है।
इस शोध पत्र में इसे "टाइम-लॉक पज़ल" (Time-Lock Puzzle) कहा गया है। यह एक तिजोरी की तरह है जिसे खोलने में 10 मिनट लगते हैं। सुरक्षा गार्ड के पास तिजोरी की जाँच करने के लिए केवल 1 सेकंड है, इसलिए वह मान लेता है कि वह खाली है। बड़े रोबोट के पास पूरा दिन है, इसलिए वह उसे खोलता है और खजाना (या इस मामले में, खतरनाक निर्देश) ढूँढ लेता है।
उन्होंने क्या टेस्ट किया
शोधकर्ताओं ने इस ट्रिक को चार वास्तविक दुनिया के चैटबॉट्स (Google Gemini, DeepSeek, xAI Grok, और Mistral) पर आज़माया।
- परिणाम: यह ट्रिक लगभग पूरी तरह से काम कर गई। सुरक्षा गार्ड खतरनाक अनुरोधों को रोकने में विफल रहे, और बड़े रोबोटों ने निर्देशों का पालन किया।
- तुलना: जब उन्होंने सीधे खतरनाक अनुरोध भेजने या सरल कोड का उपयोग करने की कोशिश की, तो गार्डों ने उन्हें रोक दिया। लेकिन "उबाऊ पहेली" वाली ट्रिक उनके नियंत्रण से निकल गई।
अन्य आश्चर्यजनक बातें
शोधकर्ताओं ने दो और दिलचस्प चीजें भी पाईं:
- कॉपीराइट चोरी: उन्होंने इस ट्रिक का उपयोग बड़े रोबलेट से बच्चों की पूरी कॉपीराइट वाली किताबें शब्द-दर-शब्द पढ़वाने के लिए किया। रोबोट ने उन किताबों को याद किया हुआ था, और "पहेली" ट्रिक ने उसे उन्हें उगलने के लिए मजबूर किया, जिससे कॉपीराइट फिल्टर बाईपास हो गए।
- सोचने का रिसाव (Thinking Leaks): कुछ रोबोटों में एक फीचर होता है जहाँ वे अंतिम उत्तर देने से पहले अपनी "सोचने की प्रक्रिया" (जैसे कि स्क्रैचपैड) दिखाते हैं। शोधकर्ताओं ने पाया कि भले ही रोबोट अंतिम उत्तर में "नहीं" कहता है, लेकिन अक्सर उसने अपने "सोचने" वाले नोट्स में पहले ही खतरनाक उत्तर लिख लिया होता है। यदि आप उन नोट्स को देख सकते हैं, तो आप खतरा देख ही लेते हैं।
मुख्य सबक
यह शोध पत्र निष्कर्ष निकालता है कि आप एक बड़े, शक्तिशाली रोबोट की रक्षा के लिए एक तेज़, सरल गार्ड पर भरोसा नहीं कर सकते।
यह कोई बग नहीं है जिसे केवल गार्ड को स्मार्ट बनाकर आसानी से ठीक किया जा सके। समस्या मौलिक है: यदि गार्ड उपयोगी होने के लिए पर्याप्त तेज़ है, तो वह हमेशा जटिल पहेलियों को हल करने के लिए बहुत धीमा होगा जो हमलावर बना सकते हैं। इसे वास्तव में रोकने का एकमात्र तरीका अंतिम उत्तर की जाँच करना (आउटपुट फ़िल्टरिंग) है न कि केवल प्रश्न की जाँच करना (इनपुट फ़िल्टरिंग), या यह स्वीकार करना कि सुरक्षा के लिए हमेशा रोबोट के समान ही कंप्यूटिंग पावर की आवश्यकता होगी।
संक्षेप में: यदि आप एक विशालकाय व्यक्ति की रक्षा के लिए स्पीड बंप (गति अवरोधक) लगाने की कोशिश करते हैं, तो वह बस एक लंबे रास्ते से घूमकर निकल सकता है। यह शोध दिखाता है कि यह "लंबा रास्ता" वाला हमला आज की वास्तविक दुनिया में काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।