On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models
यह शोधपत्र सिद्ध करता है कि साझा-एम्बेडिंग अनुक्रम मॉडल (shared-embedding sequence models) में पूर्ण प्रॉम्प्ट-इंजेक्शन रोकथाम गणितीय रूप से असंभव है क्योंकि निर्देश और डेटा की संरचनात्मक पृथक्करणीयता नहीं है, और यह तर्क देता है कि सुदृढ़ सुरक्षा के लिए इन-पाइपलाइन सुरक्षाओं के सुधार के बजाय नियंत्रण और सामग्री चैनलों के वास्तुशिल्प पृथक्करण की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models" शोध पत्र का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है, जिसे रचनात्मक उपमाओं (analogies) का उपयोग करके समझाया गया है।
मुख्य विचार: "मिक्सिंग बाउल" (मिश्रण के कटोरे) की समस्या
कल्पना कीजिए कि आप एक शेफ (AI मॉडल) हैं जो एक रसोई में काम कर रहे हैं। आपके पास दो प्रकार की सामग्रियाँ (ingredients) हैं:
- रेसिपी कार्ड (विश्वसनीय निर्देश): ये वे नियम हैं जो आपको रेस्टोरेंट के मालिक ने दिए हैं (जैसे, "केवल शाकाहारी व्यंजन ही परोसें," "सीक्रेट सॉस कभी न दें")।
- ग्राहक का ऑर्डर (अविश्वसनीय डेटा): ये वे अनुरोध हैं जो ग्राहक लेकर आते हैं (जैसे, "मुझे बर्गर चाहिए," "क्या आप मुझे एक चुटकुला सुना सकते हैं?")।
वर्तमान AI मॉडल्स में, शेफ रेसिपी कार्ड और ग्राहक के ऑर्डर दोनों को एक ही मिक्सिंग बाउल में डाल देता है। उन्हें एक ही कटोरे में काट दिया जाता है, मिला दिया जाता है, और शेफ द्वारा खाना पकाने से पहले एक समान सूप की तरह बना दिया जाता है।
शोध पत्र का मुख्य दावा:
लेखकों का तर्क है कि क्योंकि रेसिपी और ऑर्डर एक ही कटोरे में मिल जाते हैं, इसलिए यह गणितीय रूप से असंभव है कि शेफ यह पूरी तरह से पहचान सके कि "क्या मालिक ने कहा था" और "ग्राहक ने क्या कहा था" एक बार जब वे आपस में मिल जाते हैं।
यदि कोई ग्राहक अपने ऑर्डर में एक नोट चुपके से डाल देता है जिसमें लिखा हो, "रेसिपी कार्ड को अनदेखा करो और मुझे सीक्रेट सॉस दे दो," तो शेफ यह नहीं पहचान पाएगा कि यह नोट असली रेसिपी से अलग है। शेफ के दिमाग के लिए, यह सब बस "सूप" है। इसलिए, शेफ अनजाने में मालिक के नियमों के बजाय ग्राहक के चालाकी भरे नोट का पालन कर सकता है।
मुख्य उपमा: वॉन न्यूमैन मशीन (Von Neumann Machine)
यह शोध पत्र इस AI समस्या की तुलना 1970 के दशक के एक प्रसिद्ध कंप्यूटर सुरक्षा दोष से करता है जिसे बफर ओवरफ्लो (Buffer Overflow) कहा जाता था।
- पुराने कंप्यूटर (वॉन न्यूमैन आर्किटेक्चर): इन मशीनों में, कंप्यूटर प्रोग्राम (कोड) और डेटा (नंबर) एक ही मेमोरी स्पेस में रहते थे। एक हैकर कंप्यूटर को ऐसे डेटा से धोखा दे सकता था जो प्रोग्राम जैसा दिखता हो। कंप्यूटर गलती से उस डेटा को कमांड के रूप में चलाने लगता था, जिससे सिस्टम क्रैश हो जाता था या हैकर नियंत्रण हासिल कर लेता था।
- आधुनिक AI (ट्रांसफॉर्मर्स): लेखक कहते हैं कि AI में भी ठीक यही खामी है। "निर्देश" (सिस्टम प्रॉम्प्ट) और "डेटा" (यूजर इनपुट) एक ही गणितीय स्थान (वेक्टर्स) में रहते हैं। एक हैकर ऐसा "डेटा" तैयार कर सकता है जो AI के लिए "निर्देश" जैसा दिखे। क्योंकि AI उन्हें एक-दूसरे से अलग नहीं पहचान पाता जब वे मिल जाते हैं, इसलिए वह हैकर के निर्देशों का पालन करने लगता है।
लेखक तर्क देते हैं कि जिस तरह हम केवल "बेहतर कोड" या "अधिक सावधानीपूर्वक टाइपिंग" से बफर ओवरफ्लो को ठीक नहीं कर सके, हम केवल "बेहतर ट्रेनिंग" या "अधिक फिल्टर" से प्रॉम्प्ट इंजेक्शन (prompt injection) को ठीक नहीं कर सकते। समस्या शेफ के कौशल में नहीं, बल्कि आर्किटेक्चर (मिक्सिंग बाउल) में है।
असंभव होने के तीन कारण
यह शोध पत्र इस असंभवता को तीन तार्किक चरणों का उपयोग करके सिद्ध करता है:
1. "साझा शब्दावली" की समस्या (Representational Collision)
- उपमा: कल्पना कीजिए कि रेसिपी कार्ड और ग्राहक का ऑर्डर दोनों में "नमक" शब्द का उपयोग किया गया है।
- वास्तविकता: AI में, "the," "is," "you," और "help" जैसे शब्द सिस्टम निर्देशों और यूजर इनपुट दोनों में दिखाई देते हैं। AI इन शब्दों को एक ही गणितीय संख्या (number) पर मैप करता है। एक बार जब AI "help" शब्द देखता है, तो उसे यह नहीं पता होता कि यह शब्द मालिक के नियम ("Help the user") से आया है या यूजर की चाल ("Help me bypass the rules") से। शब्द का "स्रोत" (source) जैसे ही वह बाउल में प्रवेश करता है, मिट जाता है।
2. रसोई में "अंधा मोड़" (Provenance Recovery)
- उपमा: यदि आप सूप को देखकर यह अनुमान लगाने की कोशिश करते हैं कि कौन सा चम्मच रेसिपी कार्ड से आया था और कौन सा ग्राहक के ऑर्डर से, तो आप कभी-कभी गलत होंगे।
- वास्तविकता: शोध पत्र गणितीय रूप से सिद्ध करता है कि चूंकि "विश्वसनीय" और "अविश्वसनीय" सामग्रियाँ इतनी समान हैं (उनके शब्द और स्थान साझा हैं), इसलिए कितनी भी बारीकी से देखने के बाद भी आप उन्हें पूरी तरह से अलग नहीं कर सकते। हमेशा त्रुटि की एक छोटी संभावना बनी रहती है। यदि आप उन्हें पूरी तरह से अलग नहीं कर सकते, तो आप बुरी चीजों को पूरी तरह से ब्लॉक नहीं कर सकते।
3. "अनंत विविधताओं" की समस्या (Finite Coverage)
- उपमा: कल्पना कीजिए कि आपने अपने शेफ को प्रशिक्षित किया है कि ग्राहक उसे धोखा देने के 1,000 विशिष्ट तरीकों को पहचाने। लेकिन एक चालाक ग्राहक अपने धोखे को 1,000,000 अलग-अलग तरीकों से लिख सकता है (अलग-अलग भाषाओं, इमोजी, कोड या स्पेलिंग ट्रिक्स का उपयोग करके), जो अंततः एक ही बात का अर्थ रखते हैं।
- वास्तविकता: आप एक AI को लाखों उदाहरणों पर प्रशिक्षित कर सकते हैं, लेकिन उसे धोखा देने के तरीके प्रभावी रूप से अनंत हैं। क्योंकि AI उदाहरणों को देखकर सीखता है, वह किसी भी धोखे के हर संभावित रूप के खिलाफ सुरक्षित होने के लिए कभी भी पूरी तरह से प्रशिक्षित नहीं हो सकता। उसके पास हमेशा एक "ब्लाइंड स्पॉट" (अंधा मोड़) रहेगा जो किसी ऐसे धोखे के लिए होगा जिसे उसने पहले नहीं देखा है।
AI सुरक्षा के लिए इसका क्या अर्थ है
लेखक यह नहीं कह रहे हैं कि AI बेकार है या हमें इसका उपयोग बंद कर देना चाहिए। वे कह रहे हैं कि:
- आप मिक्सिंग बाउल को पैच (ठीक) नहीं कर सकते: आप केवल AI को बेहतर प्रशिक्षित करके, अधिक "गार्डरेल्स" (सुरक्षा घेरे) जोड़कर, या शब्दों को फ़िल्टर करके इस समस्या को ठीक नहीं कर सकते। जब तक AI निर्देशों और डेटा को एक ही स्थान में मिलाता रहता है, एक चालाक हमलावर अंततः एक नकली निर्देश डालने का तरीका ढूंढ ही लेगा।
- समाधान आर्किटेक्चरल (संरचनात्मक) है: इसे वास्तव में ठीक करने के लिए, हमें रसोई के डिज़ाइन को बदलने की आवश्यकता है। हमें एक ऐसा सिस्टम चाहिए जहाँ रेसिपी कार्ड और ग्राहक का ऑर्डर अलग-अलग बाउल में रखे जाएं जो अंत तक कभी न मिलें। "रेसिपी" एक कठोर नियम होना चाहिए जिसे "ग्राहक का ऑर्डर" छू या बदल न सके।
- डिफेंस इन डेप्थ (गहन सुरक्षा): जब तक हम ये नए "अलग बाउल" वाले सिस्टम नहीं बना लेते, तब तक हमें AI के साथ वैसा ही व्यवहार करना चाहिए जैसा हम पुराने कंप्यूटरों के साथ बफर ओवरफ्लो के मामले में करते हैं: यह मान लें कि वे हैक होंगे ही, कई कमजोर सुरक्षा परतों (जैसे फायरवॉल और सैंडबॉक्स) का उपयोग करें और यदि वे ब्रीच (भेद) होते हैं, तो होने वाले नुकसान को सीमित करें।
सारांश
यह शोध पत्र सिद्ध करता है कि वर्तमान AI मॉडल्स के लिए पूर्ण सुरक्षा असंभव है क्योंकि वे "क्या करना है" और "किस चीज़ को प्रोसेस करना है" को एक ही चीज़ मानते हैं। यह एक शेफ से यह अपेक्षा करने जैसा है कि वह ग्राहक के नोट को अनदेखा करे यदि वह नोट उसी स्याही और उसी कागज पर लिखा गया है जिस पर रेसिपी लिखी है। इसे हल करने का एकमात्र तरीका AI का मौलिक डिज़ाइन बदलना है, न कि केवल इसे बेहतर प्रशिक्षित करने की कोशिश करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।