Can It Reach the Generator? Investigating the Survival of Prompt-Injection Attacks in Realistic RAG Settings
यह शोध पत्र प्रदर्शित करता है कि वास्तविक RAG सिस्टम में, अधिकांश प्रॉम्प्ट-इंजेक्शन हमले रिट्रीवल और रीरैंकिंग फिल्टर के कारण जनरेटर तक पहुँचने में विफल रहते हैं, और जो बच जाते हैं उन्हें हल्के गार्ड मॉडल्स द्वारा आसानी से पकड़ा जा सकता है, जो पिछले अध्ययनों द्वारा वास्तविक सुरक्षा जोखिमों का अत्यधिक आकलन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट, हाई-टेक लाइब्रेरी चला रहे हैं। जब कोई आगंतुक पूछता है, "सबसे अच्छा कॉफी मेकर कौन सा है?", तो आपकी लाइब्रेरी उन्हें केवल किताबों की सूची नहीं देती है। इसके बजाय, इसमें एक तीन-चरणीय टीम है जो तय करती है कि उन्हें क्या दिखाना है:
- लाइब्रेरियन (रिट्रीवर/Retriever): पूरी लाइब्रेरी को स्कैन करता है ताकि वे शीर्ष 10 किताबें ढूंढ सके जो शायद प्रासंगिक हों।
- विशेषज्ञ आलोचक (रीरैंकर/Reranker): उन शीर्ष 10 किताबों को ध्यान से पढ़ता है और उन्हें फिर से व्यवस्थित करता है ताकि यह सुनिश्चित हो सके कि सबसे अच्छी किताबें बिल्कुल शीर्ष पर हों।
- कंसीयर्ज (जेनरेटर/Generator): आलोचक की शीर्ष 5 किताबों को लेता है और आगंतुक के लिए एक अंतिम सिफारिश पत्र लिखता है।
समस्या: "नकली किताब" का हमला
हाल ही में, शोधकर्ताओं ने एक चाल खोजी जिसे "जेनरेटिव इंजन ऑप्टिमाइजेशन" (GEO) कहा जाता है। यह कुछ ऐसा है जैसे कोई लाइब्रेरी में एक नकली, आत्म-प्रचार करने वाली किताब घुसाने की कोशिश कर रहा है ताकि कंसीयर्ज को यह विश्वास दिलाया जा सके कि वह सबसे अच्छा कॉफी मेकर है, भले ही वह किताब बेकार हो।
पिछले अध्ययनों ने दावा किया था कि यह चाल एक बड़ी सफलता थी, यह कहते हुए कि हमलावर अपनी नकली किताब को सूची में सबसे ऊपर पहुँचा सकता है 80% समय। उन्होंने इसे ऐसा दिखाया जैसे लाइब्रेरी पूरी तरह से तोड़फोड़ के लिए खुली हुई है।
वास्तविकता की जाँच: पेपर की खोज
यह पेपर कहता है, "रुको जरा। वे पिछले अध्ययन धोखाधड़ी कर रहे थे।"
उन पुराने अध्ययनों में, यह मान लिया गया था कि नकली किताब पहले से ही आलोचक (Critic) की मेज पर रखी हुई है, जिससे लाइब्रेरियन और आलोचक दोनों को बाईपास कर दिया गया। उन्होंने बस कंसीयर्ज से पूछा, "यहाँ एक नकली किताब है; क्या आप इसकी सिफारिश कर सकते हैं?"
लेकिन वास्तविक दुनिया में, नकली किताब को लाइब्रेरियन और आलोचक दोनों के सामने जीवित रहना होगा। लेखकों ने इस वास्तविक परिदृश्य का परीक्षण किया और पाया कि यह हमला उम्मीद से कहीं अधिक कमजोर है।
यहाँ उन्होंने क्या पाया, सरल उपमाओं का उपयोग करते हुए:
1. लाइब्रेरियन नकली किताबों को बाहर निकाल देता है
जब एक हमलावर सिस्टम को धोखा देने के लिए एक नकली किताब लिखने की कोशिश करता है, तो उसे अक्सर एक अजीब, रोबोटिक तरीके से लिखना पड़ता है (जैसे गुप्त कोड या अजीब निर्देश जोड़ना)।
- परिणाम: लाइब्रेरियन, जो सामान्य दिखने वाली किताबों की तलाश में है, अक्सर उस नकली किताब को नहीं चुनता है। उसे शेल्फ पर ही छोड़ दिया जाता है।
- आंकड़ा: लगभग 20% नकली किताबें लाइब्रेरियन के पास से आगे बढ़कर आलोचक तक भी नहीं पहुँच पातीं।
2. आलोचक अजीब चीजों को खारिज कर देता है
भले ही नकली किताब लाइब्रेरियन के पास से निकल जाए, उसे विशेषज्ञ आलोचक का सामना करना पड़ता है। आलोचक यह देखने के लिए सामग्री को पढ़ता है कि क्या वह वास्तव में प्रश्न का उत्तर देती है।
- परिणाम: कई हमले जो पुराने "धोखाधड़ी वाले" परीक्षणों में मजबूत दिखते थे, यहाँ विफल हो जाते हैं। आलोचक को एहसास होता है कि किताब उन्हें धोखा देने की कोशिश कर रही है और वह उसे सूची में नीचे धकेल देता है।
- आंकड़ा: "ग्रेडिएंट-बेस्ड" गणित (जटिल, रोबोटिक कोड) पर निर्भर हमले लगभग पूरी तरह से विफल हो जाते हैं। उनकी सफलता दर एक बड़े खतरे के रूप में दिखने से गिरकर 2% से भी कम रह जाती है। वे बस आलोचक के सामने टिक नहीं पाते।
3. केवल "स्मूथ टॉकर" (मीठी बातें करने वाले) ही जीवित बचते हैं
एक प्रकार का हमला है जो अभी भी काम करता है: LLM-संचालित हमले। ये ऐसी नकली किताबें हैं जिन्हें एक अन्य AI द्वारा लिखा गया है जो बहुत स्वाभाविक और प्रभावशाली लगता है।
- परिणाम: ये "स्मूथ टॉकर" लाइब्रेरियन और आलोचक को धोखा दे सकते हैं क्योंकि वे वास्तविक, मददगार सिफारिशों की तरह लगते हैं।
- आंकड़ा: ये हमले लगभग 40-50% समय काम करते हैं। केवल वे ही कंसीयर्ज तक पहुँचने में सफल होते हैं।
4. "स्मोक डिटेक्टर" (धुआं पकड़ने वाला यंत्र) काम करता है
पेपर ने यह भी परीक्षण किया कि क्या हम इन हमलावरों को पकड़ सकते हैं।
- खोज: उन्होंने एक छोटा, हल्का "सुरक्षा गार्ड" (एक छोटा AI मॉडल) बनाया जिसे केवल इन हमलों के कुछ उदाहरणों पर प्रशिक्षित किया गया था।
- परिणाम: इस गार्ड ने उन सभी हमलों को पकड़ लिया जो पाइपलाइन के माध्यम से पहुंचे थे, जिनमें वे "स्मूथ टॉकर" भी शामिल थे। यह एक स्मोक डिटेक्टर की तरह है जो तुरंत धुएं को सूंघ लेता है, चाहे आग को कितनी भी अच्छी तरह से छिपाया गया हो।
मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि "प्रलय" वाला परिदृश्य जहाँ AI सिफारिशों को आसानी से हाईजैक किया जा सकता है, बढ़ा-चढ़ाकर बताया गया है।
- पुराना दृष्टिकोण: "हैकर्स आसानी से AI को कुछ भी सिफारिश करने के लिए मजबूर कर सकते हैं!" (उन परीक्षणों के आधार पर जिन्होंने सुरक्षा चरणों को छोड़ दिया था)।
- नया दृष्टिकोण: "हैकर्स कोशिश कर सकते हैं, लेकिन लाइब्रेरी के प्राकृतिक सुरक्षा चरण (लाइब्रेरियन और आलोचक) में से अधिकांश को फ़िल्टर कर देते हैं। जो थोड़े बहुत बच निकलते हैं, उन्हें एक साधारण डिटेक्टर से आसानी से पहचाना जा सकता है।"
संक्षेप में, सिस्टम हमारी आशंका से कहीं अधिक मजबूत है, लेकिन हमें अपने "स्मोक डिटेक्टर्स" (सुरक्षा गार्डों) को चालू रखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।