Through the Stealth Lens: Attention-Aware Defenses Against Poisoning in RAG
यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) सिस्टम में गैर-गुप्त (non-stealthy) पॉइजनिंग हमलों का पता लगाने और उन्हें कम करने के लिए नॉर्मलाइज्ड पैसेज अटेंशन स्कोर्स (Normalized Passage Attention Scores) और एक अटेंशन-वैरिएंस फिल्टर (Attention-Variance Filter) का उपयोग करते हुए एक अटेंशन-अवेयर डिफेंस मैकेनिज्म प्रस्तावित करता है, जबकि साथ ही ऐसे हमलों में वास्तविक गोपनीयता (true stealth) प्राप्त करने की अंतर्निहित कठिनाई पर भी प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "स्मार्ट लाइब्रेरियन" की समस्या
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुपर-स्मार्ट लाइब्रेरियन (LLM) है जिसे बहुत कुछ पता है, लेकिन कभी-कभी वह गलतियाँ कर सकता है या हाल की खबरें भूल सकता है। इसे ठीक करने के लिए, आप लाइब्रेरियन को एक सवाल का जवाब देने से पहले संदर्भ के रूप में कुछ किताबें (Retrieved Passages) देते हैं। इस सिस्टम को RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है।
समस्या क्या है? एक बुरा व्यक्ति (Attacker) उस किताबों के ढेर में एक फर्जी, भ्रामक किताब छिपा सकता है। भले ही वे दस असली किताबों के बीच केवल एक फर्जी किताब डाल दें, लाइब्रेरियन उस फर्जी किताब को अन्य किताबों की तुलना में अधिक ध्यान से पढ़ने के लिए बहका सकता है और आपको गलत उत्तर दे सकता है।
मुख्य खोज: "तेज़ फुसफुसाहट" (The Loud Whisper)
लेखकों ने इस शोध में कुछ आश्चर्यजनक खोजा: वर्तमान हमले वास्तव में गुप्त (Stealthy) नहीं हैं।
लाइब्रेरियन के दिमाग को एक स्पॉटलाइट (स्पोटलाइट) की तरह समझें। जब लाइब्रेरियन किसी सवाल का जवाब देने के लिए किताबों के ढेर को पढ़ता है, तो स्पॉटलाइट स्वाभाविक रूप से सबसे महत्वपूर्ण शब्दों पर चमकती है।
- एक सामान्य स्थिति में: स्पॉटलाइट सभी असली किताबों के बीच समान रूप से विभाजित होती है।
- एक पॉइजनिंग हमले में: लाइब्रेरियन को चकमा देने के लिए, फर्जी किताब को अपना उत्तर बहुत ज़ोर से "चिल्लाकर" बताना पड़ता है। क्योंकि उसे सच को दबाने के लिए इतनी मेहनत करनी पड़ती है, इसलिए लाइब्रेरियन की स्पॉटलाइट उस एक फर्जी किताब पर "अटक" जाती है, जिससे वह अन्य किताबों को अनदेखा कर देती है।
पेपर इसे "Loud Whisper" (तेज़ फुस्फुसाहट) कहता है। हमला चुप रहने की कोशिश करता है, लेकिन जवाब बदलने के लिए उसे इतनी कड़ी मेहनत करनी पड़ती है कि वह लाइब्रेरियन के ध्यान (Attention) में एक बड़ा, चमकता हुआ निशान छोड़ देता है।
नया बचाव: "स्पॉटलाइट मीटर" (AV Filter)
शोधकर्ताओं ने एक नया सुरक्षा उपकरण बनाया जिसे अटेंशन-वैरिएंस फ़िल्टर (AV Filter) कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उदाहरण देखें:
कल्पना कीजिए कि आप एक सुरक्षा गार्ड हैं जो लोगों के एक समूह (किताबों) को एक जज (लाइब्रेरियन) को एक कहानी समझाने की कोशिश करते हुए देख रहे हैं।
- जांच: गार्ड यह मापता है कि जज ने प्रत्येक व्यक्ति को कितना "ध्यान" (स्पॉटलाइट) दिया।
- पैटर्न: एक स्वस्थ समूह में, हर किसी को लगभग समान मात्रा में ध्यान मिलता है।
- अलार्म: यदि एक व्यक्ति को 80% स्पॉटलाइट मिल रही है जबकि बाकी सबको केवल 5% मिल रही है, तो गार्ड को पता चल जाता है कि कुछ गलत है। वह व्यक्ति संभवतः "पॉइजनड" (जहरीली/फर्जी) किताब है जो बातचीत पर कब्जा करने की कोशिश कर रही है।
- कार्रवाई: गार्ड जज के अंतिम निर्णय लेने से पहले उस शोर मचाने वाले, संदिग्ध व्यक्ति को कमरे से बाहर निकाल देता है।
इस टूल को नॉर्मलाइज्ड पैसेज अटेंशन स्कोर (NPAS) कहा जाता है। यह गणना करता है कि लाइब्रेरियन वास्तव में प्रत्येक किताब पर कितना ध्यान केंद्रित कर रहा है। यदि ध्यान बहुत अधिक असमान (High Variance) है, तो सिस्टम संदिग्ध किताब को हटा देता है।
परिणाम: खेल जीतना
इस पेपर ने कई प्रकार के हमलों (जैसे "PoisonedRAG" और "Prompt Injection") के खिलाफ इसका परीक्षण किया।
- डिटेक्शन (पकड़ना): नए फ़िल्टर ने लगभग 78% बार खराब किताबों को पकड़ लिया, भले ही हमलावरों ने उन्हें छिपाने की कोशिश की हो।
- प्रोटेक्शन (सुरक्षा): इस फ़िल्टर का उपयोग करने पर, सिस्टम ने पिछले सुरक्षा तरीकों की तुलना में बहुत अधिक बार सही उत्तर दिया (लग तक 20% बेहतर), बिना प्रक्रिया को धीमा किए या सामान्य सवालों पर गलती किए।
"चूहे और बिल्ली" का खेल: एडेप्टिव अटैक (Adaptive Attacks)
शोधकर्ताओं ने यह भी पूछा: "क्या बुरे लोग और अधिक शांत (Stealthy) होना सीख सकते हैं?"
उन्होंने एक नया प्रकार का हमला बनाया जिसे एडेप्टिव अटैक कहा जाता है। यह एक ऐसे जासूस की तरह है जो जानता है कि सुरक्षा गार्ड स्पॉटलाइट पर नज़र रख रहा है। जासूस फर्जी किताब को इस तरह से लिखने की कोशिश करता है कि स्पॉटलाइट अधिक समान रूप से वितरित हो जाए, जिससे वह एक सामान्य किताब की तरह दिखे।
- क्या यह काम आया? आंशिक रूप से। इन स्मार्ट हमलों ने फ़िल्टर को लगभग 35% बार धोखा देने में सफलता प्राप्त की।
- चुनौती: ऐसा करने के लिए, जासूस को प्रत्येक विशिष्ट प्रश्न के लिए एक आदर्श फर्जी किताब तैयार करने के लिए भारी मात्रा में समय और कंप्यूटिंग शक्ति (एक सामान्य हमले की तुलना में हजारों गुना अधिक) खर्च करनी पड़ी।
निष्कर्ष: हालांकि यह संभव है कि हमलों को थोड़ा अधिक गुप्त बनाया जाए, लेकिन ऐसा करना बेहद महंगा और कठिन है। इन हमलों की "गोपनीयता" (Stealth) मुफ्त नहीं आती; इसकी एक बड़ी कीमत चुकानी पड़ती है।
सीमाओं का सारांश (जो पेपर दावा नहीं करता है)
- बहुमत का नियम (Majority Rule): यदि बुरे लोग आधी से अधिक किताबें (उदाहरण के लिए, 10 में से 6 फर्जी किताबें) डालने में सफल हो जाते हैं, तो यह फ़िल्टर काम नहीं करेगा। यह इस बात पर निर्भर करता है कि अच्छी किताबें बहुमत में हों।
- विशिष्ट लक्ष्य: यह स्पष्ट उत्तरों वाले प्रश्नों (जैसे "कितने टावर बने हैं?") के लिए सबसे अच्छा काम करता है। यह उतना प्रभावी नहीं हो सकता है यदि हमला लिखने की शैली को बदलने या निजी डेटा चुराने की कोशिश कर रहा हो, न कि केवल तथ्यात्मक उत्तर बदलने की।
निचोड़ (The Bottom Line)
यह पेपर साबित करता है कि एक स्मार्ट लाइब्रेरियन के संदर्भ स्टैक को ज़हर देने (Poison) की कोशिश करने से लाइब्रेरियन के ध्यान में एक "चमकता हुआ निशान" छूट जाता है। उस निशान को मापकर, हम आसानी से फर्जी किताबों को पहचान सकते हैं और उन्हें हटा सकते हैं, जिससे पूरी लाइब्रेरी को फिर से बनाए बिना सटीक उत्तर सुरक्षित रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।