When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse
यह शोध पत्र D-SCAN प्रस्तुत करता है, जो एक हल्का (lightweight) डिटेक्शन फ्रेमवर्क है जो डॉक्यूमेंट-लेवल अटेंशन कोलैप्स की निगरानी करके RAG पॉइजनिंग हमलों की पहचान करता है, जो कि एक विशिष्ट सिग्नेचर है जहाँ मॉडल द्वारा प्रतिकूल दस्तावेजों पर ध्यान केंद्रित करने के साथ अटेंशन एंट्रॉपी कम हो जाती है, जिससे मौजूदा आउटपुट-साइड डिटेक्शन विधियों की सीमाओं को दूर किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, लार्ज लैंग्वेज मॉडल्स मानव ज्ञान के विशाल पुस्तकालयों के रूप में कार्य करते हैं, जो आश्चर्यजनक प्रवाह के साथ प्रश्नों के उत्तर देने और टेक्स्ट उत्पन्न करने में सक्षम हैं। हालाँकि, इन मॉडल्स की एक अंध बिंदु (blind spot) है: जब तक उन्हें बताया न जाए, वे दुनिया के नवीनतम तथ्यों या विशिष्ट विवरणों को स्वाभाविक रूप से नहीं जानते। इसे ठीक करने के लिए, डेवलपर्स 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक प्रणाली का उपयोग करते हैं। इस प्रक्रिया को एक छात्र द्वारा 'ओपन-बुक टेस्ट' देने के समान समझें; कंप्यूटर पहले प्रासंगिक दस्तावेज़ों के लिए एक डेटाबेस खोजता है, उन्हें मॉडल को प्रदान करता है, और फिर मॉडल से उस नई जानकारी के आधार पर उत्तर लिखने के लिए कहता है। यह विधि मशीन को अद्यतित तथ्यों तक पहुँच प्रदान करती है, लेकिन यह समस्याओं का एक द्वार भी खोल देती है। यदि कोई हमलावर उस डेटाबेस में सावधानीपूर्वक तैयार किया गया एक गलत दस्तावेज़ डाल देता है, तो मॉडल उसे पढ़ सकता है, उस पर विश्वास कर सकता है, और एक हानिकारक या गलत उत्तर बनाने के लिए उसका उपयोग कर सकता है। इसे 'पॉइजनिंग अटैक' (poisoning attack) कहा जाता है, और यह कानून और चिकित्सा जैसे उच्च-दांव वाले क्षेत्रों में एक गंभीर जोखिम है, जहाँ एक गलत तथ्य के वास्तविक दुनिया में गंभीर परिणाम हो सकते हैं।
लंबे समय तक, इन हमलों को पकड़ने की कोशिश करने वाले शोधकर्ताओं ने कंप्यूटर द्वारा दिए गए अंतिम उत्तर को देखा। उन्हें उम्मीद थी कि वे यह देखकर झूठ को पकड़ लेंगे कि क्या उत्तर अनिश्चित लग रहा है या क्या वह स्वयं का खंडन कर रहा है। प्रचलित विचार यह था कि जब कोई मॉडल भ्रमित या मतिभ्रम (hallucinating) की स्थिति में होता है, तो वह हिचकिचाते हुए सुनाई देगा, जैसे कोई व्यक्ति अनुमान लगा रहा हो। हालाँकि, सिडनी यूनिवर्सिटी ऑफ टेक्नोलॉजी और पेकिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने पाया कि यह धारणा खतरनाक रूप से गलत है। उन्होंने पाया कि जब एक मॉडल को सफलतापूर्वक एक 'पॉइजन्ड डॉक्यूमेंट' (विषैले दस्तावेज़) द्वारा ठगा जाता है, तो वह बिल्कुल भी भ्रमित नहीं दिखता। इसके बजाय, वह सामान्य से अधिक आत्मविश्वासी लगता है। हमलावर उनके नकली दस्तावेज़ों को इतनी पूर्णता से डिज़ाइन करते हैं कि मॉडल "अंधविश्वासपूर्ण आत्मविश्वास" (blindly confident) का शिकार हो जाता है, और गलत उत्तर को सही उत्तर की तुलना में कहीं अधिक उच्च संभावना (probability) प्रदान करता है। इसका अर्थ है कि पारंपरिक तरीके, जो अनिश्चितता या विसंगति का पता लगाने पर निर्भर करते हैं, अक्सर बेकार होते हैं क्योंकि मॉडल अनिश्चित नहीं होता; वह आश्वस्त होता है कि वह सही है।
इसे हल करने के लिए, शोधकर्ताओं ने अंतिम टेक्स्ट को देखना बंद कर दिया और मॉडल के सोचने के दौरान उसके 'मस्तिष्क' के भीतर देखना शुरू किया। उन्होंने इस बात की जांच की कि मॉडल उन विभिन्न दस्तावेज़ों पर कैसे ध्यान (attention) केंद्रित करता है जिन्हें वह पढ़ रहा है। एक सामान्य, स्वस्थ पठन सत्र में, एक मॉडल कई दस्तावेज़ों पर अपना ध्यान फैलाता है, एक पूर्ण चित्र बनाने के लिए प्रत्येक से साक्ष्य का वजन करता है। शोधकर्ताओं ने पाया कि जब पॉइजनिंग अटैक होता है, तो यह व्यवहार नाटकीय रूप से बदल जाता है। मॉडल अन्य दस्तावेज़ों को देखना बंद कर देता है और लगभग पूरी तरह से एकल विषैले फ़ाइल पर ध्यान केंद्रित करता है। वे इस घटना को "अटेंशन कोलैप्स" (attention collapse) कहते हैं। यह ऐसा है जैसे मॉडल की दृष्टि को हाईजैक कर लिया गया हो, जो दुर्भावनापूर्ण जानकारी पर लॉक हो गई है और बाकी सब कुछ को अनदेखा कर रही है। यह तब भी होता है जब हमला अंतिम उत्तर को बदलने में विफल रहता है, जिससे यह एक विश्वसनीय प्रारंभिक चेतावनी संकेत बन जाता है कि कुछ गलत है।
इस खोज के आधार पर, टीम ने D-SCAN नामक एक नया डिटेक्शन टूल बनाया। यह सिस्टम हल्का और तेज़ है, जो काम करते समय मॉडल के आंतरिक 'अटेंशन पैटर्न' की निगरानी करता है। अंतिम उत्तर गलत होने का इंतज़ार करने के बजाय, D-SCAN उस विशिष्ट क्षण पर नज़र रखता है जब मॉडल का ध्यान एक एकल दस्तावेज़ पर सिमट (collapse) जाता है। अपने परीक्षणों में, शोधकर्ताओं ने तीन अलग-अलग जटिल प्रश्नों के सेट का उपयोग किया और पाया कि उनकी नई विधि मौजूदा तकनीक की तुलना में हमलों को पकड़ने में बहुत बेहतर थी। जबकि अन्य उपकरण वास्तविक उत्तर और नकली उत्तर के बीच अंतर करने में संघर्ष कर रहे थे, D-SCAN ने लगातार पॉइजनिंग प्रयासों की पहचान की। सबसे महत्वपूर्ण बात यह है कि यह टूल तब भी काम कर गया जब हमले ने अंतिम आउटपुट को बदलने में सफलता नहीं पाई। यह सुझाव देता है कि मॉडल का हाईजैक होना एक विशिष्ट हस्ताक्षर (signature) है जो अंतिम परिणाम से स्वतंत्र रूप से मौजूद रहता है।
अध्ययन ने मॉडल्स के आकार के बारे में भी एक आश्चर्यजनक विवरण का खुलासा किया। कोई अनुमान लगा सकता है कि एक बड़ा, अधिक शक्तिशाली कंप्यूटर ट्रिक को पकड़ने में बेहतर होगा, लेकिन शोधकर्ताओं ने पाया कि इसके विपरीत है। छोटे मॉडल्स वास्तव में जहर का पता लगाने में बेहतर थे, जबकि सबसे बड़े मॉडल्स अधिक आसानी से मूर्ख बनते दिखे। यह सुझाव देता है कि वही प्रशिक्षण जो इन बड़े मॉडल्स को निर्देशों का पालन करने में इतना कुशल बनाता है, उन्हें दिए गए दस्तावेज़ों के प्रति बहुत अधिक भरोसेमंद भी बना सकता है। ध्यान के वितरण के आंतरिक तंत्र पर ध्यान केंद्रित करके, शोधकर्ताओं ने इन प्रणालियों को सुरक्षित करने का एक नया तरीका प्रदान किया है। उनका कार्य दिखाता है कि आर्टिफिशियल इंटेलिजेंस को सुरक्षित करने के लिए, हमें न केवल यह समझना चाहिए कि वह क्या कहता है, बल्कि यह भी कि वह कैसे सोचता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।