Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention
यह शोध पत्र स्पार्स डॉक्यूमेंट अटेंशन RAG (SDAG) को प्रस्तुत करता है, जो एक नवीन रक्षा तंत्र है जो रिट्रीवल ऑगमेंटेड जनरेशन सिस्टम में हानिकारक क्रॉस-डॉक्यूमेंट इंटरैक्शन को रोकने के लिए ब्लॉक-स्पार्स अटेंशन का उपयोग करता है, जिससे कॉर्पस नॉलेज पॉइजनिंग हमलों को महत्वपूर्ण रूप से कम किया जाता है और मौजूदा अत्याधुनिक रक्षा प्रणालियों से बेहतर प्रदर्शन किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, लार्ज लैंग्वेज मॉडल्स मानव ज्ञान के विशाल भंडार के रूप में कार्य करते हैं, जो आश्चर्यजनक प्रवाह के साथ प्रश्नों के उत्तर देने और टेक्स्ट उत्पन्न करने में सक्षम हैं। हालाँकि, इन मॉडल्स की एक सीमा है: इन्हें ऐसे डेटा पर प्रशिक्षित किया जाता है जो एक निश्चित समय पर रुक जाता है, जिसका अर्थ है कि वे बिना सहायता के हालिया घटनाओं या विशिष्ट, सूक्ष्म तथ्यों के बारे में नहीं जान सकते। इसे हल करने के लिए, शोधकर्ताओं ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (Retrieval-Augmented Generation) नामक एक प्रणाली विकसित की। इस सेटअप में, जब कोई उपयोगकर्ता प्रश्न पूछता है, तो सिस्टम पहले प्रासंगिक जानकारी खोजने के लिए दस्तावेजों के एक विशाल पुस्तकालय की खोज करता है। फिर यह प्रश्न और इन खोजे गए दस्तावेजों, दोनों को लैंग्वेज मॉडल में फीड करता है, जो एक सटीक उत्तर तैयार करने के लिए उनका उपयोग एक मार्गदर्शक के रूप में करता है। यह विधि AI के ज्ञान को ताज़ा रखती है और इसकी मनगढ़ंत बातें बनाने की संभावना को कम करती है, जिसे 'हैलुसिनेशन' (hallucination) की समस्या के रूप में जाना जाता है। फिर भी, बाहरी दस्तावेजों पर यह निर्भरता ही एक नई भेद्यता पैदा करती है। क्योंकि सिस्टम उन दस्तावेजों पर भरोसा करता है जो उसे मिलते हैं, इसलिए एक दुर्भावनापूर्ण व्यक्ति गुप्त रूप से पुस्तकालय में गलत जानकारी डाल सकता है। यदि सिस्टम इन 'पॉइज़न्ड' (विषैले) दस्तावेजों को खोज लेता है, तो उसे सच्चाई को अनदेखा करने और इसके बजाय झूठ बोलने के लिए बहकाया जा सकता है।
इजराइल के टेक्निओन (Technion) के शोधकर्ताओं ने सूचना को संसाधित करने के तरीके में एक विशिष्ट कमजोरी की पहचान की है जो इन प्रणालियों को ऐसे धोखे के प्रति संवेदनशील बनाती है। मानक लैंग्वेज मॉडल्स में, वह तंत्र जो AI को टेक्स्ट के विभिन्न हिस्सों पर ध्यान केंद्रित करने की अनुमति देता है, इस तरह डिज़ाइन किया गया है कि प्रत्येक शब्द पिछले प्रत्येक शब्द को एक निरंतर प्रवाह में देख सके। यह कहानी लिखने या एक एकल लेख का सारांश देने के लिए अच्छा काम करता है, जहाँ संदर्भ एक वाक्य से दूसरे वाक्य तक स्वाभाविक रूप से बहता है। हालाँकि, एक रिट्रीवल सिस्टम में, इनपुट अक्सर एक साथ रखे गए अलग-अलग, विशिष्ट दस्तावेजों का संग्रह होता है। शोधकर्ताओं का तर्क है कि इन दस्तावेजों को संसाधित करने की मानक विधि इन दस्तावेजों के शब्दों को एक-दूसरे के साथ इस तरह से बातचीत करने की अनुमति देती है जो हानिकारक हो सकता है। जब एक दुर्भावनापूर्ण दस्तावेज़ मौजूद होता है, तो उसकी भ्रामक सामग्री AI की सत्य दस्तावेज़ों की समझ को प्रभावित कर सकती है, जिससे प्रभावी रूप से पूरे उत्तर को दूषित कर दिया जाता है।
इसे संबोधित करने के लिए, टीम ने 'स्पार्स डॉक्यूमेंट अटेंशन' (Sparse Document Attention) नामक एक नई रक्षा रणनीति पेश की। AI को खोजे गए सेट के प्रत्येक शब्द को दूसरे शब्द को देखने देने के बजाय, यह विधि दस्तावेजों के बीच एक सख्त सीमा बनाती है। यह सिस्टम को प्रत्येक खोजे गए दस्तावेज़ को एक अलग द्वीप के रूप में मानने के लिए मजबूर करती है। एक ही दस्तावेज़ के भीतर, शब्द संदर्भ बनाए रखने के लिए एक-दूसरे को संदर्भित कर सकते हैं, लेकिन वे अन्य खोजे गए दस्तावेजों के शब्दों को देखने या उनसे प्रभावित होने से पूरी तरह से बाधित रहते हैं। यह परिवर्तन केवल तब लागू किया जाता है जब सिस्टम एक उत्तर उत्पन्न कर रहा होता है, जिसमें मूल AI मॉडल को पुन: प्रशिक्षित करने या सॉफ्टवेयर पाइपलाइन में जटिल जोड़ करने की आवश्यकता नहीं होती है। यह 'अटेंशन' के नियमों में एक सरल समायोजन है जो एक झूठे और एक सत्यवादी के बीच हानिकारक 'क्रॉस-टॉक' (आपसी संवाद) को रोकता है।
शोधकर्ताओं ने विभिन्न प्रश्न-उत्तर डेटासेट्स और कई प्रकार के लैंग्वेज मॉडल्स का उपयोग करते हुए विभिन्न परिदृश्यों में इस दृष्टिकोण का कड़ाई से परीक्षण किया। उन्होंने ऐसे हमलों का अनुकरण किया जहाँ एक विरोधी ने भ्रामक दस्तावेज़ों को इंजेक्ट किया जो AI को एक विशिष्ट, गलत उत्तर की ओर ले जाने के लिए डिज़ाइन किए गए थे। इन परीक्षणों में, मानक प्रणाली, जो दस्तावेजों को एक-दूसरे को प्रभावित करने की अनुमति देती थी, अक्सर इस चाल में फंस गई, और अक्सर हमलावर का वांछित गलत उत्तर ही प्रदान करती थी। इसके विपरीत, नए 'स्पार्स अटेंशन' पद्धति का उपयोग करने वाली प्रणाली कहीं अधिक लचीली साबित हुई। इसने बहुसंख्यक मामलों में विषैले दस्तावेजों को सफलतापूर्वक अनदेखा कर दिया, अपने उत्तरों की सटीकता बनाए रखी और हमलों की सफलता दर को काफी कम कर दिया। सुधार इतना महत्वपूर्ण था कि नया तरीका मौजूदा, अधिक जटिल रक्षा रणनीतियों से भी बेहतर प्रदर्शन कर गया जो इन हमलों को पकड़ने के लिए विकसित की गई थीं।
अध्ययन ने यह भी पता लगाया कि एक नकली दस्तावेज़ की स्थिति परिणाम को कैसे प्रभावित करती है। उन्होंने पाया कि जब एक भ्रामक दस्तावेज़ की सामग्री सत्य दस्तावेज़ों के समान होती है, तो सिस्टम के लिए उसके प्रभाव का विरोध करना कठिन होता है। हालाँकि, नया तरीका इन कठिन स्थितियों में भी प्रभावी रहा। इसके अलावा, शोधकर्ताओं ने पाया कि यह रक्षा तब भी अच्छी तरह से काम करती है जब AI को ऐसे जटिल समस्याओं को हल करने के लिए कहा जाता है जिनमें कई दस्तावेजों से जानकारी को संयोजित करने की आवश्यकता होती है, जैसे कि मल्टी-स्टेप रीजनिंग प्रश्न। जबकि प्रारंभिक सेटअप ने मानक पद्धति की तुलना में प्रदर्शन में थोड़ी गिरावट दिखाई, शोधकर्ताओं ने पाया कि मॉडल को नए नियमों के लिए थोड़े समय के लिए 'फाइन-ट्यूनिंग' करने से इस नुकसान की पूरी तरह से भरपाई हो गई, जिसके परिणामस्वरूप एक ऐसा सिस्टम प्राप्त हुआ जो हमलों के प्रति मजबूत और अत्यधिक सटीक दोनों था।
निष्कर्ष बताते हैं कि एक AI अपने स्रोत सामग्री को किस तरह से देखता है, वह सामग्री स्वयं जितनी महत्वपूर्ण है, उतनी ही महत्वपूर्ण है। केवल विभिन्न दस्तावेजों को एक-दूसरे से बात करने से रोककर, सिस्टम को मूर्ख बनाना बहुत कठिन हो जाता है। यह दृष्टिकोण रिट्रीवल-आधारित AI सिस्टम को सुरक्षित करने का एक व्यावहारिक और कुशल तरीका प्रदान करता है, यह सुनिश्चित करता है कि वे सत्य पर भरोसा करें न कि कमरे में मौजूद सबसे प्रभावशाली झूठ से प्रभावित हों। यह कार्य इन प्रणालियों की सुरक्षा के लिए एक नया मानक स्थापित करता है, यह दिखाते हुए कि मॉडल द्वारा सूचना को संसाधित करने के तरीके में एक मौलिक परिवर्तन, जटिल डिटेक्शन टूल्स के स्तर जोड़ने की तुलना में अधिक प्रभावी हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।