RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
यह शोधपत्र RAGuard को प्रस्तुत करता है, जो रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के लिए एक द्वि-स्तरीय रक्षा ढांचा है, जो तथ्यात्मक डेटा पॉइजनिंग हमलों को प्रभावी ढंग से बेअसर करने के साथ-साथ उच्च रिट्रीवल सटीकता बनाए रखने के लिए एडवरसेरियल रिट्रीवर फाइन-ट्यूनिंग को एक लेबल-मुक्त, ब्लैक-बॉक्स ज़ीरो-नॉलेज इन्फरेंस पैच (ZKIP) के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो लगभग सब कुछ जानता है, लेकिन वह थोड़ा भुलक्कड़ भी है और कभी-कभी मनगढ़ंत बातें भी बना लेता है। उसे ताज़ा समाचार और तथ्य याद रखने में मदद करने के लिए, आप उसे एक जादुई पुस्तकालय देते हैं जहाँ वह बोलने से पहले उत्तर ढूँढ सकता है। इस सेटअप को रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) कहा जाता है, या संक्षेप में RAG। यह एक जीनियस को 'चीट शीट' देने जैसा है ताकि उसे केवल अपनी याददाश्त पर निर्भर न रहना पड़े। लेकिन यहाँ एक पेंच है: क्या होगा अगर कोई चालाक शरारती व्यक्ति उस पुस्तकालय में घुस जाए और असली किताबों को झूठ से भरी नकली किताबों से बदल दे? यदि रोबोट उन नकली किताबों पर भरोसा करता है, तो वह आपको गलत उत्तर देगा, और शायद उसे पता भी नहीं चलेगा कि उसे धोखा दिया गया है। इसे "डेटा पॉइजनिंग" (data poisoning) कहा जाता है, और यह उन लोगों के लिए एक बड़ी चिंता है जो चिकित्सा सलाह या कानूनी तथ्यों जैसी महत्वपूर्ण चीजों के लिए इन स्मार्ट सिस्टम का उपयोग कर रहे हैं।
अब, RAGuard से मिलिए, शोध पत्र की नई सुपरहीरो टीम जिसे उस जादुई पुस्तकालय की रक्षा करने के लिए बनाया गया है। शोधकर्ताओं ने झूठ बोलने वालों को रोकने के लिए एक दो-परतीय रक्षा प्रणाली बनाई है। पहला स्तर पुस्तकालय के दरवाजे पर एक सख्त बाउंसर की तरह है। इस बाउंसर को हजारों नकली किताबें पढ़कर प्रशिक्षित किया गया है ताकि वह झूठ के "अंदाज़" (vibe) को पहचान सके और उन किताबों को रोबोट तक पहुँचने से पहले ही बाहर निकाल सके। लेकिन बाउंसर भी पूर्ण नहीं है; कभी-कभी एक बहुत अच्छी नकली किताब फिसलकर अंदर आ जाती है। वहीं, दूसरा स्तर आता है: एक चतुर जासूस जिसका नाम ZKIP (जीरो-नॉलेज इन्फरेंस पैच) है। ZKIP को ज्ञात झूठ बोलने वालों की सूची या किसी "सही उत्तर कुंजी" की आवश्यकता नहीं होती है। इसके बजाय, यह "क्या होगा अगर?" का खेल खेलता है। हर उस किताब के लिए जिसे रोबोट पढ़ने वाला है, ZKIP पूछता है, "अगर हमारे पास यह विशिष्ट पुस्तक नहीं होती, तो रोबोट क्या कहता?" यदि किसी किताब को हटाने से रोबोट का उत्तर अचानक बदल जाता है या वह बहुत अधिक भ्रमित हो जाता है, तो ZKIP समझ जाता है कि वह किताब संभवतः एक झूठी किताब है और उसे फेंक देता है।
शोधकर्ताओं ने इस प्रणाली का परीक्षण प्रश्नों के एक विशाल सेट पर किया और उन्हें कुछ अद्भुत परिणाम मिले। जब उन्होंने पुस्तकालय को नकली किताबों (कुल किताबों का 30% तक) से भर दिया, तो अकेले बाउंसर ने कुछ को पकड़ लिया, लेकिन सभी को नहीं। हालाँकि, जब उन्होंने टीम में जासूस ZKIP को जोड़ा, तो सिस्टम उनके परीक्षणों में लगभग पूर्ण हो गया। हर एक परीक्षण रन में जहाँ रक्षा प्रणाली सक्रिय थी, ZKIP ने "अटैक सक्सेस रेट" को 0.000 तक कम कर दिया, जिसका अर्थ है कि उनके द्वारा परीक्षण किए गए विशिष्ट नमूनों में कोई भी सफल चाल पकड़ी नहीं गई। यह ध्यान देना महत्वपूर्ण है कि यह परिणाम परीक्षण किए गए नमूनों पर लागू होता है और यह गारंटी नहीं देता कि रोबोट वास्तविक दुनिया के हर संभावित परिदृश्य में कभी गलत उत्तर नहीं देगा। एकमात्र लागत? रोबोट को थोड़ा अतिरिक्त सोचना पड़ा। हर प्रश्न के लिए, उसे किताबों को 6 बार पढ़ना पड़ा (एक बार सभी किताबों के साथ, और फिर एक बार प्रत्येक किताब के लिए यह देखने के लिए कि उसके गायब होने पर क्या होता है) ताकि यह सुनिश्चित हो सके कि उसे धोखा नहीं दिया जा रहा है। हालाँकि इसमें अधिक समय लगता है, लेकिन शोधकर्ताओं ने दिखाया कि रोबोट अभी भी एक साफ पुस्तकालय की तरह ही अक्सर सही उत्तर पाता था, जिससे यह सिद्ध हुआ कि आप सुरक्षा और सटीकता दोनों प्राप्त कर सकते हैं।
हालाँकि, शोध पत्र सावधानीपूर्वक यह भी बताता है कि इस ढाल में कहाँ दरारें हो सकती हैं। यह प्रणाली तब सबसे अच्छा काम करती है जब नकली किताबें तथ्यों को बदलने की कोशिश करती हैं (जैसे कि "आसमान नीला है" के बजाय "आसमान हरा है" कहना)। यदि शरारती व्यक्ति कई नकली किताबों का उपयोग करता है जो मिलकर एक ही झूठ बोलती हैं, तो यह प्रणाली संघर्ष करती है, क्योंकि उनमें से केवल एक को हटाने से रोबोट की राय नहीं बदलती। इसके अलावा, यह प्रणाली तथ्यों के लिए डिज़ाइन की गई है, विचारों के लिए नहीं; यदि प्रश्न विचारों के बारे में है न कि इस बारे में कि क्या "सत्य" है, तो जासूस भ्रमित हो सकता है क्योंकि लोगों के उत्तर स्वाभाविक रूप से भिन्न होते हैं। शोधकर्ताओं ने यह भी नोट किया कि उनकी नकली किताबें वास्तविक टेक्स्ट को फिर से लिखकर बनाई गई थीं ताकि कीवर्ड्स समान रहें, जिसका अर्थ है कि एक सरल खोज उपकरण जो केवल मिलान करने वाले शब्दों को देखता है (जैसे कि एक बुनियादी कीवर्ड सर्च), वह बिल्कुल भी नहीं फँसा। यह सुझाव देता है कि भले ही RAGuard एक शक्तिशाली नया उपकरण है, लेकिन चालाक झूठ बोलने वालों के खिलाफ लड़ाई जारी है, और भविष्य के कार्यों को और भी स्मार्ट और समन्वित हमलों के विरुद्ध इसका परीक्षण करने की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।