PRA-RAG: Provably Robust Aggregation in Retrieval-Augmented Generation against Retrieval Corruption
यह शोध पत्र PRA-RAG को प्रस्तुत करता है, जो एक प्रमाणित रूप से सुदृढ़ रिट्रीवल एग्रीगेशन एल्गोरिदम है जो रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम को पॉइजनिंग हमलों से प्रभावी ढंग से बचाने के लिए एम्बेडिंग स्पेस में ज्यामितीय संरचनाओं का लाभ उठाता है, जिससे उच्च सटीकता बनाए रखते हुए हमले की सफलता दर में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: "फेक न्यूज" लाइब्रेरी
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, मददगार लाइब्रेरियन (AI) है जो बहुत कुछ जानता है लेकिन कभी-कभी हाल की घटनाओं या विशिष्ट विवरणों को भूल जाता है। उनकी मदद करने के लिए, आप उन्हें एक विशाल लाइब्रेरी (ज्ञान डेटाबेस) से संदर्भ पुस्तकें (रिट्रीव्ड टेक्स्ट्स) देते हैं ताकि वे आपके सवालों के जवाब दे सकें।
इस सिस्टम को RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है। यह बेहतरीन है क्योंकि लाइब्रेरियन उन तथ्यों को खोज सकता है जिन्हें वह नहीं जानता।
लेकिन यहाँ एक खतरा है: एक बुरा व्यक्ति लाइब्रेरी में घुसकर संदर्भ पुस्तकों के कुछ पन्नों को नकली, भ्रामक जानकारी के साथ बदल सकता है। यदि लाइब्रेरियन उन नकली पन्नों को चुन लेता है, तो वे आपको पूरे आत्मविश्वास के साथ बता सकते हैं कि "माउंट फूजी सबसे ऊँचा पर्वत है" बजाय इसके कि "माउंट एवरेस्ट"। इसे पॉइजनिंग अटैक (विषैला हमला) कहा जाता है।
पुराने बचाव: "शंकालु" बनाम "अति-विचार करने वाला"
पिछले प्रयासों ने दो मुख्य समस्याएँ दिखाईं:
- शंकालु (The Skeptic): कुछ तरीकों ने लाइब्रेरियन से पूछा, "क्या आप इस तथ्य को जानते हैं?" यदि लाइब्रेरियन को वह तथ्य नहीं पता था, तो वे उस नकली किताब को अनदेखा कर देते थे। लेकिन यदि नकली किताब बहुत ही विश्वसनीय दिखती थी, तो लाइब्रेरियन को फिर भी चकमा दिया जा सकता था।
- अति-विचार करने वाला (The Over-Thinker): अन्य तरीकों ने लाइब्रेरियन से एक ही किताब को दस अलग-अलग बार पढ़ने और उस पर वोट देने के लिए कहा। यह बहुत सुरक्षित था लेकिन इसमें बहुत समय लगता था और यह वास्तविक उपयोग के लिए बहुत धीमा था।
नया समाधान: PRA-RAG (द "ग्रुप वोट" सिस्टम)
लेखकों ने एक नया तरीका प्रस्तावित किया है जिसे PRA-RAG कहा जाता है। एक किताब पढ़ने या दस बार वोट देने के बजाय, वे ज्यामिति (geometry) पर आधारित एक चतुर "ग्रुप वोटिंग" रणनीति का उपयोग करते हैं।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
1. एक बड़ा जाल फैलाना
जब आप कोई प्रश्न पूछते हैं, तो सिस्टम केवल शीर्ष 3 सबसे समान पुस्तकों को नहीं उठाता। यह अधिक पुस्तकें (जैसे, 8 या 12) उठाता है। इससे इस बात की संभावना बढ़ जाती है कि "अच्छी" पुस्तकें "नकली" पुस्तकों से अधिक संख्या में हों।
2. कई छोटे समूह बनाना
कल्पना कीजिए कि आप उन 12 पुस्तकों को लेते हैं और उनसे 3 पुस्तकों के हजारों अलग-अलग छोटे समूह (संयोजन) बनाते हैं।
- यदि बुरे व्यक्ति ने केवल 2 पुस्तकों को खराब किया है, तो इनमें से अधिकांश समूहों में अभी भी कम से कम एक या दो अच्छी पुस्तकें होंगी।
- केवल कुछ ही समूह "भ्रष्ट" होंगे जिनमें बहुत अधिक नकली पुस्तकें होंगी।
3. "ज्यामितीय गोला" (Geometric Ball) का कमाल
यही वह जादुई हिस्सा है। सिस्टम प्रत्येक पुस्तक के समूह को एक बहु-आयामी स्थान (विचारों के मानचित्र की तरह) में एक एकल बिंदु में बदल देता है।
- साफ समूह (The Clean Groups): क्योंकि वे समान, सत्य जानकारी साझा करते हैं, उनके बिंदु मानचित्र पर एक साथ घने रूप में क्लस्टर होते हैं, जैसे पक्षियों का झुंड।
- विषैले समूह (The Poisoned Groups): क्योंकि उनमें नकली जानकारी होती है, उनके बिंदु झुंड से दूर चले जाते हैं।
सिस्टम उन सबसे छोटे संभव घेरे (एक "बॉल") की तलाश करता है जो सभी समूहों के आधे से अधिक को कवर कर सके।
- चूंकि "अच्छे" समूह बहुमत में हैं, इसलिए यह घेरा स्वाभाविक रूप से "अच्छे" क्लस्टर के चारों ओर बनता है।
- इस घेरे का केंद्र "सुरक्षित" उत्तर बन जाता है। नकली समूहों को घेरे के बाहर छोड़ दिया जाता है, और उन्हें अनदेखा कर दिया जाता है।
4. अंतिम उत्तर
सिस्टम उस घेरे के भीतर की पुस्तकों को लेता है, उनके अर्थ का औसत निकालता है, और वह जानकारी लाइब्रेरियन को देता है। लाइब्रेरियन फिर इस "सहमति" के आधार पर आपके प्रश्न का उत्तर देता है, जो प्रभावी रूप से जहर को फ़िल्टर कर देता है।
यह "प्रमाणित रूप से सुदृढ़" (Provably Robust) क्यों है?
पेपर का दावा है कि यह केवल एक भाग्यशाली अनुमान नहीं है; यह गणितीय रूप से गारंटीकृत है।
- गारंटी: जब तक बुरा व्यक्ति संभावित समूहों के आधे से अधिक को दूषित नहीं करता (जिसके लिए बहुत बड़ी संख्या में पुस्तकों को दूषित करना आवश्यक है, जिससे यह बहुत कठिन और महंगा हो जाता है), सिस्टम गणितीय रूप रूप से "साफ" घेरे को खोजने की गारंटी देता है।
- मेट्रिक: उन्होंने PAD (प्रूवेबल एवरेज डेविएशन) नामक एक पैमाना भी बनाया है जो सटीक रूप से मापता है कि नकली पुस्तकों ने उत्तर को रास्ते से हटाने की कितनी कोशिश की। कम स्कोर का अर्थ है कि सिस्टम ने सफलतापूर्वक अपना स्थान बनाए रखा।
परिणाम: तेज़ और मजबूत
लेखकों ने कई प्रश्नों और AI मॉडलों पर इसका परीक्षण किया।
- सफलता दर: वे बुरे लोगों के हमलों की सफलता को घटाकर 1% (यानी 9% बार AI सही उत्तर देता है) तक लाने में सफल रहे।
- सटीकता: AI अभी भी 71% बार सही उत्तर देता रहा, भले ही 20% पुस्तकें नकली थीं।
- गति: "अति-विचार करने वाले" तरीकों के विपरीत, जो धीमे थे, PRA-RAG तेज़ है। यह पिछले सुरक्षित तरीकों की तुलना में बहुत अधिक तेज़ है क्योंकि इसे AI को बार-बार एक ही चीज़ पढ़ने के लिए कहने की आवश्यकता नहीं होती; यह पहले "समूहों" पर गणित लगाता है।
सारांश उपमा
PRA-RAG को एक जूरी ट्रायल की तरह समझें जहाँ साक्ष्य पुस्तकें हैं।
- पुराना तरीका: एक जूरी (AI) से निर्णय लेने के लिए कहें। यदि वकील (हमलावर) उस जूरी को रिश्वत देता है, तो आप हार जाते हैं।
- PRA-RAG तरीका: आप संभावित जूरी का एक बड़ा पूल चुनते हैं। आप सैकड़ों छोटी जूरी बनाते हैं। आप सभी जूरी के "गुरुत्वाकर्षण केंद्र" (center of gravity) की तलाश करते हैं। चूंकि ईमानदार जूरी बहुमत में हैं, इसलिए गुरुत्वाकर्षण केंद्र हमेशा सत्य की ओर संकेत करेगा, भले ही कुछ जूरी को रिश्वत दी गई हो। सिस्टम रिश्वत ली गई जूरी को अनदेखा करता है और ईमानदार बहुमत का अनुसरण करता है।
पेपर निष्कर्ष निकालता है कि यह तरीका AI में गलत जानकारी के खिलाफ एक गणितीय ढाल प्रदान करता है, जिससे बुरे अभिनेताओं के लिए इन प्रणालियों को धीमा किए बिना उन्हें धोखा देना बहुत कठिन हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।