Influence Factors on RAG Poisoning
यह शोध पत्र 432 कॉन्फ़िगरेशन का एक व्यापक फैक्टोरियल अध्ययन प्रस्तुत करता है यह प्रदर्शित करने के लिए कि RAG पॉइज़निंग भेद्यता रिट्रीवर आर्किटेक्चर, डेटासेट की विशेषताओं, रिट्रीवल डेप्थ और जनरेटर मॉडलों के बीच जटिल अंतःक्रियाओं से उत्पन्न होती है, जो यह प्रकट करता है कि डेंस रिट्रीवर्स और विविध स्वच्छ स्रोत मजबूती को बढ़ाते हैं जबकि गहरा रिट्रीवल और पुनरावृत्त ज़हरीली सामग्री हमले की सफलता को बढ़ा देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जानकार सहायक (AI) है जो सवाल पूछने में तो माहिर है, लेकिन उसकी याददाश्त उतनी ही खराब है कि उसे अपनी ट्रेनिंग खत्म होने के बाद की कोई भी बात याद नहीं रहती। इस समस्या को ठीक करने के लिए, आप उसे किताबों का एक पुस्तकालय (Knowledge Base) देते हैं और कहते हैं, "जवाब देने से पहले, इन किताबों में तथ्यों को ढूँढो।" इस सेटअप को RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है।
हालाँकि, क्या होगा अगर कोई चुपके से उस पुस्तकालय में घुस जाए और नकली, भ्रामक किताबें रख दे? इसे पॉइजनिंग अटैक (Poisoning Attack) कहा जाता है। आपके द्वारा साझा किया गया पेपर ठीक इसी बात की जांच करता है कि कैसे ये नकली किताबें सहायक को धोखा देने में कितनी आसान हैं और सिस्टम के विभिन्न हिस्से इस धोखाधड़ी को कैसे बेहतर या बदतर बनाते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
प्रयोग: एक विशाल "क्या-होता-अगर" खेल
शोधकर्ताओं ने केवल एक परिदृश्य का परीक्षण नहीं किया। उन्होंने इस लाइब्रेरी सिस्टम के 432 अलग-अलग संस्करणों का एक विशाल ग्रिड तैयार किया। उन्होंने यह देखने के लिए एक समय में एक चीज़ (या संयोजनों में) को बदला कि क्या होता है। इसे एक कार का हर संभव मौसम में, हर प्रकार की सड़क पर, अलग-अलग ड्राइवरों के साथ परीक्षण करने जैसा समझें, यह देखने के लिए कि कौन सा संयोजन दुर्घटना का कारण बनता है।
मुख्य खिलाड़ी और उनकी भूमिकाएँ
1. लाइब्रेरियन (द रिट्रीवर - The Retriever)
यह सिस्टम का वह हिस्सा है जो सही किताबें खोजने के लिए पुस्तकालय जाता है।
- पुराना लाइब्रेरियन (BM25): यह लाइब्रेरियन शब्दों के सटीक मिलान को देखता है। यदि आप "सेब" (apple) के बारे में पूछते हैं, तो वे "सेब" शब्द वाली किताबें खोजते हैं। अध्ययन में पाया गया कि यह लाइब्रेरियन उन नकली किताबों से आसानी से मूर्ख बन जाता है जो बस सही कीवर्ड्स का उपयोग करती हैं।
- स्मार्ट लाइब्रेरियन (डेंस और ग्राफ-आधारित): ये लाइब्रेरियन अर्थ और संबंधों को समझते हैं। वे जानते हैं कि "फल" और "सेब" आपस में संबंधित हैं, या दो किताबें एक ही विषय पर बात करने के कारण जुड़ी हुई हैं।
- निष्कर्ष: "स्मार्ट लाइब्रेरियन" नकली किताबों को अनदेखा करने में बहुत बेहतर थे। उनके द्वारा नकली किताबों को चुनने की संभावना बहुत कम थी, और यदि उन्होंने उन्हें चुन भी लिया, तो भी उन्हें असली किताबों जितनी महत्वपूर्ण नहीं माना।
2. खोज का आकार (रिट्रीवल डेप्थ - Retrieval Depth)
यह वह संख्या है जितनी किताबें लाइब्रेरियन असिस्टेंट को दिखाने के लिए शेल्फ से निकालता है।
- निष्कर्ष: यदि आप लाइब्रेरियन को 2 किताबें उठाने के लिए कहते हैं, तो नकली किताब का घुसपैठ करना कठिन होता है। लेकिन यदि आप उसे 5 किताबें उठाने के लिए कहते हैं, तो नकली किताब के असली किताबों के बीच घुलने-मिलने की संभावना काफी बढ़ जाती है। यह एक पार्टी में 2 मेहमानों के बजाय 5 मेहमानों को आमंत्रित करने जैसा है; आप जितने अधिक लोगों को आमंत्रित करेंगे, एक ढोंगी के शामिल होने की संभावना उतनी ही अधिक होगी।
3. पुस्तकालय का सेटअप (डेटाबेस कंपोजिशन - Database Composition)
शोधकर्ताओं ने परीक्षण किया कि एक बनाम दो पुस्तकालय होने पर और यदि उन पुस्तकालयों में नकली किताबें भरी हों, तो क्या होता है।
- "डबल ट्रबल" प्रभाव: यदि आपके पास दो पुस्तकालय हैं और दोनों ही नकली किताबों से भरे हैं, तो नकली जानकारी बहुत शक्तिशाली हो जाती है। यह दो समाचार पत्रों द्वारा एक ही झूठ छापने जैसा है; झूठ अधिक सच लगने लगता है।
- "क्लीन सोर्स" कवच: यदि आपके पास दो पुस्तकालय हैं, लेकिन एक नकली है और दूसरा साफ (असली) है, तो साफ पुस्तकालय मुकाबला करने में मदद करता है। असली तथ्य नकली तथ्यों के साथ प्रतिस्पर्धा करते हैं, जिससे असिस्टेंट को धोखा देना कठिन हो जाता है।
4. असिस्टेंट (द जनरेटर/LLM - The Generator/LLM)
यह वह AI है जो वास्तव में किताबें पढ़ता है और उत्तर लिखता है।
- "साहसी" असिस्टेंट बनाम "सतर्क" असिस्टेंट: उन्होंने दो अलग-अलग AI मॉडल का परीक्षण किया।
- एक मॉडल उत्तर देने के लिए बहुत उत्सुक था। भले ही किताबें संदिग्ध लग रही हों, वह बस एक उत्तर का अनुमान लगा देता था। यह मॉडल आसानी से धोखा खा गया।
- दूसरा मॉडल अधिक सतर्क था। यदि किताबें आपस में मेल नहीं खाती थीं, तो वह कहता था, "मुझे नहीं पता," या उत्तर देने से मना कर देता था। यह मॉडल धोखा देना कठिन था।
- निष्कर्ष: "साहसी" असिस्टेंट द्वारा नकली जानकारी फैलाने की संभावना अधिक थी, जबकि "सतर्क" वाला अधिक सुरक्षित था।
5. बुक स्लाइसिंग (चंकिंग - Chunking)
पुस्तकालय में रखने से पहले, आपको किताबों को छोटे पन्नों (chunks) में काटना पड़ता है। शोधकर्ताओं ने छोटे पन्नों बनाम बड़े पन्नों में काटने का परीक्षण किया।
- निष्कर्ष: आश्चर्यजनक रूप से, आपने पन्नों को कैसे काटा, इससे ज्यादा फर्क नहीं पड़ा। चाहे पन्ने छोटे हों या बड़े, इससे इस बात पर कोई खास असर नहीं पड़ा कि नकली किताबें सिस्टम को कितनी आसानी से धोखा देती हैं। अन्य कारक (जैसे लाइब्रेरियन का प्रकार) बहुत अधिक महत्वपूर्ण थे।
मुख्य निष्कर्ष (The Big Takeaway)
इस पेपर का मुख्य सबक यह है कि आप केवल एक चीज़ को दोष नहीं दे सकते कि सिस्टम हैक हो गया।
- यदि आपके पास एक स्मार्ट लाइब्रेरियन है लेकिन एक साहसी असिस्टेंट, तो भी आपको धोखा दिया जा सकता है।
- यदि आपके पास एक सतर्क असिस्टेंट है लेकिन आप लाइब्रेरियन को बहुत अधिक किताबें उठाने के लिए कहते हैं, तो नकली जानकारी छिपकर अंदर आ सकती है।
- यदि आपके पास दो पुस्तकालय झूठों से भरे हैं, तो एक स्मार्ट सिस्टम भी संघर्ष कर सकता है।
संक्षेप में: अपने AI को नकली जानकारी से सुरक्षित रखने के लिए, आपको एक मजबूत टीम की आवश्यकता है। आपको एक स्मार्ट लाइब्रेरियन चाहिए जो संदर्भ (context) को समझता हो, एक सतर्क असिस्टेंट चाहिए जो यह जानता हो कि कब कहना है "मुझे नहीं पता," और आपको यह सुनिश्चित करना होगा कि आपके पुस्तकालय एक ही नकली कहानी की प्रतियों से भरे न हों। यह एक टीम वर्क है, न कि केवल एक एकल समाधान।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।