Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning
यह शोध पत्र प्रदर्शित करता है कि RAG आर्किटेक्चर नॉलेज बेस पॉइजनिंग के विरुद्ध मजबूती को महत्वपूर्ण रूप से प्रभावित करता है, यह प्रकट करते हुए कि जबकि रिकर्सिव लैंग्वेज मॉडल्स जैसे उन्नत डिज़ाइन वैनिला पाइपलाइनों की तुलना में हमले की सफलता दर को नाटकीय रूप से कम कर देते हैं, प्राथमिक भेद्यता कंटेंट-रीज़निंग चरण में निहित है जहाँ प्रतिकूल फ्रेमिंग विश्वसनीयता मूल्यांकन को कमजोर करती है न कि रिट्रीवल ऑप्टिमाइज़ेशन में।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशिष्ट प्रश्न का उत्तर देने के लिए शोधकर्ताओं की एक टीम को काम पर रख रहे हैं। आप उन्हें एक विशाल पुस्तकालय (ज्ञान आधार) तक पहुंच देते हैं और उनसे सत्य खोजने के लिए कहते हैं।
यह शोधपत्र उन चार अलग-अलग तरीकों का एक 'स्ट्रेस टेस्ट' है जिनसे आप उन शोधकर्ताओं को व्यवस्थित कर सकते हैं। वे शोधकर्ता AI मॉडल हैं, और "स्ट्रेस टेस्ट" में एक चालाक खलनायक शामिल है जो पुस्तकालय में एक फर्जी, भ्रामक दस्तावेज़ डाल देता है, इस उम्मीद में कि वह टीम को गलत उत्तर देने के लिए धोखा दे सके।
यहाँ अध्ययन के निष्कर्ष दिए गए हैं, जिन्हें सरल भाषा में समझाया गया है:
चार टीमें (आर्किटेक्चर)
शोधकर्ताओं ने AI टीम के लिए चार अलग-अलग "प्रबंधन शैलियों" का परीक्षण किया:
- "एक बार पढ़ने वाली" टीम (वैनिला RAG): मैनेजर शेल्फ से शीर्ष 10 किताबें उठाता है, उन्हें एक AI को सौंपता है, और कहता है, "इनके आधार पर एक उत्तर लिखें।" यदि एक किताब झूठ है, तो AI उस पर विश्वास कर सकता है।
- "जासूस" टीम (एजेंटिक RAG): मैनेजर AI को एक आवर्धक लेंस (magnifying glass) और एक नोटबुक देता है। AI और अधिक किताबें मांग सकता है, विशिष्ट पृष्ठों की जांच कर सकता है, और उत्तर लिखने से पहले तथ्यों का मिलान कर सकता है। यह एक जासूस की तरह है जो केवल एक रिपोर्ट नहीं पढ़ता बल्कि पूरी कहानी की जांच करता है।
- "डिबेट क्लब" टीम (MADAM-RAG): मैनेजर प्रत्येक 10 किताबों को एक अलग AI एजेंट को देता है। प्रत्येक एजेंट अपना स्वयं का उत्तर लिखता है, फिर वे सभी एक कमरे में बैठकर आपस में बहस करते हैं ताकि एक सहमति पर पहुँच सकें। अंत में, एक रेफरी अंतिम रिपोर्ट लिखता है।
- "गहन गोता" टीम (रिकर्सिव लैंग्वेज मॉडल्स): केवल 10 किताबें उठाने के बजाय, यह टीम विषय से संबंधित हर एक किताब लेती है (सैकड़ों या हजारों)। वे एक विशेष रिकर्सिव पद्धति का उपयोग करते हैं जिससे वे सूचना के विशाल ढेर को छोटे-छोटे टुकड़ों में तोड़ सकें, उन्हें एक-एक करके विश्लेषित कर सकें और सब कुछ क्रॉस-चेक कर सकें।
खलनायक की चाल (हमला)
खलनायक ने केवल एक फर्जी तथ्य नहीं लिखा; उन्होंने धोखा देने का एक उत्कृष्ट नमूना (masterpiece of deception) तैयार किया।
- "नाइव" (Naive) चाल: एक साधारण, खराब तरीके से लिखा गया झूठ (जैसे, "आकाश हरा है")।
- "CorruptRAG-AK" चाल: एक परिष्कृत झूठ जो एक गंभीर विश्वकोश प्रविष्टि की तरह लगता है। यह "मेटा-एपिस्टेमिक फ्रेमिंग" का उपयोग करता है, जो एक फैंसी तरीका है यह कहने का कि: "कई पुराने स्रोत गलत रूप से X कहते हैं, लेकिन नवीनतम डेटा Y की पुष्टि करता है।" यह AI को यह सोचने के लिए भ्रमित करता है कि पुराने स्रोत गलत हैं और नया (फर्जी) स्रोत ही सच है।
परिणाम: कौन फंसा?
अध्ययन में पाया गया कि आप टीम को कैसे व्यवस्थित करते हैं, यह टीम की कच्ची बुद्धिमत्ता से अधिक महत्वपूर्ण है। भले ही सभी टीमों ने एक ही "मस्तिष्क" (एक ही अंतर्निहित AI मॉडल) का उपयोग किया था, फिर भी उनकी सफलता दर में भारी अंतर था:
- "एक बार पढ़ने वाली" टीम: 82% विफलता दर। उन्हें आसानी से मूर्ख बनाया गया। यदि फर्जी किताब उनके ढेर में थी, तो उन्होंने उस पर विश्वास कर लिया।
- "डिबेट क्लब" टीम: 45% विफलता दर। वे यह पहचानने में बेहतर थे कि कुछ गलत है, लेकिन वे अक्सर अनिश्चितता में फंस गए या पूरी तरह से हार मान गए। वे झूठ को पकड़ने में तो अच्छे थे लेकिन उसे सुलझाने में नहीं।
- "जासूस" टीम: 44% विफलता दर। वे पहले समूह की तुलना में बहुत बेहतर थे। कई स्रोतों की जांच करके, वे अक्सर विसंगति को पकड़ लेते थे। हालांकि, जब खलनायक ने परिष्कृत "नवीनतम डेटा" वाली चाल चली, तो जासूस टीम कभी-कभी भ्रमित हो गई और खलनायक की शानदार भाषा को ही सच मान लिया।
- "गहन गोता" टीम: 24% विफलता दर। वे विजेता थे। क्योंकि उन्होंने बहुत अधिक जानकारी (हजारों पन्ने) देखी, इसलिए एक अकेला फर्जी दस्तावेज़ समुद्र में स्याही की एक बूंद की तरह था। वह सत्य के बीच दब गया।
मुख्य निष्कर्ष
1. "बहस" ने समस्या का समाधान नहीं किया।
आप सोच सकते हैं कि एक समूह की बहस करने से सब कुछ हल हो जाएगा। अध्ययन ने पाया कि जबकि बहस टीम संघर्ष को नोटिस करने में अच्छी थी (उन्होंने कहा, "हे, इन किताबों के बीच मतभेद है!"), वे इसे सुलझाने में बहुत खराब थीं। वे अक्सर सही विकल्प चुनने के बजाय, "मुझे नहीं पता" या एक अस्पष्ट उत्तर देकर रुक जाते थे।
2. खलनायक की "फ्रेमिंग" असली हथियार थी।
चार में से तीन टीमों के लिए, मुख्य कारण यह नहीं था कि वे फर्जी किताब नहीं ढूंढ पाए; बल्कि यह था कि एक बार जब उन्होंने उसे ढूंढ लिया, तो झूठ को लिखने का तरीका उन्हें विश्वास दिलाने में सफल रहा। परिष्कृत "नवीनतम डेटा" वाली भाषा इतनी प्रभावशाली थी कि बुद्धिमान जासूस भी इसके झांसे में आ गए।
3. अधिक जानकारी हमेशा समाधान नहीं होती, लेकिन यह मदद करती है।
"गहन गोता" टीम मुख्य रूप से इसलिए जीती क्योंकि उनके पास इतना संदर्भ था कि झूठ शोर (noise) में खो गया। हालांकि, यह टीम सबसे धीमी और चलाने में सबसे महंगी भी थी।
4. "जासूस" दृष्टिकोण वर्तमान के लिए सबसे सटीक (sweet spot) है।
अधिकांश वास्तविक दुनिया की स्थितियों के लिए (जैसे, एक कंपनी अपने स्वयं के दस्तावेजों की जांच कर रही है), "जासूस" टीम ने सबसे अच्छा संतुलन प्रदान किया। वे "एक बार पढ़ने वाली" टीम की तुलना में बहुत अधिक मजबूत थे और उन्हें "गहन गोता" टीम की तरह भारी कंप्यूटिंग शक्ति की आवश्यकता नहीं थी।
निचोड़
यदि आप एक ऐसा AI सिस्टम बना रहे हैं जिसे झूठ बोलने वालों से सुरक्षित रहना है, तो आप सिस्टम को कैसे बनाते हैं, यह उतना ही महत्वपूर्ण है जितना कि स्वयं AI। एक साधारण सिस्टम जिसमें शानदार सुरक्षा कवच हो, फिर भी विफल हो सकता है, जबकि एक बेहतर सिस्टम डिज़ाइन (जैसे एक जासूस जो कई स्रोतों की जांच करता है) अतिरिक्त सुरक्षा उपकरणों के बिना भी बहुत बेहतर तरीके से हेरफेर को संभाल सकता है।
शोधपत्र निष्कर्ष निकालता है कि हमें केवल बेहतर "रक्षकों" (बचाव) की तलाश नहीं करनी चाहिए; हमें बेहतर "टीमें" (आर्किटेक्चर) बनाने की आवश्यकता है जो स्वाभाविक रूप से धोखा देने में कठिन हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।