When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

एक बड़ी समस्या: "लाइब्रेरी ऑफ बेबेल" प्रभाव

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लाइब्रेरियन (AI) है जो सवालों के जवाब देने में माहिर है। आप उन्हें सड़क निर्माण से जुड़ी 54 किताबों की एक छोटी और व्यवस्थित लाइब्रेरी देते हैं। वे लगभग तुरंत सही पन्ना ढूंढ लेते हैं और आपको एक सटीक उत्तर देते हैं।

अब, कल्पना कीजिए कि आपने अचानक उस लाइब्रेरी में 1,000 और किताबें डाल दीं। ये नई किताबें सब कुछ कवर करती हैं: ट्रैफिक दुर्घटनाएं, ब्रिज डिजाइन, वार्षिक बजट और सुरक्षा रिपोर्ट। अब लाइब्रेरी बहुत बड़ी हो गई है (88,000 से अधिक "चंक्स" या टेक्स्ट के टुकड़े)।

पेपर का तर्क है कि लाइब्रेरी को बड़ा करने से लाइब्रेरियन वास्तव में और खराब हो गया।

जब लाइब्रेरियन "कंक्रीट मिक्सिंग" के बारे में उत्तर खोजने की कोशिश करता है, तो वह केवल निर्माण (construction) की किताबों तक ही सीमित नहीं रहता। क्योंकि लाइब्रेरी बहुत भीड़भाड़ वाली हो गई है, लाइब्रेरियन उन किताबों से भ्रमित हो जाता है जो सुनने में तो समान लगती हैं लेकिन गलत विषय पर होती हैं (जैसे "ट्रैफिक सेफ्टी" की एक किताब जिसमें किसी अलग संदर्भ में "मिक्सिंग" का जिक्र हो)। लाइब्रेरियन गलत पन्ने उठा लेता है, घबरा जाता है, और गलत उत्तर दे देता है।

लेखक इसे "वेक्टर सर्च डाइल्यूशन" (Vector Search Dilution) कहते हैं। यह घास के ढेर में सुई खोजने जैसा है, लेकिन कोई लगातार उसमें ऐसी घास डाल रहा है जो बिल्कुल सुई जैसी दिखती है, जिससे यह पहचानना असंभव हो जाता है कि असली सुई कौन सी है।

समाधान: "स्पेशलाइज्ड डेस्क" सिस्टम

लाइब्रेरियन को हर सवाल के लिए पूरी विशाल लाइब्रेरी में खोजने देने के बजाय, लेखकों ने एक नया सिस्टम बनाया जिसे MASDR-RAG कहा जाता है।

इसे एक बड़े ऑफिस बिल्डिंग की तरह समझें जिसमें कई अलग-अलग विभाग हैं:

• कंस्ट्रक्शन डेस्क (निर्माण डेस्क)
• सेफ्टी डेस्क (सुरक्षा डेस्क)
• बजट डेस्क (बजट डेस्क)

पुराना तरीका (मोनोलिथिक सर्च):
आप पूछते हैं, "मैं कंक्रीट कैसे मिलाऊं?" लाइब्रेरियन पूरे बिल्डिंग में दौड़ता है, आपकी बात सबको चिल्लाकर बताता है। वह सेफ्टी डेस्क, बजट डेस्क और कंस्ट्रक्शन डेस्क से कागजों का एक ढेर उठाता है, उन सबको आपस में मिला देता है, और आपको थमा देता है। आप भ्रमित हो जाते हैं क्योंकि आधे कागज सुरक्षा हेलमेट के बारे में हैं, न कि कंक्रीट के बारे में।

नया तरीका (डोमेन-स्कोपड रिट्रीवल):
सिस्टम पहले पूछता है, "यह किस तरह का सवाल है?"

• यदि आप कंक्रीट के बारे में पूछते हैं, तो सिस्टम तुरंत सेफ्टी और बजट डेस्क के दरवाजे बंद कर देता है।
• यह लाइब्रेरियन को केवल कंस्ट्रक्शन डेस्क तक भेजता है।
• लाइब्रेरियन केवल उन्हीं विशिष्ट फाइलों में खोज करता है।

परिणाम:
सर्च को सही "डेस्क" (मेटाडेटा टैग जैसे "डॉक्यूमेंट टाइप" का उपयोग करके) तक सीमित करने से, सिस्टम ने 86% बार सही जानकारी ढूंढी, जो पहले 77% थी। यह लाइब्रेरियन को यह बताने जैसा है कि, "पूरी बिल्डिंग में मत ढूंढो; बस कंस्ट्रक्शन रूम में देखो।"

ट्विस्ट: "प्रिसिजन बनाम फेथफुलनेस" विरोधाभास

यहीं पर मामला पेचीदा हो जाता है। लेखकों ने सिस्टम को और भी स्मार्ट बनाने के लिए एक "मैनेजर" जोड़ने की कोशिश की जो कई लाइब्रेरियन के बीच समन्वय (Multi-Agent Orchestration) करता है। उन्होंने सोचा, "यदि हमारे पास विशेषज्ञों की एक टीम है जो आपस में बात कर रही है, तो हमें सबसे अच्छा उत्तर मिलेगा।"

क्या हुआ?

• ओपन-सोर्स AI (जैसे Llama या Qwen) के साथ: टीम ठीक-ठाक काम करती थी।
• कमर्शियल AI (जैसे Claude या GPT) के साथ: सिस्टम क्रैश हो गया।

लेखकों ने एक "प्रिसिजन-फेथफुलनेस पैराडॉक्स" (Precision-Faithfulness Paradox) की खोज की।

• प्रिसिजन (सटीकता): सिस्टम ने सही दस्तावेज़ ढूंढे (प्रिसिजन बढ़ गया)।
• फेथफुलनेस (विश्वसनीयता/निष्ठा): सिस्टम ने उन दस्तावेज़ों पर भरोसा करना बंद कर दिया और अपनी ओर से बातें बनाने लगा या सबूतों को अनदेखा करने लगा (फेथफुलनेस 61% से गिरकर 35% हो गई)।

उपमा (Analogy):
कल्प imagine करें कि जासूसों का एक समूह (AI एजेंट) है जिन्होंने बेहतरीन सुराग (हाई प्रिसिजन) ढूंढ लिए हैं। लेकिन क्योंकि वे आपस में बहस कर रहे हैं और एक साथ बहुत सारी रिपोर्टों को जोड़ने की कोशिश कर रहे हैं, वे भ्रमित हो जाते हैं और एक ऐसी कहानी लिखने लगते हैं जो उनके द्वारा मिले सुरागों से मेल नहीं खाती (लो फेथफुलनेस)।

पेपर ने पाया कि कमर्शियल AI मॉडल्स के लिए, एक-दूसरे से बात करने वाले बहुत सारे "एजेंट्स" का होना शोर (noise) पैदा करता है। AI अपनी ही आंतरिक बहस से विचलित हो जाता है और तथ्यों पर टिके रहना भूल जाता है।

व्यावहारिक सलाह: "पहले स्कोप तय करें, फिर सिंथेसाइज करें"

पेपर इन सिस्टमों को बनाने के लिए एक सरल नियम के साथ समाप्त होता है:

1. स्कोप फर्स्ट (Scope First): AI से कुछ भी पूछने से पहले, दस्तावेज़ों को फ़िल्टर करें। यदि सवाल "ब्रिज" के बारे में है, तो AI को केवल "ब्रिज" वाले दस्तावेज़ ही दिखाएं। उसे "ट्रैफिक" या "बजट" के दस्तावेज़ न देखने दें। यह सबसे महत्वपूर्ण कदम है।
2. सरल रखें: एक बार जब आपके पास सही दस्तावेज़ हों, तो AI को एक ही स्टेप में उत्तर लिखने के लिए कहें।
   • AI को एक जटिल, बहु-चरणीय जांच (जैसे "ReAct" लूप) करने के लिए न कहें, जब तक कि आप बहुत विशिष्ट प्रकार के ओपन-सोर्स मॉडल का उपयोग नहीं कर रहे हों।
   • अधिकांश कमर्शियल मॉडल्स के लिए, एक केंद्रित खोज के बाद एक सिंगल उत्तर देना, एक जटिल मल्टी-एजेंट टीम से बेहतर है।

निष्कर्षों का सारांश

• अधिक दस्तावेज़ = अधिक भ्रम। बिना व्यवस्थित किए किसी RAG सिस्टम में डेटा जोड़ने से AI सच्चाई खोजने में और खराब हो जाता है।
• मेटाडेटा ही कुंजी है। सर्च स्पेस को फ़िल्टर करने के लिए मौजूदा टैग्स (जैसे "डॉक्यूमेंट टाइप") का उपयोग करना इस समस्या को ठीक करने का सबसे अच्छा तरीका है।
• जटिलता नुकसान पहुँचाती है। किसी समस्या को हल करने के लिए AI एजेंटों की एक टीम का उपयोग करने की कोशिश अक्सर AI को स्रोत टेक्स्ट के प्रति कम ईमानदार (कम फेथफुल) बना देती है, खासकर शक्तिशाली कमर्शियल मॉडल्स के मामले में।
• स्वीट स्पॉट (Sweet Spot): सही विषय के लिए सर्च को फ़िल्टर करें, फिर AI को एक बार में उत्तर लिखने के लिए कहें। सरल ही बेहतर है।

लेखकों ने वायोमिंग डिपार्टमेंट ऑफ ट्रांसपोर्टेशन के वास्तविक दस्तावेजों पर इसका परीक्षण किया और पाया कि इस सरल "फिल्टर फर्स्ट" दृष्टिकोण ने बिना किसी महंगी या जटिल नई तकनीक के समस्या को हल कर दिया।