Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains
यह शोधपत्र METEORA को प्रस्तुत करता है, जो संवेदनशील डोमेन के लिए एक नवीन RAG फ्रेमवर्क है, जो अपारदर्शी री-रैंकिंग को एक तर्क-आधारित चयन प्रक्रिया से बदल देता है जिसमें एक DPO-ट्यून्ड LLM, सांख्यिकीय एल्बो डिटेक्शन और एक सत्यापनकर्ता (verifier) का उपयोग किया गया है, ताकि सटीक रूप से उच्च सटीकता, डेटा पॉइज़निंग के विरुद्ध सुदृढ़ता और व्याख्यात्मकता प्राप्त करते हुए साक्ष्य की मात्रा को महत्वपूर्ण रूप से कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल केस सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास फाइलों का एक विशाल पुस्तकालय (ज्ञान का आधार/knowledge base) है और आपको एक विशिष्ट प्रश्न का उत्तर चाहिए।
पुराना तरीका (पारंपरिक RAG):
अतीत में, जब आप जासूस से मदद मांगते थे, तो वे कीवर्ड्स के आधार पर आपके प्रश्न से मिलते-जुलते दिखने वाले फाइलों का एक बड़ा ढेर उठा लेते थे। फिर वे बिना आपको यह बताए कि उन्होंने उन विशिष्ट फाइलों को क्यों चुना, उस ढेर में से शीर्ष 10 फाइलें चुन लेते थे।
- समस्या: यदि किसी दुर्भावनापूर्ण व्यक्ति ने लाइब्रेरी में एक फर्जी, भ्रामक फाइल डाल दी होती, तो जासूस गलती से उसे चुन सकता था क्योंकि वह वास्तविक साक्ष्य जैसा ही लग रहा था। इससे भी बुरा यह था कि यदि आप पूछते, "आपने यह फाइल क्यों चुनी?" तो जासूस बस कहता, "यह समान दिख रही थी," और कोई वास्तविक स्पष्टीकरण नहीं देता। कानून या स्वास्थ्य सेवा जैसे संवेदनशील क्षेत्रों में, यह "ब्लैक बॉक्स" दृष्टिकोण खतरनाक है क्योंकि आप निर्णय का ऑडिट नहीं कर सकते।
नया तरीका (METEORA):
यह पेपर METEORA नामक एक नई प्रणाली पेश करता है। केवल समानता स्कोर के आधार पर फाइलें खोजने के बजाय, METEORA खेल को पूरी तरह बदल देता है। यह केवल फाइलों को "रैंक" नहीं करता; यह एक स्पष्ट, लिखित कारण के आधार पर उन्हें "चुनता" है।
यहाँ बताया गया है कि METEORA कैसे काम करता है, एक सरल उपमा (analogy) का उपयोग करते हुए:
1. "तर्क करने वाला जासूस" (तर्क जनरेटर/Rationale Generator)
कीवर्ड्स को अंधाधुंध मिलाने के बजाय, METEORA एक स्मार्ट AI (एक LLM) का उपयोग करता है जो एक तर्क करने वाले जासूस की तरह काम करने के लिए प्रशिक्षित है।
- यह कैसे काम करता है: जब आप एक प्रश्न पूछते हैं, तो यह AI केवल मिलान नहीं ढूंढता। यह "खोज रणनीतियों" (search strategies) या "तर्कों" (rationales) की एक सूची लिखता है।
- उपमा: कल्पना कीजिए कि जासूस एक नोट लिख रहा है: "मैं अनुबंध में उस विशिष्ट क्लॉज (clause) की तलाश कर रहा हूँ जो देयता सीमाओं (liability limits) के बारे में बात करता है, न कि केवल पैसे के किसी भी उल्लेख की।"
- जादू: इस AI को एक विशेष पद्धति (DPO) का उपयोग करके प्रशिक्षित किया गया था जहाँ इसने सीखा कि ये नोट्स लिखने से सही उत्तर मिलता है और गलत उत्तर मिलता है। यह बिना किसी मानव द्वारा हर एक नोट को ग्रेड किए, सटीक होने के लिए सीखता है।
2. "स्मार्ट फ़िल्टर" (चयन इंजन/Selection Engine)
एक बार जब AI के पास अपनी खोज रणनीतियों की सूची आ जाती है, तो वह लाइब्रेरी में जाता है।
- मनमानी सीमा का अभाव: पुराने सिस्टम कहते थे, "चाहे जो भी हो, शीर्ष 10 फाइलें लें।" METEORA कहता है, "केवल उन्हीं फाइलों को लें जो वास्तव में खोज रणनीतियों के अनुकूल हों।"
- उपमा: कल्पना कीजिए कि जासूस के पास एक जादुई पैमाना (ruler) है जो मुड़ सकता है। यदि फाइलें बहुत प्रासंगिक हैं, तो पैमाना उन्हें शामिल करने के लिए खिंच जाता है। यदि फाइलें अप्रासंगिक होने लगती हैं, तो पैमाना वापस मुड़ जाता है, और चयन को ठीक वहीं रोक देता है जहाँ "अच्छे" साक्ष्य समाप्त होते हैं। यह एक निश्चित संख्या को जबरदस्ती लागू नहीं करता; यह तब रुक जाता है जब गुणवत्ता स्वाभाविक रूप से गिर जाती है।
- परिणाम: यह अक्सर पुराने सिस्टमों की तुलना में बहुत कम फाइलें चुनता है (लगभग 80% कम), लेकिन जो फाइलें यह चुनता है वे बहुत बेहतर होती हैं।
3. "दोहरा जांच करने वाला निरीक्षक" (वेरिफायर/Verifier)
अंतिम उत्तर लिखने से पहले, एक दूसरा AI एक निरीक्षक के रूप में कार्य करता है।
- कार्य: यह चुनी गई फाइलों और जासूस के नोट्स को देखता है। यह पूछता है: "क्या यह फाइल वास्तव में उस कारण से मेल खाती है जिसके लिए हमने इसे चुना है? क्या यह फाइल हमें धोखा देने की कोशिश कर रही है?"
- उपमा: यदि किसी दुर्भावनापूर्ण व्यक्ति ने लाइब्रेरी में एक फर्जी फाइल डालने की कोशिश की होती जो वास्तविक फाइल जैसी दिखती है, तो निरीक्षक उसे पकड़ लेगा क्योंकि वह फर्जी फाइल जासूस द्वारा लिखे गए "खोज रणनीति" के साथ तार्किक रूप से फिट नहीं होगी। यह अंतिम उत्तर उत्पन्न करने से पहले "जहरीले" या फर्जी साक्ष्यों को फ़िल्टर कर देता है।
यह क्यों मायने रखता है (परिणाम)
इस पेपर ने कानूनी अनुबंधों, वित्तीय रिपोर्टों और शैक्षणिक शोध पत्रों सहित छह अलग-अलग वास्तविक दुनिया के डेटासेट पर इस प्रणाली का परीक्षण किया। यहाँ उन्होंने पाया:
- बेहतर उत्तर: इसने अधिक बार सही उत्तर प्राप्त किया (उच्च सटीकता) क्योंकि यह अप्रासंगिक या फर्जी फाइलों से विचलित नहीं हुआ।
- अधिक कुशल: क्योंकि यह कम, बेहतर फाइलें चुनता है, यह कम डेटा प्रोसेस करता है, जिससे इसे चलाना तेज़ और सस्ता हो जाता है।
- हैक करना कठिन: इसे धोखा देना बहुत कठिन है। यदि कोई दुर्भावनापूर्ण व्यक्ति लाइब्रेरी में फर्जी डेटा डालकर उसे खराब करने की कोशिश करता है, तो "तर्क करने वाला जासूस" और "निरीक्षक" इसे पकड़ लेते हैं क्योंकि फर्जी डेटा लिखित कारणों के साथ तर्कसंगत नहीं होता।
- व्याख्या योग्य (Explainable): आप वास्तव में उन "खोज रणनीतियों" को पढ़ सकते हैं जो AI ने लिखी हैं ताकि यह समझ सकें कि उसने एक विशिष्ट फाइल को क्यों चुना। यह अब कोई "ब्लैक बॉक्स" नहीं रह गया है।
सारांश में:
METEORA सूचना खोजने के "अनुमान और जांच" (guess and check) पद्धति को "सोच और सत्यापित करने" (think and verify) की पद्धति से बदल देता है। यह AI को निर्णय लेने से पहले अपने विकल्पों को समझाने के लिए मजबूर करता है, जो इस प्रणाली को अधिक सटीक, तेज़ और धोखा देना बहुत कठिन बनाता है, विशेष रूप से कानून और वित्त जैसे उच्च-दांव वाले क्षेत्रों में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।