Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach
यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) के लिए एक स्रोत-जागरूक पुनर्रैंकिंग (source-aware reranking) विधि का प्रस्ताव और मूल्यांकन करता है जो डोमेन-आधारित स्रोत विश्वसनीयता प्रायोरिटीज़ (domain-informed source reliability priors) का उपयोग करके रिट्रीवल स्कोर को पुन: भारित (reweights) करता है, जो एक स्वास्थ्य-डोमेन कॉर्पस पर शुद्धता में महत्वपूर्ण सुधार और एडवर्सरियल रिट्रीवल (adversarial retrieval) में कमी प्रदर्शित करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में प्रवेश कर रहे हैं जहाँ किताबें एक अत्यंत बुद्धिमान रोबोट द्वारा लगातार फिर से लिखी जा रही हैं। यह रोबोट, जिसे 'लार्ज लैंग्वेज मॉडल' (Large Language Model) कहा जाता है, कहानियाँ लिखने और सवालों के जवाब देने में अविश्वसनीय रूप से कुशल है, लेकिन इसकी एक समस्या है: यह कभी-कभी चीजें मनगढ़ंत बना लेता है क्योंकि यह हर तथ्य को पूरी तरह से याद नहीं रख पाता। इस समस्या को ठीक करने के लिए, हम इस रोबोट को एक सहायक देते हैं जिसे "रिट्रीवल-ऑगमेंटेड जनरेशन" (Retrieval-Augmented Generation - RAG) कहा जाता है। RAG को एक ऐसे लाइब्रेरियन के रूप में सोचें जो अलमारियों की ओर दौड़ता है, किताबों का एक ढेर उठाता है जो आपके प्रश्न से मेल खाते हुए प्रतीत होते हैं, और रोबोट को जवाब देने से पहले उन्हें पढ़ने के लिए देता है।
समस्या यह है कि लाइब्रेरियन वर्तमान में केवल पन्ने पर लिखे शब्दों को देखता है। यदि प्रश्न "जुकाम का इलाज कैसे करें" के बारे में है, तो लाइब्रेरियन एक गंभीर, समीक्षात्मक चिकित्सा पाठ्यपुस्तक और इंटरनेट पर किसी अज्ञात व्यक्ति द्वारा लिखे गए एक मूर्खतापूर्ण, मनगढ़ंत ब्लॉग पोस्ट को उठा सकता है। क्योंकि दोनों लेखों में "जुकाम", "छींक" और "दवा" जैसे शब्दों का उपयोग किया गया है, लाइब्रेरियन सोचता है कि वे समान रूप से अच्छे स्रोत हैं। वास्तविक दुनिया में, यह खतरनाक है। यदि रोबोट उस फर्जी ब्लॉग पोस्ट को पढ़ता है, तो वह आपको गलत सलाह दे सकता है। यह शोध पत्र एक सरल प्रश्न पूछता है: क्या होगा यदि लाइब्रेरियन किताब के कवर को भी देख सके ताकि यह देख सके कि इसे किसने लिखा है, और केवल भरोसेमंद लेखकों की किताबें ही उठाए?
"सोर्स-अवेयर रीरैंकिंग फॉर रिट्रीवल-ऑगमेंटेड जनरेशन" (Source-Aware Reranking for Retrieval-Augmented Generation) शीर्षक वाला यह शोध पत्र इस समस्या के लिए एक चतुर, कम-तकनीकी समाधान प्रस्तावित करता है। एक नया, जटिल रोबोट लाइब्रेरियन बनाने के बजाय, लेखक एक सरल नियम का सुझाव देते हैं: जब लाइब्रेरियन मेल खाने वाली किताबों का एक ढेर खोजता है, तो उन्हें यह देखना चाहिए कि किसने इसे प्रकाशित किया है, इसके आधार पर प्रत्येक को एक "विश्वसनीयता स्कोर" (reliability score) दिया जाए। सरकार की स्वास्थ्य एजेंसी से मिली किताब को उच्च स्कोर मिलेगा, जबकि किसी AI-जनित ब्लॉग से मिली किताब को कम स्कोर मिलेगा। फिर, लाइब्रेरियन किताब के "शब्द-मिलान" (word-match) स्कोर को इस "विश्वास स्कोर" (trust score) से गुणा करता है।
लेखकों ने स्वास्थ्य संबंधी दस्तावेजों के 120 के एक छोटे संग्रह पर इस विचार का परीक्षण किया, जिसमें 10 कठिन "नकली" दस्तावेज शामिल थे जिन्हें वास्तविक चिकित्सा सलाह जैसा दिखने के लिए बनाया गया था लेकिन उनमें झूठ भरा गया था। उन्होंने पाया कि जब उन्होंने इस विश्वास-आधारित नियम का उपयोग किया, तो सिस्टम सही उत्तर चुनने में बहुत बेहतर हो गया। विशेष रूप से, शीर्ष 5 परिणामों की सटीकता 48% से बढ़कर 72% हो गई। इससे भी महत्वपूर्ण बात यह है कि सिस्टम ने उन नकली, भ्रामक दस्तावेजों को पकड़ना कम कर दिया, जिससे "गलत" चयन की दर 32% से घटकर 28% रह गई।
हालाँकि, लेखक बहुत सावधान हैं कि वे इसे कोई जादुई समाधान न कहें। वे स्वीकार करते हैं कि उनका परीक्षण प्रयोगशाला में किए गए एक नियंत्रित विज्ञान प्रयोग की तरह था, न कि किसी चालाक हैकर के खिलाफ वास्तविक दुनिया की लड़ाई की तरह। उनके सेटअप में, नकली दस्तावेजों को पहचानना आसान था क्योंकि उनके कवर पर "नकली" लेबल लगा हुआ था। यदि कोई बुरा व्यक्ति पुस्तकालय में एक नकली दस्तावेज डाल सके और उस पर "सरकारी अधिकारी" का लेबल चिपका दे, तो यह सरल प्रणाली धोखा खा जाएगी। शोध पत्र सुझाव देता है कि हालांकि यह तरीका एक बेहतरीन पहला कदम है और विशिष्ट स्थितियों में अच्छी तरह काम करता है, लेकिन यह अभी तक एक पूर्ण सुरक्षा कवच नहीं है। यह सुझाव देता है कि हमें रोबोट को वास्तव में सुरक्षित और स्मार्ट रखने के लिए "कवर" (स्रोत) की जाँच करने को "पन्नों" (सामग्री) को पढ़ने के साथ जोड़ने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।