When Sources Disagree: Accuracy-Preserving Batch Verification and the Limits of Source-Age Screening in Retrieval-Augmented Generation
यह शोध पत्र यह प्रदर्शित करता है कि जबकि लंबाई-आधारित क्रमबद्ध बैच इन्फरेंस (length-sorted batch inference) रिट्रीवल-ऑगमेंटेड जनरेशन वेरिफिकेशन में सटीकता से समझौता किए बिना प्रोसेसिंग थ्रूपुट को बेहतर बना सकता है, एक सरल स्रोत-आयु स्क्रीनिंग नियम तथ्यात्मक अप्रचलन (factual obsolescence) का पता लगाने के लिए अपर्याप्त है और इसे कंटेंट-अवेयर टेम्पोरल चेक्स द्वारा प्रतिस्थापित किया जाना चाहिए।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी लाइब्रेरी की कल्पना करें जहाँ एक लाइब्रेरियन से एक सवाल का जवाब देने के लिए शेल्फ से एक किताब निकालने, एक अंश पढ़ने और फिर आपको उत्तर बताने के लिए कहा जाता है। लाइब्रेरियन सही किताब खोजने में बहुत कुशल है, लेकिन कभी-कभी उनके द्वारा पढ़ा गया अंश उस उत्तर के विपरीत हो सकता है जो वे दे रहे हैं, या वह तथ्य जो किताब में है, वह बदल चुका हो सकता है जब से लाइब्रेरी के कैटलॉग को आखिरी बार अपडेट किया गया था। यह आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम के सामने आने वाली मुख्य चुनौती है जो बाहरी जानकारी का उपयोग करके अपने उत्तर देने की कोशिश करते हैं। ये सिस्टम, जिन्हें 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) कहा जाता है, अपने उत्तरों का समर्थन करने के लिए एक विशाल डिजिटल लाइब्रेरी में तथ्यों की खोज करते हैं। उम्मीद यह है कि अपने उत्तरों को वास्तविक साक्ष्यों पर आधारित करके, वे मनगढ़ंत बातें बनाना बंद कर देंगे। हालाँकि, एक नया अध्ययन बताता है कि केवल उत्तर के साथ एक स्रोत जोड़ देने से यह गारंटी नहीं मिलती कि उत्तर सही या वर्तमान है। स्रोत गलत हो सकता है, या तथ्य बीत चुके समय का हिस्सा बन चुका हो सकता है, जिससे सिस्टम आत्मविश्वास के साथ पुराना (outdated) जानकारी उद्धृत करता है।
त्स्वाने यूनिवर्सिटी ऑफ टेक्नोलॉजी (Tshwane University of Technology) के शोधकर्ताओं ने यह परीक्षण करने के लिए हाथ आजमाया कि ये सिस्टम अपने काम की कितनी अच्छी तरह से जांच कर सकते हैं। उन्होंने दो विशिष्ट तरीकों पर ध्यान केंद्रित किया जिनसे ये सिस्टम विफल होते हैं। पहला है 'सिमेंटिक कॉन्ट्राडिक्शन' (semantic contradiction), जहाँ सिस्टम द्वारा खोजा गया साक्ष्य वास्तव में उस उत्तर के विरुद्ध तर्क देता है जो वह दे रहा है। दूसरा है 'टेम्पोरल प्रॉब्लम' (temporal problem), जहाँ साक्ष्य तब तो सही था जब वह लिखा गया था लेकिन आज वह सही नहीं है। इसकी जांच करने के लिए, टीम ने वैज्ञानिक दावों और उनके सहायक दस्तावेजों के एक संग्रह का उपयोग किया ताकि यह देख सकें कि क्या वे मुख्य एआई के साथ चलने वाला एक विश्वसनीय "फैक्ट-चेकर" बना सकते हैं। उन्होंने कई अलग-अलग तरीकों का परीक्षण किया, जिनमें सरल नियम-आधारित जाँच से लेकर अधिक जटिल मॉडल शामिल थे जो दावे और उसके स्रोत के बीच संबंध को समझने के लिए पाठ को ध्यान से पढ़ते हैं।
शोधकर्ताओं ने पाया कि विरोधाभासों को पकड़ने के लिए सबसे विश्वसनीय तरीका एक परिष्कृत मॉडल है जो दावे और साक्ष्य को एक साथ पढ़ता है, और विश्लेषण करता है कि शब्द एक-दूसरे के साथ कैसे क्रिया करते हैं। इस मॉडल ने 200 परीक्षण मामलों के एक संतुलित सेट पर 72.0 प्रतिशत की सटीकता प्राप्त की। इसके विपरीत, उन्होंने एक सरल और तेज़ दृष्टिकोण का परीक्षण किया जो विशिष्ट शब्दों की तलाश करता था, जैसे कि यह देखना कि क्या एक वाक्य में "नहीं" जैसा नकारात्मक शब्द है जबकि दूसरे में नहीं है। हालांकि यह शॉर्टकट तेज़ था, लेकिन इसने सिस्टम को काफी कम सटीक बना दिया, जिससे प्रदर्शन गिरकर 66.5 प्रतिशत रह गया। शोधकर्ताओं ने निष्कर्ष निकाला कि यह त्वरित शॉर्टकट एक अच्छा विकल्प नहीं था; सटीकता का नुकसान उस मामूली गति लाभ की तुलना में बहुत अधिक था। उन्होंने वास्तविक दुनिया के सिस्टम में फिल्टर के रूप में इस शॉर्टकट को उपयोग करने से स्पष्ट रूप से मना कर दिया।
कठिन काम को छोड़ने के बजाय, टीम ने एक तरीका खोजा जिससे सटीक मॉडल को बिना किसी सटीकता खोए अधिक कुशलता से चलाया जा सके। उन्होंने पाया कि प्रश्नों और उत्तरों को छोटे समूहों में व्यवस्थित करके और उनकी लंबाई के आधार पर एक विशिष्ट क्रम में उन्हें एक साथ प्रोसेस करके, वे कंप्यूटर द्वारा किए जाने वाले कुल कार्य समय को कम कर सकते हैं। अपने टेस्ट सेट पर, इस पद्धति ने कुल प्रोसेसिंग समय को 10.55 प्रतिशत कम कर दिया, जबकि इसने ठीक वही सही उत्तर दिए जैसे कि प्रश्नों को एक-एक करके संभाला गया होता। यह सुझाव देता है कि उन सिस्टमों के लिए जिन्हें एक साथ कई उद्धरणों (citations) की जांच करनी होती है, काम को व्यवस्थित करना एक कमजोर, तेज़ फ़िल्टर का उपयोग करने की तुलना में बेहतर रणनीति है।
अध्ययन में यह भी जांचा गया कि क्या किसी स्रोत की आयु का उपयोग पुराने तथ्यों को पहचानने के तरीके के रूप में किया जा सकता है। शोधकर्ताओं ने एक सरल नियम का परीक्षण किया: यदि कोई स्रोत 90 दिन से अधिक पुराना है, तो उसे समीक्षा के लिए चिह्नित करें। उन्होंने उन पांच वास्तविक उदाहरणों पर इस नियम को लागू किया जहाँ सही उत्तर समय के साथ बदल गया था, साथ ही एक उदाहरण जहाँ उत्तर नहीं बदला था। चूंकि उनके टेस्ट ग्रुप के सभी स्रोत 148 दिन पुराने थे, इसलिए नियम ने उन सभी को चिह्नित कर दिया। इसने उन चार मामलों की सही पहचान की जहाँ तथ्य बदल गए थे, लेकिन इसने उस एक मामले को भी चिह्नित कर दिया जहाँ तथ्य समान रहे थे। इस परिणाम ने दिखाया कि हालांकि एक पुरानी तारीख एक अच्छा संकेत है कि समीक्षा की आवश्यकता हो सकती है, लेकिन यह अपने आप में यह साबित नहीं कर सकती कि कोई तथ्य गलत है। एक स्रोत पुराना हो सकता है और फिर भी सही हो सकता है, ठीक वैसे ही जैसे एक नया स्रोत गलत हो सकता है।
अंततः, यह अध्ययन अधिक भरोसेमंद एआई बनाने का एक स्पष्ट चित्र प्रस्तुत करता है। सबसे प्रभावी मार्ग भाषा की सूक्ष्मता या समय की जटिलता को नजरअंदाज करने वाले त्वरित, सरल नियमों पर निर्भर करना नहीं है। इसके बजाय, सबसे अच्छा दृष्टिकोण यह है कि पाठ के अर्थ की जांच करने के लिए एक सावधानीपूर्वक, सटीक मॉडल का उपयोग किया जाए, और उस मॉडल को कुशलतापूर्वक काम को व्यवस्थित करके तेज़ बनाया जाए। शोधकर्ताओं ने इस बात पर भी जोर दिया कि स्रोत की आयु की जांच केवल एक मानव या एक अधिक उन्नत सिस्टम को करीब से देखने के लिए ट्रिगर (उत्तेजित) करना चाहिए, न कि यह तय करने के लिए कि क्या कोई तथ्य सत्य है। अर्थ की जांच करने के कार्य को तारीखों की जांच करने के कार्य से अलग करके, और सटीकता से समझौता करने वाले शॉर्टकटों से बचकर, हम ऐसे सिस्टम बना सकते हैं जो तेज़ और विश्वसनीय दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।