Evaluating Retrieval Accuracy and Latency for Enterprise RAG Systems on FiQA
यह अध्ययन FiQA बेंचमार्क पर TF-IDF, BM25, एक क्वांटाइज्ड (quantized) MiniLM डेंस रिट्रीवर और उनके रेसिप्रोकल रैंक फ्यूजन (reciprocal rank fusion) की रिट्रीवल सटीकता और लेटेंसी का मूल्यांकन करता है, जिसमें यह पाया गया कि जहाँ डेंस मॉडल स्पार्स (sparse) विधियों की तुलना में काफी बेहतर प्रदर्शन करता है, वहीं फ्यूजन दृष्टिकोण अकेले MiniLM की तुलना में केवल एक मामूली और सांख्यिकीय रूप से महत्वहीन सुधार प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की आधुनिक दुनिया में, एक आम चुनौती कंप्यूटर को उन विशाल दस्तावेज़ों का उपयोग करके प्रश्न पूछने में मदद करना है जिन्हें उसने पहले कभी नहीं देखा है। कल्पना कीजिए कि एक ऐसी प्रणाली की जो लाखों पन्नों के टेक्स्ट को पढ़ सकती है और फिर आपसे उन पर चर्चा कर सकती है। यह अच्छी तरह से काम करने के लिए, सिस्टम को एक ऐसे लाइब्रेरियन (पुस्तकालयाध्यक्ष) की आवश्यकता है जो सही पन्नों को तुरंत ढूंढ सके। यदि लाइब्रेरियन गलत पन्ने वापस लाता है, तो कंप्यूटर गलत उत्तर देगा। यदि लाइब्रेरियन सही पन्नों को खोजने में बहुत अधिक समय लेता है, तो बातचीत रुक जाएगी और बेकार हो जाएगी। सही जानकारी को तेज़ी से खोजने और सही जानकारी को सटीक रूप से खोजने के बीच का यह संतुलन वह केंद्रीय समस्या है जिसका सामना शोधकर्ता इन बुद्धिमान प्रणालियों को बनाने के दौरान करते हैं। उन्हें यह तय करना होता है कि वे पुस्तकालय में कैसे खोजें: क्या उन्हें शब्दों के सटीक मिलान (exact word matches) की तलाश करनी चाहिए, जैसे कि एक पारंपरिक इंडेक्स में होता है, या उन्हें शब्दों के सामान्य अर्थ की तलाश करनी चाहिए, जैसे कि एक मानव संदर्भ को समझता है?
एक हालिया अध्ययन ने वित्तीय फोरम के विशिष्ट प्रश्नों और उत्तरों के संग्रह पर इन विभिन्न खोज विधियों का परीक्षण करने का निर्णय लिया। शोधकर्ता यह देखना चाहते थे कि एक एंटरप्राइज सिस्टम के लिए कौन सा दृष्टिकोण सबसे अच्छा काम करता है, जहाँ गति और सटीकता दोनों ही महत्वपूर्ण हैं। उन्होंने चार अलग-अलग तरीकों की तुलना की। पहले दो तरीके शब्दों के सीधे मिलान पर आधारित थे। एक शब्दों के दिखने की आवृत्ति की बुनियादी गिनती थी, जबकि दूसरा एक अधिक परिष्कृत संस्करण था जो यह समझता था कि पूरे संग्रह में कोई शब्द कितना सामान्य या दुर्लभ है। तीसरे तरीके ने एक आधुनिक तकनीक का उपयोग किया जिसने प्रत्येक प्रश्न और प्रत्येक दस्तावेज़ को उसके अर्थ के गणितीय प्रतिनिधित्व में बदल दिया, जिससे सिस्टम शब्दों के अलग होने पर भी उत्तर ढूंढ सकता था। चौथा तरीका एक हाइब्रिड (मिश्रित) दृष्टिकोण था जिसने शब्द-मिलान वाली खोज और अर्थ-आधारित खोज के परिणामों को मिलाने का प्रयास किया ताकि दोनों तरफ के सर्वश्रेष्ठ परिणाम प्राप्त किए जा सकें।
टीम ने इन चार तरीकों को लगभग साठ हजार दस्तावेजों और छह सौ अड़तालीस प्रश्नों वाले एक मानक परीक्षण सेट के विरुद्ध चलाया। उन्होंने दो चीजें मापीं: यह कि सही उत्तर सूची में शीर्ष पर कितनी बार दिखाई देता है, और कंप्यूटर को उस सूची को तैयार करने में कितना समय लगता है। परिणामों ने एक स्पष्ट ट्रेड-ऑफ (समझौता) दिखाया। जो तरीका पूरी तरह से शब्दों के मिलान पर निर्भर था, वह सबसे तेज़ था, जिसने लगभग चालीस प्रतिशत समय में शीर्ष पांच परिणामों में से एक प्रासंगिक दस्तावेज़ खोज लिया, लेकिन इसे करने में छह मिलीसेकंड से भी कम समय लगा। जो तरीका अर्थ को समझता था, वह काफी अधिक सटीक था, जिसने लगभग चौवन प्रतिशत समय में शीर्ष पांच परिणामों में से एक प्रासंगिक दस्तावेज़ खोजा, लेकिन इसे चलने में लगभग अठारह मिलीसेकंड लगे। यह धीमी गति इसलिए है क्योंकि कंप्यूटर को खोजने से पहले प्रश्न को अपने जटिल गणितीय रूप में अनुवादित करना पड़ा।
जब शोधकर्ताओं ने उच्च सटीकता प्राप्त करने के लिए अर्थ-आधारित खोज के साथ शब्दों के मिलान वाली खोज को मिलाया, तो परिणाम आश्चर्यजनक थे। संयुक्त विधि अर्थ-आधारित खोज अकेले की तुलना में काफी अधिक सटीक नहीं हुई। वास्तव में, सटीकता में सुधार इतना कम था कि यह आसानी से संयोगवश भी हो सकता था। हालाँकि, संयुक्त विधि ने अधिक समय लिया, जिसे पूरा करने के लिए लगभग चौबीस मिलीसेकंड की आवश्यकता थी। ऐसा इसलिए हुआ क्योंकि सिस्टम को दोनों खोजों को अलग-अलग चलाना पड़ता था और फिर सूचियों को मर्ज (विलय) करना पड़ता था, जिससे काम दोगुना हो गया और बदले में लाभ नगण्य था। अध्ययन में यह भी पाया गया कि दोनों तरीकों ने अक्सर अलग-अलग सही उत्तर खोजे। शब्द-मिलान वाली खोज ने उन प्रासंगिक दस्तावेजों को खोजा जो अर्थ-आधारित खोज से छूट गए थे, और इसके विपरीत भी। हालांकि इससे पता चला कि दोनों तरीके एक-दूसरे के पूरक हैं, लेकिन उन्हें संयोजित करने का सरल तरीका अंतिम शीर्ष पांच में दोनों सूचियों के सर्वोत्तम उत्तरों को रखने में सफल नहीं रहा।
शोधकर्ताओं ने इस बात पर जोर दिया कि ये निष्कर्ष विशेष रूप से खोज की गति पर लागू होते हैं, न कि उस अंतिम उत्तर पर जो कंप्यूटर उत्पन्न करता है। एक तेज़ खोज जो सही दस्तावेज़ ढूंढ लेती है, वह केवल आधी लड़ाई है; कंप्यूटर को अभी भी उस दस्तावेज़ को पढ़ना होगा और एक अच्छा उत्तर लिखना होगा। अध्ययन ने यह भी नोट किया कि परीक्षण डेटा सार्वजनिक वित्तीय मंचों से आया था, जो किसी वास्तविक कंपनी के भीतर मौजूद जटिल, प्रतिबंधित दस्तावेजों का सटीक प्रतिनिधित्व नहीं कर सकता है। इसके अलावा, परीक्षण के लिए उपयोग किया गया कंप्यूटर एक मानक प्रोसेसर था, न कि कोई विशेष उच्च-गति वाली मशीन, इसलिए मापे गए समय एक विशिष्ट सेटअप को दर्शाते हैं न कि एक सार्वभौमिक सीमा को।
अंततः, यह कार्य सुझाव देता है कि एक ऐसी प्रणाली के लिए जिसे तेज़ और सटीक दोनों होने की आवश्यकता है, केवल एक दूसरी खोज विधि जोड़ने से परिणाम अपने आप बेहतर नहीं होते हैं। सबसे प्रभावी दृष्टिकोण उपयोगकर्ता की विशिष्ट आवश्यकताओं पर निर्भर करता है। यदि गति पूर्ण प्राथमिकता है, तो एक सरल शब्द-मिलान खोज पर्याप्त हो सकती है। यदि सटीकता अधिक महत्वपूर्ण है, तो अधिक जटिल अर्थ-आधारित खोज अतिरिक्त समय के लायक है। लेकिन उन्हें मिलाने के लिए सावधानीपूर्वक ट्यूनिंग (समायोजन) की आवश्यकता होती है, क्योंकि सूचियों को मर्ज करने में खर्च किया गया अतिरिक्त समय सही दस्तावेज़ खोजने के मामूली लाभ के लिए सार्थक नहीं हो सकता है। यह अध्ययन इन विकल्पों पर एक स्पष्ट, मापा गया दृष्टिकोण प्रदान करता है, जो यह दिखाता है कि आर्टिफिशियल इंटेलिजेंस की दुनिया में, अधिक जटिलता जोड़ने से हमेशा बेहतर परिणाम नहीं मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।