तकनीकी सारांश: रिट्रीवल क्वालिटी को मापने के लिए रिकॉल (Recall) कितना महत्वपूर्ण है?

समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम में, रिट्रीव किए गए दस्तावेज़ों ( "top-K" चयन) की गुणवत्ता, लार्ज लैंग्वेज मॉडल (LLM) द्वारा उत्पन्न प्रतिक्रिया की गुणवत्ता को सीधे प्रभावित करती है। मानक रिट्रीवल मेट्रिक्स, जैसे कि F-measure, रिकॉल ($R = n_p / N_p$) पर निर्भर करते हैं, जिसके लिए किसी दिए गए क्वेरी के लिए नॉलेज बेस (KB) में प्रासंगिक दस्तावेज़ों की कुल संख्या ($N_p$) जानना आवश्यक है।

हालाँकि, वास्तविक, बड़े पैमाने के और विकसित होते नॉलेज बेस (KB) में, $N_p$ आमतौर पर पहले से ज्ञात नहीं होता है। फलस्वरूप, रिकॉल की गणना नहीं की जा सकती, जिससे F-measure और इसी तरह के मेट्रिक्स वास्तविक समय के मूल्यांकन (real-time evaluation) के लिए अनुपयुक्त हो जाते हैं। इसे दरकिनार करने के लिए मौजूदा रणनीतियों में फिक्स्ड बेंचमार्क बनाना (जो KB बदलने पर अप्रचलित हो जाते हैं), पूलिंग या एक्सट्रपलेशन के माध्यम से $N_p$ का अनुमान लगाना, या ऐसे मेट्रिक्स का उपयोग करना शामिल है जिन्हें $N_p$ की आवश्यकता नहीं होती (जैसे nDCG)। यह शोध इस बात की जांच करता है कि कौन सा दृष्टिकोण उस वास्तविक गुणवत्ता के साथ सबसे अच्छा सहसंबंध (correlate) रखता है जब कुल प्रासंगिक दस्तावेज़ों की संख्या अज्ञात हो।

कार्यप्रणाली (Methodology)

डेटासेट निर्माण

लेखकों ने एक बेंचमार्क डेटासेट ("retrieval-response") बनाया जिसमें चार स्रोतों से क्वेरी, सकारात्मक (प्रासंगिक) दस्तावेज़ और नकारात्मक (अप्रासंगिक) दस्तावेज़ शामिल हैं:

1. ARXIV: वैज्ञानिक सार (Abstracts)।
2. HotpotQA: पैराग्राफ और वाक्य।
3. MSMARCO: वेब सर्च स्निपेट्स।
4. Natural Questions: वेब क्वेरीज़।

इस डेटासेट में प्रासंगिक दस्तावेज़ों की संख्या अपेक्षाकृत कम ($N_p \in [2, 15]$) है। लेखकों ने $N_p$ के सापेक्ष $K$ के आकार को विभिन्न श्रेणियों ($K < N_p$ और $K \ge N_p$ दोनों) में बदला।

रिट्रीवल और इवैल्यूएशन सेटअप

• एम्बेडिंग्स (Embeddings): top-K दस्तावेज़ों को रिट्रीव करने के लिए चार लोकप्रिय एम्बेडिंग मॉडल्स (all-MiniLM-L12-v2, multilingual-e5-small, e5-small-v2, multi-qa-MiniLM-L6-cos-v1) का उपयोग किया गया।
• रिस्पॉन्स जनरेशन: एक LLM (GPT-4o-mini) ने केवल top-K रिट्रीव किए गए दस्तावेज़ों के आधार पर प्रतिक्रियाएँ उत्पन्न कीं।
• क्वालिटी स्कोरिंग: उत्पन्न प्रतिक्रियाओं की तुलना एक "आदर्श" प्रतिक्रिया (जो सभी सकारात्मक दस्तावेज़ों का उपयोग करके बनाई गई थी) से की गई। LLM ने कंटेंट की पूर्णता और संरेखण (alignment) के आधार पर 1–5 लिकर्ट स्केल (Likert scale) पर गुणवत्ता स्कोर दिया।
• वैलिडेशन: LLM की स्कोरिंग को मानव निर्णयों के विरुद्ध सत्यापित किया गया, जिसने मजबूत सहसंबंध (Krippendorff's $\alpha \approx 0.77–0.82$) दिखाया।

तुलना किए गए मेट्रिक्स

अध्ययन ने निम्नलिखित रिट्रीवल मेट्रिक्स और LLM रिस्पॉन्स क्वालिटी स्कोर के बीच सहसंबंध का मूल्यांकन किया:

1. F-measure: इसके लिए $N_p$ के सटीक ज्ञान की आवश्यकता होती है।
2. Fe (F-estimated): यह वास्तविक $N_p$ के बजाय $N_p$ के एक कच्चे अनुमान (top $2K$ में पॉजिटिव्स की गिनती) का उपयोग करता है।
3. nDCG: इसके लिए $N_p$ की आवश्यकता नहीं होती; यह दस्तावेज़ों के रैंकिंग क्रम को ध्यान में रखता है।
4. T (प्रस्तावित): एक नया मेट्रिक जिसे $T = \frac{(1-\alpha)n_p - \alpha n_n}{K}$ के रूप में परिभाषित किया गया है, जहाँ $n_p$ top-K में पॉजिटिव्स की संख्या है और $n_n$ नेगेटिव्स की संख्या है। इसे $N_p$ से स्वतंत्र होने के लिए डिज़ाइन किया गया है।

लेखकों ने विभिन्न डेटासेट्स, एम्बेडिंग मॉडल्स और $K/N_p$ अनुपातों में स्पियरमैन (Spearman), पियर्सन (Pearson) और केंडल टॉ (Kendall Tau) सहसंबंधों का विश्लेषण किया।

मुख्य परिणाम (Key Results)

1. रिस्पॉन्स क्वालिटी के साथ सहसंबंध

• मेट्रिक प्रदर्शन: प्रस्तावित T मेट्रिक ने उन परिदृश्यों में मानक F मेट्रिक के समान या उससे बेहतर प्रदर्शन किया जहाँ $K < N_p$ या $K \approx N_p$ था (विशेष रूप से ARXIV और HotpotQA-sentences पर)।
• nDCG की सीमाएँ: nDCG ने जटिल डेटासेट्स (जैसे ARXIV) पर उच्च $K/N_p$ अनुपात वाले विशिष्ट मामलों को छोड़कर, रिस्पॉन्स क्वालिटी के साथ सामान्यतः कम सहसंबंध दिखाया। इन उच्च-अनुपात वाले परिदृश्यों में, दस्तावेज़ों का क्रम (पहले प्रासंगिक, बाद में अप्रासंगिक) LLM के लिए महत्वपूर्ण हो जाता है, जिससे nDCG को लाभ मिलता है।
• अनुमान बनाम वास्तविकता: आश्चर्यजनक रूप से, Fe (top $2K$ से अनुमानित $N_p$ का उपयोग करके) कभी-कभी उच्च $K/N_p$ अनुपात पर वास्तविक F मेट्रिक से बेहतर प्रदर्शन करता है। लेखक यह परिकल्पना करते हैं कि top $2K$ में दिखने वाले प्रासंगिक दस्तावेज़ LLM के लिए बाद में आने वाले दस्तावेज़ों की तुलना में स्वाभाविक रूप से अधिक महत्वपूर्ण होते हैं, जिससे "अनुमानित" $N_p$ उपयोगी प्रासंगिक दस्तावेज़ों के लिए एक बेहतर प्रॉक्सी बन जाता है।

2. $K/N_p$ अनुपात का प्रभाव

• कम/मध्यम $K/N_p$: जब रिट्रीव किए गए दस्तावेज़ों की संख्या कुल प्रासंगिक दस्तावेज़ों के बराबर या उससे कम होती है, तो अप्रासंगिक दस्तावेज़ों (नेगेटिव्स) की उपस्थिति खराब रिस्पॉन्स क्वालिटी का प्राथमिक कारण होती है। पॉजिटिव्स और नेगेटिव्स के संतुलन पर ध्यान केंद्रित करने वाले मेट्रिक्स (जैसे T और F) सबसे अच्छा प्रदर्शन करते हैं।
• उच्च $K/N_p$: जब $K$, $N_p$ से काफी अधिक होता है, तो डेटासेट में कई अप्रासंगिक दस्तावेज़ होते हैं। यहाँ, इन दस्तावेज़ों का क्रम मायने रखता है। यदि LLM को कॉन्टेक्स्ट में प्रासंगिक दस्तावेज़ जल्दी मिलते हैं, तो प्रदर्शन बेहतर होता है। यहीं पर nDCG को बढ़त मिलती है, हालांकि यह सरल डेटासेट्स (MSMARCO, Natural Questions) पर T और F की तुलना में निम्न स्तर पर रहता है।

3. एम्बेडिंग मॉडल संवेदनशीलता

यह पाया गया कि रिट्रीवल मेट्रिक का चुनाव विशिष्ट एम्बेडिंग मॉडल की तुलना में डेटासेट के प्रकार और $K/N_p$ अनुपात पर अधिक निर्भर करता है।

मुख्य योगदान (Key Contributions)

1. मेट्रिक T का परिचय: लेखक एक सरल, नॉर्मलाइज्ड रिट्रीवल क्वालिटी मेजर (T) प्रस्तावित करते हैं, जिसे कुल प्रासंगिक दस्तावेज़ों ($N_p$) के ज्ञान की आवश्यकता नहीं होती। यह top-K के भीतर प्रासंगिक दस्तावेज़ों ($n_p$) की गिनती को अप्रासंगिक दस्तावेज़ों ($n_n$) के विरुद्ध संतुलित करता है।
2. व्यापक बेंचमार्क: रिट्रीवल कॉन्फ़िगरेशन (विभिन्न $K$, $N_p$ और एम्बेडिंग्स) को LLM-जनरेटेड रिस्पॉन्स और क्वालिटी स्कोर से जोड़ने वाला एक विविध डेटासेट बनाना, जो ग्राउंड-ट्रुथ रिकॉल की अनुपस्थिति में रिट्रीवल क्वालिटी के अध्ययन को सुगम बनाता है।
3. अनुभवजन्य अंतर्दृष्टि (Empirical Insights):
   • यह सिद्ध किया कि T मेट्रिक, वास्तविक दुनिया के मूल्यांकन के लिए F का एक मजबूत विकल्प है जहाँ $N_p$ अज्ञात है।
   • दिखाया कि nDCG सार्वभौमिक रूप से श्रेष्ठ नहीं है; इसका लाभ उच्च $K/N_p$ अनुपात वाले जटिल डेटासेट्स तक सीमित है जहाँ दस्तावेज़ों का क्रम LLM के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है।
   • देखा कि $N_p$ का अनुमान top $2K$ के माध्यम से लगाना (Fe) कभी-कभी वास्तविक $N_p$ का उपयोग करने वाले F मेट्रिक की तुलना में बेहतर सहसंबंध दे सकता है, जो यह सुझाव देता है कि "शुरुआती" प्रासंगिक दस्तावेज़ों का LLM के लिए अधिक भार होता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि वास्तविक RAG सेटिंग्स में जहाँ कुल प्रासंगिक दस्तावेज़ों की संख्या ज्ञात नहीं है, वहाँ रिट्रीवल क्वालिटी को प्रभावी ढंग से मापने के लिए रिकॉल (Recall) अनिवार्य नहीं है।

• व्यावहारिक उपयोगिता: T मेट्रिक वास्तविक जीवन के मूल्यांकन के लिए एक "सुव्यवस्थित और सुविधाजनक" समाधान प्रदान करता है, जो फिक्स्ड बेंचमार्क या जटिल $N_p$ अनुमान तकनीकों की आवश्यकता को समाप्त करता है।
• संदर्भगत सूक्ष्मता (Contextual Nuance): अध्ययन इस बात पर प्रकाश डालता है कि "सर्वश्रेष्ठ" मेट्रिक परिचालन संदर्भ (विशेष रूप से $K/N_p$ अनुपात और दस्तावेज़ की जटिलता) पर निर्भर करता है। जबकि F (या T) आम तौर पर पर्याप्त है, nDCG को केवल तभी प्राथमिकता दी जा सकती है जब बड़े रिट्रीवल विंडो ($K \gg N_p$) के साथ जटिल डेटा से निपटना हो, जहाँ अप्रासंगिक दस्तावेज़ों का क्रम LLM को भ्रमित कर सकता है।
• LLM-केंद्रित मूल्यांकन: यह कार्य रिट्रीवल सिस्टम को केवल अमूर्त सूचना पुनर्प्राप्ति (information retrieval) मेट्रिक्स के बजाय उनके डाउनस्ट्रीम प्रभाव (LLM रिस्पॉन्स क्वालिटी) के आधार पर मूल्यांकन करने की ओर बदलाव को पुख्ता करता है।

लेखक अपने दायरे के संबंध में विनम्र रहे हैं, यह नोट करते हुए कि उनके प्रयोग मध्यम $N_p$ रेंज पर केंद्रित थे, और वास्तविक समय के मूल्यांकन (जैसे, ऑन-द-फ्लाई प्रासंगिकता लेबल करने के लिए LLM का उपयोग करना) के लिए लेटेंसी (latency) संबंधी विचारों का पूरी तरह से अन्वेषण नहीं किया गया था।