How Fine-Grained Should a RAG Benchmark Be? A Hierarchical Framework for Synthetic Question Generation

तकनीकी सारांश: HieraRAG – सिंथेटिक प्रश्न निर्माण के लिए एक पदानुक्रमित ढांचा (Hierarchical Framework)

समस्या विवरण

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम का मूल्यांकन करने के लिए ऐसे बेंचमार्क की आवश्यकता होती है जो विविध प्रश्न विशेषताओं को कैप्चर कर सकें। हालाँकि, अभ्यासकर्ताओं (practitioners) के पास इस बारे में अनुभवजन्य मार्गदर्शन (empirical guidance) की कमी है कि प्रश्न भिन्नता के किन आयामों को शामिल किया जाना चाहिए और, महत्वपूर्ण रूप से, इन आयामों को किस स्तर की सूक्ष्मता (granularity) (जैसे, मोटे बनाम सूक्ष्म श्रेणियाँ) पर परिभाषित किया जाना चाहिए। मौजूदा बेंचमार्क अक्सर असंगत सूक्ष्मता लागू करते हैं: कुछ उत्तर प्रकार के आधार पर वर्गीकृत करते हैं लेकिन जटिलता नियंत्रण का अभाव होता है, जबकि अन्य व्यवस्थित भाषाई भिन्नता के बिना कार्य प्रारूपों (task formats) तक सीमित रहते हैं। अनुभवजन्य साक्ष्य के बिना, डिज़ाइनर या तो महत्वपूर्ण विफलता मोड (failure modes) के अंडर-सैंपलिंग का जोखिम उठाते हैं या रेडंडेंट, सूक्ष्म-स्तरीय अंतरों के कारण मूल्यांकन संकेतों को कमज़ोर कर देते हैं, जिससे जनरेशन लागत बढ़ जाती है बिना किसी नैदानिक मूल्य (diagnostic value) के।

कार्यप्रणाली (Methodology)

लेखक HieraRAG का प्रस्ताव करते हैं, जो एक पदानुक्रमित ढांचा है जिसे RAG मूल्यांकन पर प्रश्न की सूक्ष्मता के प्रभाव का व्यवस्थित रूप से अध्ययन करने के लिए डिज़ाइन किया गया है। कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. पदानुक्रमित वर्गीकरण ढांचा (Hierarchical Categorization Framework)

यह ढांचा प्रश्न भिन्नता के तीन उदाहरण स्वरूप आयामों को परिभाषित करता है, जिनमें से प्रत्येक का तीन सूक्ष्मता स्तरों पर मूल्यांकन किया जाता है:

• प्रश्न जटिलता (Question Complexity - QC): संज्ञानात्मक मांग (cognitive demand) जो तथ्य खोज (fact lookup) से लेकर मल्टी-हॉप रीजनिंग (multi-hop reasoning) तक विस्तृत है।
• उत्तर प्रकार (Answer Type - AT): अपेक्षित प्रतिक्रिया प्रारूप, प्रत्यक्ष निष्कर्षण (direct extraction) से लेकर सिंथेसाइज्ड जनरेशन (synthesized generation) तक।
• भाषाई भिन्नता (Linguistic Variation - LV): प्रश्न और दस्तावेज़ के बीच लेक्सिकल संरेखण (lexical alignment), वर्बेटिम (verbatim) से लेकर पैराफ्रेज्ड (paraphrased) तक।

प्रत्येक आयाम को मोटे (Coarse - 2 श्रेणियाँ), मध्यम (Medium - 4 श्रेणियाँ), और सूक्ष्म (Fine - 8 श्रेणियाँ) स्तरों में उपविभाजित किया गया है। उदाहरण के लिए, प्रश्न जटिलता "सरल/जटिल" (मोटा) से "सिंगल-फैक्ट/मल्टी-फैक्ट/क्रॉस-सेक्शन/कंपैरेटिव" (मध्यम) और फिर विशिष्ट प्रकार जैसे "एक्सट्रैक्टिव स्पैन," "मल्टी-हॉप रीजनिंग," और "कंपैरेटिव सिंथेसिस" (सूक्ष्म) तक जाती है।

2. सिंथेटिक डेटा जनरेशन और प्रयोगात्मक सेटअप

• डेटा स्रोत: Claude 3.5 Sonnet का उपयोग करते हुए DataMorgana के माध्यम से FineWeb-10BT कॉर्पस से 5,872 सिंथेटिक प्रश्न-उत्तर (QA) जोड़े उत्पन्न किए गए।
• RAG पाइपलाइन: सिस्टम का मूल्यांकन एक मानक दो-चरणीय पाइपलाइन पर किया गया:
  • रिट्रीवल (Retrieval): BM25 (PyTerrier के माध्यम से) 512-टोकन चंक्स से $k=10$ दस्तावेज़ों को रिट्रीव करता है।
  • जनरेशन (Generation): Falcon-3-10B-Instruct (टेम्परेचर 0.6) जिसे अपर्याप्त जानकारी होने पर मना करने (refuse) के लिए निर्देशित किया गया था।
• प्रयोगात्मक डिज़ाइन:
  • RQ1: सबसे भेदभावपूर्ण (discriminative) आयामों की पहचान करने के लिए मोटे स्तर पर 4 आयामों (QC, AT, LV, और Phrasing) का मूल्यांकन किया गया।
  • RQ2: इष्टतम सूक्ष्मता निर्धारित करने के लिए सभी तीन सूक्ष्मता स्तरों (2, 4, 8 श्रेणियाँ) में QC, AT, और LV का मूल्यांकन किया गया।
  • RQ3: भाषाई भिन्नता (समान बनाम दूरस्थ) को प्रश्न जटिलता (सरल बनाम जटिल) के साथ क्रॉस करते हुए एक $2 \times 2$ फैक्टोरियल डिज़ाइन का उपयोग किया गया ताकि इंटरैक्शन का परीक्षण किया जा सके।

3. मूल्यांकन मेट्रिक्स

• प्रदर्शन मेट्रिक्स: रिट्रीवल के लिए मीन एवरेज प्रिसिजन (MAP), nDCG@10, Recall@10; जनरेशन गुणवत्ता के लिए कोसाइन सिमिलैरिटी (CS), ROUGE-1, और BLEU।
• भेदभावपूर्ण शक्ति (Discriminative Power): एक सूक्ष्मता स्तर के भीतर श्रेणियों के बीच जनरेशन गुणवत्ता (CS) के मानक विचलन (standard deviation) के रूप में परिभाषित। उच्च मानक विचलन इंगित करता है कि श्रेणियाँ सार्थक प्रदर्शन अंतर प्रकट करती हैं।
• कोहेरेंस अनुपात ($\rho_{coherence}$): पदानुक्रमित संरचना को मान्य करने के लिए क्लस्टरिंग सिलुएट गुणांक (clustering silhouette coefficients) से प्रेरित एक नया मेट्रिक। यह मापता है कि क्या सूक्ष्म-स्तरीय "सिबलिंग" (sibling) श्रेणियाँ गैर-रेडंडेंट सिग्नल प्रदान करती हैं और अपने पैरेंट (parent) श्रेणी के साथ ऊर्ध्वाधर रूप से सुसंगत रहती हैं:
  $$\rho_{coherence} = \frac{\sigma_{sib}}{\delta_{vert} + \epsilon}$$
  जहाँ $\sigma_{sib}$ सिबलिंग्स के बीच मानक विचलन (क्षैतिज भेदभाव) है और $\delta_{vert}$ पैरेंट और चाइल्ड माध्य के बीच का पूर्ण अंतर (ऊर्ध्धर निरंतरता) है। उच्च $\rho$ अच्छी तरह से कैलिब्रेटेड स्प्लिट्स को दर्शाता है; निम्न $\rho$ खराब संरचना या रेडंडेंसी का सुझाव देता है।
• मानवीय सत्यापन (Human Validation): दो एंनोटेटरों ने शुद्धता, मतिभ्रम (hallucination), और श्रेणी संरेखण के लिए 110 स्तरीकृत (stratified) QA जोड़ों का मूल्यांकन किया।

मुख्य परिणाम

RQ1: सबसे भेदभावपूर्ण आयाम

मोटे स्तर पर, भाषाई भिन्नता (LV) सबसे भेदभावपूर्ण आयाम था (रेंज = 0.077), हालांकि इसने सबसे खराब पूर्ण प्रदर्शन (MAP=0.369) दिया। उत्तर प्रकार (AT) ने सबसे अच्छा पूर्ण प्रदर्शन (MAP=0.506) प्राप्त किया लेकिन कम भेदभाव दिखाया। प्रश्न जटिलता (QC) ने मोटे स्तर पर सबसे कम भेदभाव दिखाया (रेंज = 0.010)।

RQ2: सूक्ष्मता का प्रभाव

इष्टतम सूक्ष्मता आयाम के अनुसार काफी भिन्न होती है:

• प्रश्न जटिलता (QC): सूक्ष्म-स्तरीय (fine-grained) अंतरों से लाभान्वित होती है। भेदभावपूर्ण शक्ति मोटे (0.007) से सूक्ष्म (0.053) तक निरंतर बढ़ी, जो 7.5 गुना वृद्धि है। यह सुझाव देता है कि विशिष्ट रीजनिंग प्रकारों (जैसे, सिंगल-हॉप बनाम मल्टी-हॉप) के बीच अंतर करना उन प्रदर्शन विविधताओं को पकड़ लेता है जो मोटे "सरल/जटिल" लेबल द्वारा छूट जाती हैं।
• उत्तर प्रकार (AT) और भाषाई भिन्नता (LV): ये मध्यम सूक्ष्मता (4 श्रेणियाँ) पर चरम पर पहुँचते हैं।
  • AT मध्यम (0.044) पर चरम पर पहुँचा और सूक्ष्म (0.037) स्तर पर गिर गया।
  • LV मध्यम (0.047) पर चरम पर पहुँचा और सूक्ष्म (0.031) स्तर पर गिर गया।
    इन आयामों के लिए, सूक्ष्म विभाजन सिग्नल के बजाय शोर (noise) जोड़ते हैं।

संरचनात्मक सत्यापन (कोहेरेंस अनुपात)

कोहेरेंस अनुपात ने परिणामों की व्याख्या करने वाली संरचनात्मक भिन्नताओं को प्रकट किया:

• AT में उच्च औसत कोहेरेंस (उदाहरण के लिए, summary_or_explanation स्प्लिट का $\rho=3.31$) था, जो इंगित करता है कि इसके सूक्ष्म श्रेणियाँ अपने पैरेंट को स्पष्ट रूप से विभाजित करती हैं।
• QC में निम्न औसत कोहेरेंस (0.40) था। हालांकि 8 सूक्ष्म श्रेणियों ने प्रदर्शन स्थान को सफलतापूर्वक विभाजित किया (उच्च भेदभावपूर्ण शक्ति), वे अपने मध्यम-स्तर के पैरेंट को स्पष्ट रूप से विभाजित नहीं कर पाईं, जो सुझाव देता है कि पदानुक्रम पूरी तरह से टैक्सोनोमिक (taxonomic) नहीं है।
• LV ने conceptual_rephrase स्प्लिट ($\rho=0.04$) में खराब अंशांकन (calibration) दिखाया, जहाँ सूक्ष्म संतानें अपने पैरेंट के प्रदर्शन प्रोफाइल से काफी दूर चली गईं।
• कोहेरेंस अनुपात और श्रेणी असाइनमेंट पर मानवीय सहमति के बीच एक प्रारंभिक सहसंबंध ($r_{pb}=0.24$) देखा गया, जो सुझाव देता है कि यह मेट्रिक स्वचालित प्रॉक्सी के रूप में कार्य कर सकता है।

RQ3: इंटरैक्शन प्रभाव

LV और QC के बीच इंटरैक्शन मुख्य रूप से एडिटिव (additive) था, न कि इंटरैक्टिव।

• शब्दावली बेमेल (Distant LV) ने जटिलता के बावजूद प्रदर्शन में महत्वपूर्ण गिरावट दर्ज की (MAP ~0.55 से गिरकर ~0.20 हो गया)।
• जटिलता के अंतर केवल तभी मायने रखते थे जब रिट्रीवल सफल रहा (Similar LV)। जब शब्दावली बेमेल के कारण रिट्रीवल विफल हो गया, तो जटिलता अप्रासंगिक हो गई।

महत्व और दावे

यह पेपर सार्वभौमिक सत्यों के बजाय एक पोर्टेबल प्रक्रिया (portable procedure) प्रदान करने का दावा करता है। इसके प्राथमिक योगदान हैं:

1. एक पदानुक्रमित ढांचा: RAG बेंचमार्क में इष्टतम मूल्यांकन सूक्ष्मता निर्धारित करने की एक विधि, जो यह प्रदर्शित करती है कि "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) सूक्ष्मता उप-इष्टतम है।
2. कोहेरेंस अनुपात: एक सत्यापन मेट्रिक जो बड़े पैमाने पर बेंचमार्क जनरेशन से पहले अभ्यासकर्ताओं को यह निर्धारित करने में मदद करता है कि सूक्ष्म विभाजन संरचनात्मक रूप से कितने सुदृढ़ हैं।
3. अनुभवजन्य साक्ष्य: विशिष्ट कॉन्फ़िगरेशन (BM25 + Falcon-3-10B) के भीतर, लेखक दिखाते हैं कि अलग-अलग प्रश्न विशेषताओं के लिए नैदानिक मूल्यांकन हेतु अलग-अलग सूक्ष्मता स्तरों की आवश्यकता होती है (जटिलता के लिए Fine, उत्तर प्रकार और भाषाई भिन्नता के लिए Medium)।
4. डेटासेट और कोड: 5,872 पदानुक्रमित रूप से व्यवस्थित सिंथेटिक प्रश्नों और उनके पुनरुत्पादन (replication) के लिए संबंधित कोड का विमोचन।

लेखक स्पष्ट रूप से सीमाओं को नोट करते हैं: निष्कर्ष उपयोग किए गए BM25 रिट्रीवर और Falcon जनरेटर के लिए विशिष्ट हैं; RQ1/RQ2 में एकल-आयाम असाइनमेंट अन्य आयामों को अनियंत्रित कन्फाउंडर (confounders) छोड़ देता है; और कोहेरेंस अनुपात और मानवीय सहमति के बीच सहसंबंध सांख्यिकीय रूप से महत्वपूर्ण नहीं था ($p=0.21$)। फलस्वरूप, यह पेपर HieraRAG को एक निश्चित बेंचमार्क मानक निर्धारित करने के बजाय, अभ्यासकर्ताओं के लिए उनके स्वयं के RAG मूल्यांकन सेटिंग्स को निदान और कैलिब्रेट (diagnose and calibrate) करने के एक उपकरण के रूप में प्रस्तुत करता है।