तकनीकी सारांश: इवैल-पेयर मैट्रिक्स (Eval-Pair Matrix)

समस्या विवरण

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम एक गंभीर मूल्यांकन चुनौती का सामना करते हैं: एक उत्तर प्रवाहपूर्ण और अच्छी तरह से उद्धृत हो सकता है, फिर भी वह स्रोत अनुच्छेदों (passages) के विपरीत हो सकता है। जबकि "LLM-as-a-judge" RAG के मूल्यांकन के लिए एक मानक बन गया है क्योंकि यह गति और संरचित तर्क देने की क्षमता रखता है, तब एक महत्वपूर्ण पद्धतिगत अंतराल (methodological gap) मौजूद है जब जनरेटर और जज एक ही मॉडल परिवार के होते हैं।

स्व-वरीयता (self-preference) पर मौजूदा साहित्य (जैसे, ड्यूबॉइस एट अल., 2024; शी एट अल., 2024) सुझाव देता है कि जज अपने स्वयं के मॉडल परिवार के आउटपुट को प्राथमिकता दे सकते हैं। हालांकि, यह अक्सर एक पहचान (identification) की समस्या होती है: एक जज अपने स्वयं के आउटपुट को इसलिए पसंद कर सकता है क्योंकि वह शैलीगत रूप से परिचित है या उच्च गुणवत्ता का है, न कि "स्व-सहनशीलता" (गलतियों को दंडित करने में विफल रहने) के कारण। स्रोत-आधारित RAG में, कार्य तथ्यात्मक निरंतरता (factual consistency) की ओर स्थानांतरित हो जाता है। मूल प्रश्न यह है कि क्या एक जज अपने स्वयं के मॉडल के आउटपुट में विरोधाभासों का पता लगाने में विफल रहता है जब वे विरोधाभास प्रेरित (induced) किए गए हों लेकिन जज से छिपे हों।

कार्यप्रणाली: इवैल-पेयर मैट्रिक्स (Eval-Pair Matrix)

लेखक इवैल-पेयर मैट्रिक्स पेश करते हैं, जो एक नियंत्रित मेटा-मूल्यांकन प्रोटोकॉल है जिसे जनरेटर की गुणवत्ता और उत्तर की कठिनाई से 'सेम-मॉडल जजिंग इफेक्ट' को अलग करने के लिए डिज़ाइन किया गया है।

1. डेटा निर्माण और व्यवधान (Data Construction and Perturbation)

अध्ययन GaRAGe का उपयोग करता है, जो मानव-लिखित उत्तरों और पैसेज-स्तरीय ग्राउंडिंग वाला एक बेंचमार्क है।

• व्यवधान (Perturbation): प्रत्येक रिकॉर्ड के लिए, एक LLM व्यवतकी (perturber) एक "उत्तर-कारण" प्रस्ताव (एक दावा जो उत्तर के लिए आवश्यक है) चुनता है और सभी सहायक अनुच्छेदों को एक प्रशंसनीय लेकिन गलत प्रतिस्थापन मान (जैसे, 48% के आंकड़े को बदलकर 35% करना) का समर्थन करने के लिए फिर से लिखता है।
• सत्यापन (Validation): एक पांच-द्वार सत्यापन प्रक्रिया सुनिश्चित करती है कि व्यवधान वैध है, कारण संबंधी है, वैश्विक रूप से सुसंगत है, मूल-मान के रिसाव (leakage) से मुक्त है, और मूल अनुच्छेद बाधित (perturbed) वाले से विरोधाभासी है।
• डेटासेट: अंतिम विश्लेषण 275 पूर्ण रूप से सत्यापित रिकॉर्ड (300 के प्रारंभिक पूल से) का उपयोग करता है, जो 897 उपयोगी उत्तर उत्पन्न करता है।

2. क्रॉस्ड मैट्रिक्स डिज़ाइन (The Crossed Matrix Design)

प्रयोग तीन मॉडल परिवारों: GPT, Grok, और Gemini का उपयोग करके एक $3 \times 3$ क्रॉस्ड मैट्रिक्स नियोजित करता है।

• जनरेटर्स (Generators): प्रत्येक मॉडल केवल व्यवतित (गलत) ग्राउंडिंग का उपयोग करके उत्तर उत्पन्न करता है।
• जज (Judges): वही तीन मॉडल अंधे जज (blind judges) के रूप में कार्य करते हैं। वे उत्पन्न उत्तरों का मूल्यांकन मूल (अव्यवतित) ग्राउंडिंग के विरुद्ध करते हैं।
• अंधता (Blindness): जज प्रश्न, उम्मीदवार उत्तर और मूल अनुच्छेदों को देखते हैं। वे व्यवधान, जनरेटर की पहचान और प्रेरित त्रुटि से अनभिज्ञ (blind) होते हैं।

3. पेयर्ड एस्टिमैंड (The Paired Estimand)

पारंपरिक विश्लेषण विकर्ण सेल (diagonal cells - सेम-मॉडल) बनाम ऑफ-विकर्ण सेल (off-diagonal cells - क्रॉस-मॉडल) की तुलना करता है। लेखक तर्क देते हैं कि यह अनुमानित रूप से कमजोर है क्योंकि यह विभिन्न शैलियों और इनकार दरों (refusal rates) वाले अलग-अलग उत्तरों की तुलना करता है।
इसके बजाय, इवैल-पेयर मैट्रिक्स एक उत्तर-पेयर्ड एस्टिमैंड (answer-paired estimand) का उपयोग करता है:

• एक विशिष्ट उम्मीदवार उत्तर के लिए, जो मॉडल $G$ द्वारा बनाया गया है, तीनों जज उस पर मूल्यांकन करते हैं।
• विश्लेषण मिलान करने वाले जज (मॉडल $G$) की तुलना गैर-मिलान करने वाले जजों (अन्य दो मॉडल) के साथ करता है, जो ठीक उसी उत्तर पर आधारित है।
• यह "सेम-मॉडल प्रभाव" को जनरेटर-विशिष्ट व्यवहारों (जैसे, इनकार दर, शैली) से अलग करता है।

4. लेबलिंग और मानव मूल्यांकन (Labeling and Human Evaluation)

• व्यवहार लेबल (Behavior Labels): उत्तरों को व्यवहार (जैसे, "कॉन्टेक्स्ट फॉलो", "मेमोरी ओवरराइड", "इनसुफिशिएंसी/इनकार") द्वारा लेबल किया जाता है।
• प्रेरित-त्रुटि अंगीकरण (Induced-Error Adoption): एक अलग लेबल-इवैल्यूएटर यह निर्धारित करता है कि क्या उत्तर ने प्रेरित गलत दावे को अपनाया है।
• मानव ऑडिट (Human Audit): एक लक्षित मानव मूल्यांकन ने 88 मामलों की समीक्षा की, विशेष रूप से "स्पष्ट फाल्स पॉजिटिव" (जहाँ जज ने एक त्रुटि को चिह्नित किया, लेकिन उत्तर ने प्रेरित दावे से परहेज किया) पर ध्यान केंद्रित किया।

मुख्य परिणाम

1. त्रुटि का पता लगाने पर कोई मजबूत सेम-मॉडल सहनशीलता नहीं

इस परिकल्पना के विपरीत कि जज अपने स्वयं के मॉडल की त्रुटियों के प्रति उदार होते हैं:

• ग्लोबल रिकॉल प्रभाव (Global Recall Effect): पेयर्ड विश्लेषण ने पाया कि कोई ठोस प्रमाण नहीं है कि सेम-मॉडल जज अपने स्वयं के मॉडल के उत्तरों में प्रेरित त्रुटियों को मिस करते हैं। रिकॉल अंतर शून्य के करीब है ($\Delta = -0.5$ प्रतिशत अंक; 95% CI $[-2.7, +1.7]$)।
• F1 स्कोर: कच्चा डायगोनल F1 (84.4%) और ऑफ-डायगोनल F1 (83.4%) सांख्यिकीय रूप से समान हैं।

2. "अवॉइड-क्लेम" गैप (The "Avoided-Claim" Gap)

एकमात्र मजबूत पेयर्ड अंतर उन उत्तरों में देखा गया जिन्होंने प्रेरित गलत दावे को नकारा (जैसे, इनकार या हेजिंग के माध्यम से)।

• निष्कर्ष: मिलान करने वाले जज इन उत्तरों को गैर-मिलान करने वाले जजों की तुलना में कम बार चिह्नित करते हैं ($\Delta = -4.3$ pp; 95% CI $[-6.6, -2.0]$)।
• व्याख्या: यह कम फाल्स-अलार्म दर नहीं है। "अवॉइड-क्लेम" लेबल केवल यह जाँचता है कि क्या विशिष्ट प्रेरित त्रुटि को अपनाया गया है। हालांकि, जज का कार्य स्रोत के विरुद्ध किसी भी तथ्यात्मक त्रुटि को चिह्नित करना है। जिन उत्तरों ने प्रेरित दावे से परहेज किया, उनमें अन्य स्रोत-सापेक्ष त्रुटियाँ (जैसे, असंबंधित तथ्यों के बारे में मतिभ्रम या गलत एट्रिब्यूशन) हो सकती थीं।

3. स्पष्ट फाल्स पॉजिटिव का मानव मूल्यांकन

लेखकों ने 25 "स्पष्ट फाल्स पॉजिटिव" का ऑडिट किया (ऐसे उत्तर जिन्हें जज द्वारा चिह्नित किया गया था लेकिन "प्रेरित-दावे को टालने" के रूप में लेबल किया गया था)।

• परिणाम: इनमें से कोई भी वास्तविक फाल्स अलार्म नहीं था।
  • 22 वैध वैकल्पिक स्रोत त्रुटियों का पता लगाने वाले मामले थे।
  • 2 प्रेरित-त्रुटि अंगीकरण लेबल में गलती थी।
  • 1 अस्पष्ट मामला था।
• निष्कर्ष: देखा गया अंतर एक लेबल/कार्य बेमेल (mismatch) है, न कि स्व-सहनशीलता का प्रमाण। अंगीकरण (adoption) लेबल बहुत संकीर्ण है और जज के व्यापक कार्य (किसी भी स्रोत-ग्राउंडिंग त्रुटि का पता लगाना) को पकड़ने में सक्षम नहीं है।

4. स्थानीयकरण (Localization)

जब जजों ने त्रुटियों को चिह्नित किया, तो उन्होंने 94.0–98.5% मामलों में स्रोत पैसेज को सही ढंग से पहचाना, जो विरोधाभासों को स्थानीयकृत करने में उच्च सटीकता प्रदर्शित करता है।

योगदान और महत्व

पद्धतिगत योगदान

1. प्रोटोकॉल: छिपे हुए, स्थानीयकृत स्रोत विरोधाभासों और ब्लाइंड जजिंग का उपयोग करके एक नियंत्रित मेटा-इवैल्यूएशन सेटअप।
2. पेयर्ड एस्टिमैंड: अलग-अलग उत्तर वितरणों के बजाय एक ही उम्मीदवार उत्तर पर जजों की तुलना करने की ओर एक बदलाव, जो जनरेटर की कठिनाई और शैली को प्रभावी ढंग से नियंत्रित करता है।
3. व्यवहार स्तरीकरण (Behavior Stratification): यह प्रदर्शित करना कि जनरेटर व्यवहार (इनकार, हेजिंग) मूल्यांकन मेट्रिक्स को महत्वपूर्ण रूप से प्रभावित करते हैं और उनका अलग से विश्लेषण किया जाना चाहिए।

अनुभवजन्य निष्कर्ष (Empirical Findings)

• व्यापक स्व-सहनशीलता का खंडन: तथ्य-केंद्रित RAG में, इस बात का कोई ठोस प्रमाण नहीं है कि सेम-मॉडल जज अपने स्वयं के मॉडल की प्रेरित त्रुटियों को मिस करते हैं।
• गैप्स की पुनर्व्याख्या: फ्लैगिंग दरों में देखी गई विसंगतियां बेहतर तरीके रूप से "अंगीकरण" लेबल और जज के व्यापक "किसी भी-त्रुटि" कार्य के बीच बेमेल के कारण समझी जा सकती हैं, न कि मॉडल पूर्वाग्रह के कारण।

महत्व

यह पेपर तर्क देता है कि सेम-मॉडल RAG जजिंग एक पहचान की समस्या (identification problem) है, न कि एक पूर्ण निषेध। जबकि कच्चे डायगोनल-बनाम-ऑफ-डायगोनल तुलनात्मक रूप से वर्णनात्मक रूप से उपयोगी हैं, वे अनुमानित रूप से अपर्याप्त हैं। स्व-सहनशीलता के बारे में वैध दावे करने के लिए, अध्ययनों को:

• पूर्ण जज-बाय-जनरेटर मैट्रिक्स रिपोर्ट करना चाहिए।
• उत्तर-पेयर्ड प्रभावों का उपयोग करना चाहिए।
• जनरेटर व्यवहार के आधार पर स्तरीकरण करना चाहिए।
• यह सुनिश्चित करना चाहिए कि ग्राउंड-ट्रुथ लेबल और जज को सौंपे गए विशिष्ट त्रुटि-पहचान कार्य के बीच संरेखण हो।

अध्ययन सुझाव देता है कि तथ्य-आधारित ग्राउंडिंग, ओपन-एंडेड प्रेफरेंस कार्यों में देखे जाने वाले शैली-संचालित स्व-वरीयता प्रभावों को कम कर सकती है, लेकिन यह ग्राउंडेड जनरेशन में "त्रुटियों" को कैसे परिभाषित और लेबल किया जाता है, इसके संबंध में नई जटिलताएं भी पेश करती है।