💬 NLP

Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias

यह शोध पत्र अब तक के LLM-as-a-Judge मॉडलों के सबसे बड़े व्यवस्थित मूल्यांकन को प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ ये जज उच्च विश्वसनीयता प्रदर्शित करते हैं, वहीं वे महत्वपूर्ण वैधता संबंधी समस्याओं से ग्रस्त हैं जिनमें सार्वभौमिक संयोग-अतिरंजित सहमति (universal chance-overstated agreement), बेंचमार्क-निर्भर रैंकिंग अस्थिरता, और निरंतरता एवं गंभीर स्थिति पूर्वाग्रह (position bias) का विरोधाभासी सह-अस्तित्व शामिल है, जो अंततः एक प्रस्तावित न्यूनतम व्यवहार्य सत्यापन प्रोटोकॉल (Minimum Viable Validation Protocol) की ओर ले जाता है।

मूल लेखक: Justin D. Norman, Michael U. Rivera, D. Alex Hughes

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Justin D. Norman, Michael U. Rivera, D. Alex Hughes

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने छात्रों के निबंधों को ग्रेड देने के लिए 21 अलग-अलग "AI न्यायाधीशों" का एक पैनल नियुक्त किया है। ये न्यायाधीश 'स्वर्ण मानक' (gold standard) होने चाहिए, जो समय और पैसा बचाने के लिए मानव शिक्षकों की जगह ले सकें। लेकिन इससे पहले कि आप उन्हें अपने पूरे स्कूल में ग्रेडिंग करने दें, आपको यह जानना होगा: क्या वे वास्तव में निर्णय लेने में अच्छे हैं, या वे केवल भाग्यशाली हैं?

यह शोध पत्र इन 21 AI न्यायाधीशों के लिए एक विशाल, व्यवस्थित "रिपोर्ट कार्ड" है। शोधकर्ताओं ने केवल यह नहीं पूछा, "क्या AI मानव शिक्षक के साथ सहमत था?" बल्कि उन्होंने यह पता लगाने के लिए बहुत गहराई तक खोज की कि क्या न्यायाधीश वास्तव में बुद्धिमान, सुसंगत थे, या वे केवल एक फिक्स्ड गेम खेल रहे थे।

यहाँ चार मुख्य खोजें दी गई हैं, जिन्हें सरल उपमाओं (analogies) के माध्यम से समझाया गया है:

1. "भाग्यशाली सिक्का उछालने" का जाल (Kappa Deflation)

समस्या: वर्षों से, लोग AI न्यायाधीशों को "सटीक मिलान" (Exact Match) द्वारा मापते रहे हैं। यह पूछने जैसा है, "क्या AI ने सही उत्तर का अनुमान लगाया?" यदि एक AI 85% उत्तर सही देता है, तो हर कोई खुशी मनाता है।
वास्तविकता: शोध पत्र ने पाया कि यह 85% का स्कोर एक झूठ है। यह सिक्का उछालने जैसा है। यदि आप एक सिक्का 100 बार उछालते हैं, तो आप केवल संयोग से लगभग 50% बार 'हेड्स' प्राप्त करेंगे। यदि परीक्षण आसान है, तो आप केवल अनुमान लगाकर 85% सही हो सकते हैं।
निष्कर्ष: जब शोधकर्ताओं ने "भाग्य" को ठीक किया (कोहेन के $\kappa$ नामक एक गणितीय उपकरण का उपयोग करके), तो स्कोर नाटकीय रूप से गिर गया। एक AI जो 85% स्कोर के साथ जीनियस दिख रहा था, भाग्य के कारक को हटाने के बाद वास्तव में केवल एक "मध्यम" स्तर (लगभग 48%) पर प्रदर्शन कर रहा था।
उपमा: यह उस छात्र की तरह है जिसे 'A' ग्रेड मिलता है क्योंकि शिक्षक ने गलती से पूरी कक्षा को उत्तर कुंजी (answer key) दे दी। छात्र बुद्धिमान दिखता है, लेकिन उसने वास्तव में कुछ सीखा नहीं है। शोध पत्र इसे "Kappa Deflation" कहता है—अच्छा दिखने और वास्तव में अच्छा होने के बीच का अंतर।

2. "बदलती रेत" वाली रैंकिंग (Rank Instability)

समस्या: आप सोच सकते हैं कि "सर्वश्रेष्ठ" AI न्यायाधीश हर चीज़ में सर्वश्रेष्ठ होता है।
वास्तविकता: रैंकिंग पूरी तरह से बदल जाती है, यह इस पर निर्भर करता है कि आप उनसे क्या निर्णय लेने के लिए कहते हैं।
निष्कर्ष: शोधकर्ताओं ने न्यायाधीशों का तीन अलग-अलग प्रकार के कार्यों (जैसे गणित, रचनात्मक लेखन और सामान्य चैट) पर परीक्षण किया। एक मॉडल जो एक परीक्षण पर नंबर 1 पर था, वह दूसरे पर नंबर 15 पर गिर सकता है। कुछ मॉडल 14 स्थानों तक खिसक गए!
उपमा: कल्पना कीजिए कि एक धावक है जो ट्रैक पर दुनिया में सबसे तेज़ है, लेकिन तैराकी में बहुत खराब है। यदि आप केवल ट्रैक पर उसका परीक्षण करते हैं, तो आप उसे "दुनिया का सर्वश्रेष्ठ एथलीट" कहते हैं। लेकिन यदि आप तैराकी में उसका परीक्षण करते हैं, तो वह सबसे अंत में आता है। शोध पत्र ने पाया कि कोई एक एकल "दुनिया का सर्वश्रेष्ठ AI न्यायाधीश" नहीं है। आपको उन्हें उस विशिष्ट कार्य के लिए परखना होगा जो वे वास्तव में करेंगे।

3. "लूप पर अटकी रोबोट" का विरोधाभास (Consistency vs. Bias)

समस्या: डेवलपर्स "निरंतरता" (Consistency) को पसंद करते हैं। वे एक ऐसा न्यायाधीश चाहते हैं जो एक ही प्रश्न पूछने पर हर बार एक ही उत्तर दे।
वास्तविकता: शोध पत्र ने एक खतरनाक जाल पाया। कुछ न्यायाधीश अत्यंत सुसंगत (consistent) थे, लेकिन वे गलत तरीके से सुसंगत थे।
निष्कर्ष: दो लोकप्रिय न्यायाधीश 99% सुसंगत थे (वे हमेशा एक ही उत्तर देते थे), लेकिन वे अत्यधिक पक्षपाती भी थे। वे हमेशा उस उत्तर को प्राथमिकता देते थे जो पहले स्थान पर आता था (Position A), बजाय उस उत्तर के जो दूसरे स्थान पर आता था (Position B), चाहे वास्तव में कौन सा बेहतर हो।
उपमा: एक फुटबॉल मैच में रेफरी की कल्पना करें जो 100% सुसंगत है: हर बार जब गेंद गोल के पास जाती है, तो वह सीटी बजाता है। वे बहुत विश्वसनीय हैं! लेकिन वे 100% बार गलत भी हैं क्योंकि वे केवल शोर पर प्रतिक्रिया दे रहे हैं, खेल पर नहीं। शोध पत्र इसे "Consistency-Bias Paradox" कहता है। उच्च विश्वसनीयता का अर्थ उच्च गुणवत्ता नहीं है।

4. "शब्द गणना" का मिथक (Verbosity Bias)

समस्या: अतीत में, लोगों को डर था कि AI न्यायाधीश केवल लंबे उत्तर को चुन लेंगे, यह सोचकर कि "लंबा मतलब बेहतर"।
वास्तविकता: शोध पत्र ने पाया कि इन आधुनिक न्यायाधीशों के लिए, यह अब वास्तव में समस्या नहीं है।
निष्कर्ष: लंबे उत्तरों के प्रति पूर्वाग्रह बहुत कम (लगभग शून्य) था।
उपमा: यह उस शिक्षक की तरह था जो किसी को भी 'A' ग्रेड दे देता था जिसने 10 पन्नों का निबंध लिखा हो, भले ही वह बकवास हो। अब, न्यायाधीश इतने स्मार्ट हैं कि वे लंबाई को अनदेखा कर सकें और वास्तव में सामग्री को पढ़ सकें। शोध पत्र सुझाव देता है कि हम इस विशिष्ट मुद्दे के बारे में चिंता करना बंद कर सकते हैं।

नया नियम पुस्तिका (Minimum Viable Validation Protocol)

इन निष्कर्षों के कारण, लेखक एक चेकलिस्ट प्रस्तावित करते हैं कि यदि कोई AI न्यायाधीश का उपयोग करना चाहता है तो उसे क्या करना चाहिए। इससे पहले कि आप उन्हें काम पर रखें, आपको:

भाग्य की जाँच करें: केवल कच्चे स्कोर (raw score) को न देखें। पूछें, "इसमें से कितना केवल संयोग है?" (सुधारित गणित का उपयोग करें)।
क्रम बदलें: उत्तरों का क्रम बदलकर (पहले उत्तर A, फिर उत्तर B) हमेशा न्यायाधीश का परीक्षण करें। यदि वे क्रम के आधार पर अपना निर्णय बदलते हैं, तो वे पक्षपाती हैं।
दो बार परीक्षण करें: यह देखने के लिए कि क्या वे वास्तव में सुसंगत हैं, एक ही परीक्षण को कई बार चलाएं।
विभिन्न विषयों पर परीक्षण करें: उन्हें केवल एक प्रकार के प्रश्न पर न परखें। यदि वे गणित में अच्छे हैं, तो लेखन पर भी उनका परीक्षण करें।
विरोधाभास पर नज़र रखें: यदि कोई न्यायाधीश बहुत सुसंगत है लेकिन उसमें उच्च पूर्वाग्रह (bias) है, तो उन्हें काम पर न रखें। वे केवल एक टूटे हुए रिकॉर्ड की तरह हैं, एक बुद्धिमान न्यायाधीश की तरह नहीं।

संक्षेप में: शोध पत्र चेतावनी देता है कि AI न्यायाधीशों को परखने का वर्तमान तरीका त्रुटिपूर्ण है। यह उन्हें वास्तव में जितना स्मार्ट और विश्वसनीय है, उससे कहीं अधिक स्मार्ट और विश्वसनीय दिखाता है। सच्चाई जानने के लिए, हमें "भाग्यशाली अनुमानों" को गिनना बंद करना होगा और छिपे हुए पूर्वाग्रहों और निरंतरता के जाल की जांच शुरू करनी होगी।

तकनीकी सारांश: वैधता के बिना विश्वसनीयता

समस्या विवरण

"LLM-as-a-Judge" (LLMaJ) प्रतिमान (paradigm) बड़े भाषा मॉडलों (LLMs) के मूल्यांकन के लिए प्रमुख विधि बन गया है, जिसे सैकड़ों उत्पादन पाइपलाइनों में तैनात किया गया है। हालाँकि, इन जजों का सत्यापन मुख्य रूप से सटीक-मिलान सहमति (exact-match agreement) पर निर्भर करता है, एक ऐसा मीट्रिक जो संयोगवश होने वाली सहमति (chance agreement) को सुधारने में विफल रहता है। यह निर्भरता जजों की विभेदक क्षमता (discriminative ability) को व्यवस्थित रूप से बढ़ा-चढ़ाकर दिखाती है। इसके अलावा, मौजूदा सत्यापन प्रथाओं में अक्सर मेटा-मूल्यांकन मानकों की कमी होती है, जिससे प्रॉम्प्ट्स के बीच निरंतरता, व्यवस्थित स्कोरिंग पूर्वाग्रह (जैसे स्थिति और शब्द-बहुलता पूर्वाग्रह), और कमजोर डोमेन-विशिष्ट अंशांकन (calibration) से संबंधित अनसुलझे मुद्दे उत्पन्न होते हैं। पूर्व के कार्यों ने इन विफलता मोडों को प्रलेखित किया है, लेकिन विविध मॉडल परिवारों और पीढ़ियों में बड़े पैमाने पर, क्रॉस-बेंचमार्क, मल्टी-प्रोटोकॉल मूल्यांकन नहीं किया है।

कार्यप्रणाली (Methodology)

लेखक LLM-as-a-Judge का अब तक का सबसे बड़ा व्यवस्थित मूल्यांकन प्रस्तुत करते हैं, जिसमें शामिल हैं:

विषय (Subjects): 9 प्रदाताओं से 21 सामान्य-उद्देश्य वाले LLM जज, जिन्हें तीन क्षमता स्तरों में वर्गीकृत किया गया है (स्तर 1: व्यापक रूप से तैनात उत्पादन जज; स्तर 2: लागत-सचेत मॉडल; स्तर 3: अप्रैल 2026 के फ्रंटियर और ओपन-सोर्स सिस्टम)।
बेंचमार्क (Benchmarks): तीन अलग-अलग बेंचमार्क का उपयोग किया गया:
- MT-Bench: विशेषज्ञ मानव निर्णयों (वरीयता-आधारित) के साथ 2,391 युग्म तुलनाएँ (pairwise comparisons)।
- JudgeBench: वस्तुनिष्ठ शुद्धता (गणित, कोडिंग, रचनात्मक लेखन, विश्लेषण) के लिए लेबल किए गए 350 आइटम।
- RewardBench: प्रति-आइटम स्थिति रैंडमाइजेशन के साथ 2,981 'चुने गए बनाम अस्वीकृत' जोड़े।
प्रोटोकॉल (Protocols): 118 रन पर तीन मूल्यांकन प्रोटोकॉल लागू किए गए, जिससे लगभग 541,000 व्यक्तिगत निर्णय उत्पन्न हुए:
1. सहमति प्रोटोकॉल (Agreement Protocol): मानव लेबल के साथ तुलना के लिए प्रति आइटम एक एकल निर्णय, जिसमें कोहेन का $\kappa$ (Cohen's $\kappa$ ), क्रिपेंडोर्फ का $\alpha$ (Krippendorff's $\alpha$ ), और टाई-वर्जित सटीक मिलान (tie-excluded exact match) रिपोर्ट किया गया।
2. निरंतरता प्रोटोकॉल (Consistency Protocol): AB और BA क्रमों में दोनों में $N \in [3, 5]$ स्वतंत्र रन (कैशिंग अक्षम करने के साथ) ताकि टेस्ट-रीटेस्ट विश्वसनीयता, स्व-निरंतरता और स्थिति फ्लिप दर को मापा जा सके।
3. बायस-ऑडिट प्रोटोकॉल (Bias-Audit Protocol): स्थिति पूर्वाग्रह और शब्द-बहुलता (verbosity) पूर्वाग्रह को मापने के लिए युग्मित AB+BA मूल्यांकन और रिस्पॉन्स-लेंथ विश्लेषण।
मीट्रिक्स (Metrics): अध्ययन कच्चे मिलान के अति-प्रदर्शन को मात्रात्मक रूप से मापने के लिए कप्पा डिफ्लेशन (Kappa Deflation) ( $\Delta\kappa = \text{Exact Match} - \kappa$ ) को पेश करता है, और निरंतरता-पूर्वाग्रह विरोधाभास (Consistency–Bias Paradox) को उच्च टेस्ट-रीटेस्ट विश्वसनीयता और गंभीर स्थिति पूर्वाग्रह के सह-अस्तित्व के रूप में परिभाषित करता है।

मुख्य निष्कर्ष

चार प्राथमिक निष्कर्ष सामने आए, जो फ्रंटियर मॉडलों सहित पूरे समूह में सुसंगत हैं:

सार्वभौमिक कप्पा डिफ्लेशन (Universal Kappa Deflation): कच्चे सटीक-मिलान स्कोर सार्वभौमिक रूप से संयोग-संशोधित विभेदक क्षमता को बढ़ा-चढ़ाकर दिखाते हैं। MT-Bench पर, सभी 21 मॉडलों में सटीक मिलान और कोहेन के $\kappa$ के बीच का अंतर 33.8 से 41.3 प्रतिशत अंक (समूह माध्य: 38.6 pp) है। यह डिफ्लेशन बेंचमार्क के लेबल वितरण द्वारा संचालित है; MT-Bench (संतुलित त्रिपद/ternary) सबसे बड़ा डिफ्लेशन दिखाता है, जबकि RewardBench (बाइनरी) सबसे छोटा (10.2 pp) दिखाता है।
क्रॉस-बेंचमार्क रैंक अस्थिरता (Cross-Benchmark Rank Instability): जज रैंकिंग हस्तांतरणीय नहीं हैं। मॉडल बेंचमार्क केAcross 14 स्थानों तक खिसक जाते हैं। उदाहरण के लिए, Llama 3.3 70B MT-Bench पर रैंक 5 से खिसककर JudgeBench पर रैंक 20 पर आ गया। केवल दो मॉडल (Gemini 3.1 Pro और Claude Opus 4.6) ही तीनों बेंचमार्क में शीर्ष-तीन स्थिति बनाए रखने में सफल रहे। यह अस्थिरता MT-Bench के "सीलिंग इफेक्ट" (ceiling effect) के कारण बढ़ जाती है, जो $\kappa$ के प्रसार को JudgeBench के 60.4 pp की तुलना में 13.5 pp तक संकुचित कर देता है।
निरंतरता-पूर्वाग्रह विरोधाभास (The Consistency–Bias Paradox): उच्च टेस्ट-रीटेस्ट विश्वसनीयता ( $\alpha > 0.95$ ) गंभीर स्थिति पूर्वाग्रह ( $> 0.10$ ) के साथ सह-अस्तित्व में हो सकती है। दो उत्पादन-तैनात जज, Qwen 3 8B (टेस्ट-रीटेस्ट 0.992, स्थिति पूर्वाग्रह 0.192) और Gemini 2.5 Flash (टेस्ट-रीटेस्ट 0.988, स्थिति पूर्वाग्रह 0.125), इसका उदाहरण हैं। ये मॉडल अत्यधिक पुनरुत्पादनीय (reproducible) आउटपुट उत्पन्न करते हैं जो एक विशिष्ट रिस्पॉन्स ऑर्डर के प्रति व्यवस्थित रूप से पक्षपाती हैं, जो उन्हें अत्यधिक विश्वसनीय लेकिन अमान्य (invalid) बनाता है।
कम हुआ वर्बोसिटी बायस (Reduced Verbosity Bias): एक एकल युग्म रूब्रिक (pairwise rubric) के तहत, वर्बोसिटी बायस को पूरे समूह में नगण्य पाया गया, जिसमें सभी 21 मॉडलों ने पियर्सन सहसंबंध (Pearson correlation) 0.011 से नीचे दर्ज किया। यह 2023 के साहित्य के विपरीत है जो 20-40% के विचरण की रिपोर्ट करता है।

अन्य अवलोकन शामिल हैं:

स्थिति पूर्वाग्रह विषमता (Position Bias Heterogeneity): रीजनिंग और फ्रंटियर मॉडल आमतौर पर लागत-अनुकूलित मॉडलों की तुलना में कम स्थिति पूर्वाग्रह प्रदर्शित करते हैं, हालांकि फैमिली-वार विषमता महत्वपूर्ण है (जैसे, Gemini 2.5 Pro 0.002 बनाम Gemini 2.5 Flash 0.125)।
बेंचमार्क विभेदन क्षमता (Benchmark Discriminability): JudgeBench, MT-Bench की तुलना में 4.5 $\times$ अधिक तीव्रता से भेदभाव करता है, जो सुझाव देता है कि MT-Bench मजबूत जजों के बीच सार्थक गुणवत्ता अंतर को संकुचित कर देता है।

प्रस्तावित प्रोटोकॉल: न्यूनतम व्यवहार्य सत्यापन (Minimum Viable Validation Protocol - MVVP)

इन निष्कर्षों के आधार पर, लेखक LLM जजों को तैनात करने के लिए एक न्यूनतम व्यवहार्य सत्यापन प्रोटोकॉल का प्रस्ताव करते हैं:

चांस-करेक्ट (Chance-Correct): सटीक मिलान के साथ कोहेन का $\kappa$ (या क्रिपेंडोर्फ का $\alpha$ ) रिपोर्ट करें, मुख्य विश्वसनीयता संख्या के रूप में संशोधित मीट्रिक को मानें।
स्थितियाँ बदलें (Swap Positions): युग्मित AB+BA मूल्यांकन के माध्यम से स्थिति पूर्वाग्रह को मापें।
पुनरावृत्ति (Replicate): कैशिंग अक्षम करके तापमान 0 पर $\ge 3$ स्वतंत्र रन के माध्यम से टेस्ट-रीटेस्ट विश्वसनीयता मापें।
क्रॉस-वैलिडेट (Cross-Validate): वरीयता-शैली और शुद्धता-शैली लेबल वितरण वाले $\ge 2$ बेंचमार्क पर मूल्यांकन करें।
विरोधाभास का ऑडिट करें (Audit the Paradox): यदि टेस्ट-रीटेस्ट 0.95 से अधिक है, तो विश्वसनीयता का दावा करने से पहले सत्यापित करें कि स्थिति पूर्वाग्रह 0.10 से नीचे है।

महत्व और दावे

यह पत्र दावा करता है कि यह मॉडल पीढ़ियों के बीच जज विश्वसनीयता का पहला बड़े पैमाने पर, मल्टी-प्रोटोकॉल मूल्यांकन प्रदान करता है। इसका महत्व है:

मीट्रिक गलत व्याख्या को सुधारना: यह प्रदर्शित करना कि MT-Bench पर 80-85% की सीमा में सटीक-मिलान स्कोर मध्यम विभेदक क्षमता ( $\kappa \approx 0.48$ ) दर्शाते हैं, न कि लगभग पूर्ण प्रदर्शन।
एक महत्वपूर्ण विफलता मोड की पहचान करना: "निरंतरता-पूर्वाग्रह विरोधाभास" को औपचारिक रूप देना, यह दिखाना कि उच्च पुनरुत्पादकता वैधता की गारंटी नहीं देती है और नियत (deterministic) पूर्वाग्रहों को छिपा सकती है।
एक आधार रेखा स्थापित करना: ~541,000 निर्णयों का एक डेटासेट और एक मानकीकृत प्रोटोकॉल प्रदान करना जो भविष्य के जज मूल्यांकनों के लिए एक स्थिर आधार रेखा के रूप में कार्य करे।
व्यावहारिक मार्गदर्शन: एक ठोस, कार्रवाई योग्य प्रोटोकॉल (MVVP) प्रदान करना ताकि उन जजों को तैनात करने से रोका जा सके जो स्थिर तो हैं लेकिन व्यवस्थित रूप से पक्षपाती हैं।

लेखक सीमाओं का भी उल्लेख करते हैं, जिनमें अंग्रेजी टेक्स्ट-ओनली बेंचमार्क पर ध्यान केंद्रित करना, मूल्यांकन की स्नैपशॉट प्रकृति (मार्च-अप्रैल 2026), और एक एकल युग्म रूब्रिक का उपयोग शामिल है, और चेतावनी देते हैं कि बिना आगे के मापन के मल्टीमॉडल, बहुभाषी, या विभिन्न रूब्रिक सेटिंग्स पर इन निष्कर्षों का विस्तार न किया जाए।