Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory

तकनीकी सारांश: आइटम रिस्पॉन्स थ्योरी (IRT) के माध्यम से LLM-as-a-Judge की विश्वसनीयता का निदान करना

1. समस्या विवरण (Problem Statement)

स्वचालित मूल्यांकनकर्ताओं ("LLM-as-a-Judge") के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) के व्यापक उपयोग ने सत्यापन प्रथाओं में एक महत्वपूर्ण अंतराल पैदा कर दिया है। मौजूदा विधियाँ मुख्य रूप से देखे गए आउटपुट (जैसे, अंतिम स्कोर या असतत निर्णय) के स्तर पर कार्य करती हैं, जो इस बात की सीमित अंतर्दृष्टि प्रदान करती हैं कि क्या LLM जज स्वयं एक स्थिर और विश्वसनीय मापन उपकरण के रूप में कार्य करता है। वर्तमान दृष्टिकोण अक्सर आंतरिक निरंतरता (प्रॉम्प्ट विविधताओं के तहत स्थिरता) और मानव संरेखण (मानव मूल्यांकन के साथ पत्राचार) को अलग-अलग चिंताओं के रूप में देखते हैं, जो एग्रीगेट मेट्रिक्स जैसे कि इंटर-रेटर एग्रीमेंट या सहसंबंध गुणांकों पर निर्भर करते हैं। ये मेट्रिक्स जज के स्थिर मापन गुणों को मूल्यांकित किए गए नमूनों से प्रेरित विविधताओं से अलग करने में विफल रहते हैं, जिससे अनreliability (अविश्वसनीयता) का स्रोत (जैसे, प्रॉम्प्ट संवेदनशीलता बनाम मौलिक मॉडल सीमाएं) निदानहीन रह जाता है।

2. कार्यप्रणाली (Methodology)

लेखक आइटम रिस्पॉन्स थ्योरी (IRT) पर आधारित एक एकीकृत नैदानिक ढांचे का प्रस्ताव करते हैं, विशेष रूप से ग्रेडेड रिस्पॉन्स मॉडल (GRM) का उपयोग करते हुए। यह दृष्टिकोण प्रॉम्प्ट विविधताओं को "आइटम" के रूप में और मूल्यांकन विषय के गुप्त गुण को एक गुप्त लक्षण ($\theta$) के रूप में मानता है।

मुख्य घटक:

• ग्रेडेड रिस्पॉन्स मॉडल (GRM): ढांचा एक प्रॉम्प्ट भिन्नता $p$ के दिए जाने पर विषय $j$ को स्कोर $k$ या उससे अधिक स्कोर देने की प्रायिकता को मॉडल करता है:
  $$P(Y_{pj} \ge k | \theta_j) = \frac{1}{1 + \exp(-\alpha_p(\theta_j - \beta_{pk}))}$$
  यहाँ, $\theta_j$ विषय के वास्तविक गुप्त गुण को दर्शाता है, $\alpha_p$ प्रॉम्प्ट भिन्नता के लिए विभेदन पैरामीटर (discrimination parameter) है, और $\beta_{pk}$ थ्रेशोल्ड पैरामीटर हैं। इस मॉडल को फिट करके, ढांचा गुप्त गुणवत्ता ($\theta$) को प्रॉम्प्ट-विशिष्ट प्रभावों ($\alpha, \beta$) से अलग करता है।
• दो-चरणीय नैदानिक प्रक्रिया:
  • चरण 1: आंतरिक निरंतरता (Intrinsic Consistency): यह मूल्यांकन करता है कि क्या जज मानव संदर्भ के स्वतंत्र रूप से एक विश्वसनीय उपकरण के रूप में कार्य करता है। यह स्थिरता का परीक्षण करने के लिए तीन न्यूनतम प्रॉम्प्ट परिवर्तनों (टाइपो, न्यूलाइन, पैराफ्रेस) का उपयोग करता है।
    • *मेट्रिक 1: प्रॉम्प्ट निरंतरता ($CV$):* प्रॉम्प्ट वेरिएंट्स के बीच गुप्त गुणवत्ता अनुमानों ($\theta$) का कोएफिशिएंट ऑफ वेरिएशन। कम मान अधिक क्लस्टरिंग और उच्च स्थिरता का संकेत देते हैं।
    • मेट्रिक 2: मार्जिनल रिलायबिलिटी ($\rho$): यह वास्तविक गुणवत्ता अंतर बनाम अनुमान अनिश्चितता के कारण $\theta$ में होने वाले वेरिएंस के अनुपात को मापता है।
  • चरण 2: मानव संरेखण (Human Alignment): केवल तभी लागू किया जाता है जब चरण 1 के मानदंड पूरे हो जाते हैं। यह LLM द्वारा अनुमानित गुप्त गुणवत्ता वितरण की तुलना मानव एनोटेटरों के साथ करता है।
    • मेट्रिक 3: विभेदन विस्तार अनुपात ($\theta_{ratio}$): हाइपरसेंसिटिविटी (हाइपर-संवेदनशीलता, $\theta_{ratio} < 1$) या असंवेदनशीलता ($\theta_{ratio} > 1$) का पता लगाने के लिए LLM और मनुष्यों के बीच गुप्त गुणवत्ता अनुमानों की सीमा की तुलना करता है।
    • मेट्रिक 4: वासेरस्टीन डिस्टेंस ($D_W$): LLM और मानव $\theta$ अनुमानों के बीच वितरण संबंधी विचलन को मापता है, जो स्थान परिवर्तन (location shifts) और आकार के अंतर दोनों को कैप्चर करता है।

प्रायोगिक सेटअप (Experimental Setup):
इस ढांचे को सात LLM जजों (Gemini 2.5 Flash, GPT-4o, Qwen3, और LLaMA-4 वेरिएंट सहित) पर विविध बेंचमार्क में लागू किया गया: NLP कार्य (SummEval, TopicalChat, HelpSteer-2) और विजन-लैंग्वेज कार्य (ImageHub पर VIEScore)।

3. मुख्य योगदान (Key Contributions)

• IRT-आधारित ढांचा: LLM जज की विश्वसनीयता को निदान करने के लिए IRT-GRM के पहले अनुप्रयोग को पेश करता है, जो विश्लेषण को परिणाम-स्तर के स्कोर से बदलकर अंतर्निहित गुप्त संकेतों की ओर ले जाता है।
• विच्छेदित विश्वसनीयता आयाम (Decoupled Reliability Dimensions): एक क्रमिक नैदानिक दृश्य प्रदान करता है जो जज की आंतरिक मापन स्थिरता (चरण 1) और मानव कंस्ट्रक्ट्स के साथ इसके संरेखण (चरण 2) के बीच अंतर करता है।
• व्याख्यात्मक संकेत (Interpretable Signals): चार विशिष्ट मेट्रिक्स ($CV, \rho, \theta_{ratio}, D_W$) प्रदान करता है जो विशिष्ट विफलता मोड (जैसे, प्रॉम्प्ट संवेदनशीलता बनाम रेटिंग स्केल अपर्याप्तता बनाम कंस्ट्रक्ट वैलिडिटी गैप) की पहचान करने के लिए कार्रवाई योग्य मार्गदर्शन देते हैं।
• अनुभवजन्य निदान (Empirical Diagnostics): यह प्रदर्शित करता है कि विश्वसनीयता समान नहीं होती; यह मोडैलिटी, मॉडल स्केल और विशिष्ट मूल्यांकन मानदंडों के आधार पर काफी भिन्न होती है।

4. मुख्य परिणाम (Key Results)

• आंतरिक निरंतरता (चरण 1):
  • मोडैलिटी: विजन-लैंग्वेज जजों (VIEScore) ने उच्च मार्जिनल रिलायबिलिटी ($\rho$) प्राप्त करने के बावजूद, NLP जजों की तुलना में काफी अधिक प्रॉम्प्ट संवेदनशीलता ($CV$) प्रदर्शित की। यह सुझाव देता है कि विजन जज एक बार प्रॉम्प्ट फिक्स होने के बाद स्थिर होते हैं लेकिन शब्दों के चयन के प्रति अत्यधिक संवेदनशील होते हैं।
  • स्केलिंग: बड़े मॉडलों ने आमतौर पर NLP कार्यों में बेहतर प्रॉम्प्ट मजबूती दिखाई, लेकिन विजन कार्यों में लगातार ऐसा नहीं देखा गया।
  • कार्य विशिष्टता: समराइजेशन (सारांशीकरण) कार्य सबसे स्थिर थे, जबकि TopicalChat में "समझने की क्षमता" (Understandability) ने सभी मॉडलों में सबसे कम विश्वसनीयता दिखाई।
  • एब्लेशन (Ablation): विस्तृत निर्देशों और चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग ने प्रॉम्प्ट निरंतरता ($CV$) में काफी सुधार किया, जबकि रेटिंग स्केल (जैसे, 5-पॉइंट बनाम 7-पॉइंट) को समायोजित करने का मार्जिनल रिलायबिलिटी ($\rho$) पर अधिक प्रभाव पड़ा।
• मानव संरेखण (चरण 2):
  • कैलिब्रेशन बनाम वैधता: NLP कार्यों में, LLMs अक्सर "कैलिब्रेशन मिसमैच" (मनुष्यों के सापेक्ष समानांतर लेकिन स्केल की गई प्रक्षेपवक्र) प्रदर्शित करते हैं। इसके विपरीत, विजन-लैंग्वेज कार्यों में अक्सर गैर-मोनोटोनिक पैटर्न और शून्य के करीब सहसंबंध देखा गया, जो एक कंस्ट्रक्ट वैलिडिटी गैप की ओर संकेत करता है जहाँ VLMs उन गुणवत्ता पहलुओं का मूल्यांकन कर सकते हैं जो मनुष्यों से भिन्न हैं।
  • विभेदन विस्तार (Discrimination Breadth): अधिकांश LLMs ने $\theta_{ratio} > 1$ प्रदर्शित किया, जो इंगar करता है कि वे मनुष्यों की तुलना में गुणवत्ता के अंतर को अधिक व्यापक रूप से देखते हैं (चरम सीमाओं के प्रति अधिक संवेदनशील हैं), विशेष रूप से विजन कार्यों में।
  • वितरण संरेखण: HelpSteer-2 Coherence ने मानव निर्णयों के साथ निकटतम संरेखण दिखाया, जबकि VIEScore कार्यों ने उच्चतम विचलन दिखाया।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह LLM जज की विश्वसनीयता को निदान करने के लिए एक सिद्धांतिक उपकरण प्रदान करता है, जो सरल सहमति मेट्रिक्स से आगे बढ़कर अनreliability के स्रोत की पहचान करता है। आंतरिक निरंतरता को मानव संरेखण से अलग करके, यह ढांचा चिकित्सकों को यह निर्धारित करने में मदद करता है:

1. क्या एक जज मौलिक रूप से अस्थिर (कम $\rho$) है या केवल प्रॉम्प्ट वाक्यांश के प्रति संवेदनशील (उच्च $CV$) है।
2. क्या मनुष्यों के साथ विसंगतियां एक साधारण स्केलिंग समस्या (कैलिब्रेशन मिसमैच) से उत्पन्न होती हैं या जो मापा जा रहा है उसमें गहरे मिसअलाइनमेंट (वैलिडिटी गैप) से।

लेखक जोर देते हैं कि उनका ढांचा वर्तमान में पॉइंट-स्केल (रेटिंग-आधारित) निर्णयों तक सीमित है और पेयरवाइज (pairwise) या ओपन-एंडेड मूल्यांकन तक विस्तारित नहीं है। वे यह भी नोट करते हैं कि अध्ययन अंग्रेजी टेक्स्ट और एकल विजन मोडैलिटी पर केंद्रित है, जिससे बहुभाषी और व्यापक मल्टीमॉडल सामान्यीकरण भविष्य का कार्य बन जाता है। प्राथमिक योगदान यह सत्यापित करने की नैदानिक क्षमता है कि कब और क्यों एक LLM जज को मापन उपकरण के रूप में भरोसेमंद माना जा सकता है।