Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory
यह शोध पत्र आइटम रिस्पॉन्स थ्योरी के ग्रेडेड रिस्पॉन्स मॉडल पर आधारित एक दो-चरणीय नैदानिक ढांचे को प्रस्तुत करता है, जो प्रॉम्प्ट विविधताओं के तहत इसकी अंतर्निहित निरंतरता और मानव गुणवत्ता मूल्यांकन के साथ इसके संरेखण का मूल्यांकन करके 'एलएलएम-एज़-अ-जज' (LLM-as-a-Judge) की विश्वसनीयता का व्यवस्थित रूप से आकलन करता है।