LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation
यह शोध पत्र एक "जज डेटाशीट" प्रोटोकॉल प्रस्तुत करता है जो LLM-as-a-judge प्रणालियों को केवल साधारण स्कोरिंग उपकरणों के बजाय माप उपकरणों (measurement instruments) के रूप में मानता है, और डाउनस्ट्रीम दावों को करने से पहले विश्वसनीय मूल्यांकन सुनिश्चित करने के लिए "डार्क करंट" और स्थितिजन्य वरीयता (positional preference) जैसे विशिष्ट पूर्वाग्रहों को मापने हेतु एक साइकोमेट्रिक ढांचे का प्रस्ताव करता है।