Bias and Uncertainty in LLM-as-a-Judge Estimation
यह शोध पत्र "LLM-as-a-Judge" मूल्यांकनों में व्यवस्थित पूर्वाग्रहों और विश्वसनीयता संबंधी जोखिमों की पहचान करता है, विशेष रूप से मॉडल तुलनाओं के लिए साझा अंशांकन (shared calibration) का उपयोग करते समय, और साइन-रिवर्ज़ल त्रुटियों जैसे विफलता मोड का पता लगाने के लिए नैदानिक मेट्रिक्स ( और ) के साथ रिपोर्टिंग दिशानिर्देश प्रस्तावित करता है।