When LLM Judge Scores Look Good but Best-of-N Decisions Fail
यह शोध पत्र यह प्रदर्शित करता है कि बेस्ट-ऑफ-एन (best-of-n) चयन कार्यों के लिए एलएलएम (LLM) जजों का मूल्यांकन करने हेतु वैश्विक सहसंबंध मेट्रिक्स (global correlation metrics) पर निर्भर रहना भ्रामक है, क्योंकि उच्च वैश्विक स्कोर अक्सर खराब इन-प्रॉम्प्ट रैंकिंग प्रदर्शन और अत्यधिक टाई दरों को छिपा देते हैं, जिन्हें स्पष्ट युग्मवार निर्णय (explicit pairwise judging) का उपयोग करके महत्वपूर्ण रूप से सुधारा जा सकता है।