💬 NLP
A Two-Phase Stability Study of LLM Judges and Bar Council Examiners on Thai Bar-Exam Free-Form Essays
यह अध्ययन प्रकट करता है कि जहाँ स्पष्ट रूब्रिक्स वाले थाई बार-परीक्षा निबंधों पर एलएलएम (LLM) निर्णायक और मानव परीक्षक अभिसरित होते हैं, वहीं एलएलएम अस्पष्ट मामलों में अल्पसंख्यक मानव व्याख्या को पुनरुत्पादित करने में व्यवस्थित रूप से विफल रहते हैं, बल्कि इसके बजाय वे समान रूप से बहुमत मानव दृष्टिकोण के साथ संरेखित हो जाते हैं और इस प्रकार विशेषज्ञ असहमति के पूर्ण स्पेक्ट्रम को पकड़ने की अपनी अक्षमता को छिपा देते हैं।