Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
यह अध्ययन प्रकट करता है कि जबकि वर्तमान जनरेटिव एआई मॉडल उच्च आंतरिक स्थिरता प्रदर्शित करते हैं, वे मानव रेटर्स की तुलना में कम सहमति, व्यवस्थित गंभीरता पूर्वाग्रह और मानव डबल-मार्किंग की तुलना में विशिष्ट रूब्रिक नियमों को लागू करने में विफलता प्रदर्शित करते हैं, जो यह सुझाव देता है कि वे स्वायत्त प्रतिस्थापन के बजाय पर्यवेक्षित, विसंगति-ट्रिगर सहायता के लिए सबसे उपयुक्त हैं।