Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
本研究は、現在の生成AIモデルは高い内部安定性を示す一方で、人間の評価者との一致度は低く、系統的な厳格性のバイアスや特定のルーブリック規則の適用における失敗が見られることを明らかにしており、それゆえに、これらは結果が重大な影響を及ぼすEFLライティング評価において、自律的な代替手段としてではなく、監視下での不一致をトリガーとした支援として用いるのが最適であることを示唆している。