Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
본 연구는 현재의 생성형 AI 모델들이 높은 내부적 안정성을 보여주는 반면, 인간 채점자와의 일치도는 낮고 체계적인 심각도 편향을 보이며 인간의 이중 채점과 비교했을 때 특정 루브릭 규칙을 적용하는 데 실패한다는 점을 밝혀냈으며, 이는 해당 모델들이 결과가 중대한 EFL 작문 평가에서 자율적인 대체보다는 감독 하에 불일치가 발생했을 때 트리거되는 보조 도구로서 가장 적합함을 시사한다.