Can AI replace Teachers? Comparing AI and Human Teachers’ ratings and feedback on students’ essays

기술 요약: AI가 교사를 대체할 수 있는가? 학생 에세이에 대한 AI와 인간 교사의 채점 및 피드백 비교

문제 제기
교육 분야에서의 인공지능(AI) 통합은 특히 학생의 글쓰기 평가에 있어 AI가 인간 교육자를 대체할 가능성에 대한 논쟁을 불러일으켰다. AI는 더 빠르고 객적이며 시간 효율적인 에세이 채점을 약속하지만, 언어적 뉘앙스, 맥락 및 교육적 적절성을 파악하는 능력에 대한 우려가 지속되고 있다. 기존 문헌은 주로 학술적 정직성이나 일반적인 신뢰성에 초점을 맞추고 있으며, 필리핀과 같은 다양한 맥락에서 영어 제2외국어(ESL) 학습자를 대상으로 인간 평가자와 AI 평가자가 구체적으로 어떻게 피드백과 점수를 구성하는지를 조사하는 비교 연구는 제한적이다. 본 연구는 인간과 AI 평가자 간의 일관성을 조사하고, 각 평가자가 제공하는 피드백의 독특한 초점과 방식을 분석함으로써 이 공백을 메우고자 한다.

연구 방법론
본 연구는 필리핀 호세 리잘 기념 주립 대학교(Jose Rizal Memorial State University)의 ESL 학생 20명을 대상으로 양적-질적 비교 설계를 채택하였다. 참가자들은 사전 채점된 점수를 바탕으로 고득점 및 저득점 에세이가 혼합되도록 층화 추출법을 통해 선정되었다.

• 평가자: 세 명의 인간 평가자(석사 학위 소지자 및 5년 이상의 교육 경력 보유)와 세 가지 AI 도구(ChatGPT 3.5, CiCi, Bing AI)가 에세이를 평가하였다.
• 도구: Carroll과 West(1989)를 변형하여 검증된 루브릭을 사용하였으며, 내용, 조직, 언어 사용, 기계적 요소(mechanics)의 네 가지 기준을 1~4점 척도로 평가하였다.
• 데이터 수집: 에세이를 텍스트로 변환하여 정교한 프롬프트를 통해 AI 도구에 제출하였다. 인간 평가자들은 동일한 에세이를 독립적으로 평가하였다.
• 분석:
  • 양적 분석: 인간 집단 내, AI 집단 내, 그리고 인간과 AI 집단 간의 평가자 간 신뢰도를 측정하기 위해 급내상관계수(ICC)를 사용하였다. 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)을 통해 인간과 AI 평가자의 평균 점수 사이에 유의미한 차이가 있는지 확인하였다.
  • 질적 분석: Jakobson(2022)의 모델에 기반한 내용 분석을 통해 피드백을 초점(예: 내용, 조직, 언어 정확성)과 방식(예: 정보 제공, 비판, 제안, 칭찬, 공손함)에 따라 분류하였다.

주요 결과

1. 채점 일관성 및 신뢰도:

   • 내부 신뢰도: 인간 평가자는 "우수함" 수준의 내부 일관성(전체 ICC = 0.815)을 보였다. AI 도구는 이보다 더 높은 내부 일관성(전체 ICC = 0.879)을 보여, 점수 기준을 더욱 균일하게 적용함을 시사했다.
   • 평가자 간 일치도 (인간 vs AI): 인간과 AI 평가자 간의 일치도는 "낮음"(전체 ICC = 0.353)으로 나타났으며, 이는 두 집단이 동일한 루브릭을 사용했음에도 불구하고 구체적인 점수를 부여하는 방식에서 밀접하게 일치하지 않았음을 의미한다.
   • 통계적 유의성: 낮은 상관관계에도 불구하고, 윌콕슨 부호 순위 검정 결과 모든 기준(내용, 조직, 언어, 기계적 요소)에서 인간과 AI 집단 간의 전체적인 채점 차이는 유의미하지 않았다. 두 집단 모두 일반적으로 유사한 범주적 평가( "보통"으로 해석됨)에 도달했으나, 인간 평가자가 약간 더 높은 평균 점수를 부여하는 경향이 있었다.

2. 피드백 초점:

   • 인간 평가자: 피드백은 주로 언어 정확성(문법, 철자, 기계적 요소)과 조직에 집중되었다. 주목할 점은, 시간 제약이나 선택적 우선순위 지정으로 인해 일부 에세이에는 인간 평가자의 의견이 전혀 남겨지지 않았다는 것이다.
   • AI 도구: AI는 내용, 조직, 언어 정확성, 일반적인 언어 사용을 포함한 더 넓은 범위의 영역에 대해 피드백을 제공했다. 결정적으로, AI는 누락된 의견 없이 모든 에세이에 대해 피드백을 제공했다.

3. 피드백 방식:

   • 인간 평가자: 피드백은 직접적이고 교정적이며 단정적이었으며, 오류를 식별하기 위해 간결한 선언적 문장(예: "병렬 구조 오류")을 자주 사용했다.
   • AI 도구: 피드백은 균형 잡히고 구조적이며 공손한 어조를 특징으로 했다. AI의 코멘트는 비판과 칭찬을 결합하는 방식(예: "명확하고 강한 논점이 있으나, 사소한 언어적 문제가 있습니다")을 취하며, 건설적이고 지원적인 태도를 지향했다.

주요 기여 및 주장
본 연구는 특정 생성형 AI 도구(ChatGPT 3.5, CiCi, Bing)를 숙련된 인간 교육자와 비교한 경험적 데이터를 제공한다. 본 연구는 AI와 인간 평가자가 통계적으로 유사한 전체 점수를 산출함에도 불구하고, 그들의 채점 패턴과 피드백 메커니즘은 현저히 다르다는 역설적인 발견을 강조한다.

본 논문은 현재의 AI 도구가 글쓰기 평가를 지원할 잠재력을 보여주지만, 인간 교사를 대체할 수는 없다고 주장한다. 저자들은 다음과 같이 결론짓는다:

• AI 도구는 일관되고 광범위하며 구조화된 피드백을 생성하여 교사의 업무량을 줄이는 데 효과적이다.
• 정확성, 맥락적 이해 및 교육적 적절성을 보장하기 위해 인간의 감독이 필수적이다.
• 최적의 접근 방식은 AI가 평가를 보조하고 예비 피드백을 제공하며, 인간 교육자가 점수를 검증하고 미묘한 교육적 지도를 제공하는 보완적 모델이다.

의의
본 연구는 AI를 인간의 판단을 대체하는 것이 아니라 지원하는 도구로 통합해야 할 필요성을 강조한다. 저자들은 기술 통합이 평가의 질을 저하시키지 않으면서 교육적 가치를 극대화할 수 있도록, AI 지원 피드백을 효과적으로 해석하고 활용하기 위한 교사 대상의 지속적인 전문성 개발을 권고한다. 본 연구의 결과는 AI가 채점의 기계적 측면과 광범위한 피드백 생성을 처리할 수 있지만, 교육 환경에서 요구되는 미묘한 평가를 수행하는 데 있어 인간적 요소는 대체 불가능함을 시사한다.