Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

언어 학습의 세계에서 학술적 에세이를 쓰는 것은 복잡한 행위입니다. 그것은 단순히 단어의 철자를 맞게 쓰거나 문법적 오류 없이 문장을 배열하는 것만이 아닙니다. 성공하기 위해서 학생은 또한 강력한 아이디어를 발전시키고, 그 아이디어들을 매끄럽게 연결하여 텍스트가 논리적으로 흐르게 하며, 학술적 대화의 진지하고 객관적인 기대치에 부합하는 어조를 채택해야 합니다. 수십 년 동안 교사들은 이러한 에세이를 공정하고 일관되게 채점하는 데 어려움을 겪어 왔습니다. 인간의 판단은 가치가 있지만, 속도가 느리고 비용이 많이 들며 피로에 취약하여, 동일한 과제에 대해 서로 다른 점수를 주는 결과를 초래할 수 있습니다. 이는 컴퓨터가 글을 자동으로 읽고 채점할 수 있게 해달라는 수요를 창출했습니다.

최근에는 대규모 언어 모델이라고 알려진 강력한 인공지능 시스템들이 등장했습니다. 이들은 대화를 나누거나, 이야기를 쓰거나, 질문에 답할 수 있는 것과 동일한 유형의 기술입니다. 이들은 인간의 언어를 매우 잘 이해할 수 있기 때문에, 연구자들은 이들이 인간처럼 공정하고 정확한 교사 역할을 수행하며 학생의 에세이를 채점할 수 있을지 궁금해하기 시작했습니다. 기계가 수천 명의 학생에게 즉각적인 피드백을 제공할 수 있다는 희망이었습니다. 그러나 결정적인 질문이 해결되지 않은 채 남아 있었습니다: 이 기계들이 실제로 무엇이 좋은 글인지를 이해하고 있는 것일까, 아니면 그저 적절해 보이는 숫자를 추측하고 있는 것일까? 이를 알아내기 위해, 연구자 페가 메리키(Pegah Merrikhi)는 현재 이용 가능한 가장 진보된 세 가지 AI 시스템을 인간 판단의 황금 표준에 맞서 테스트하기로 했습니다.

이 연구는 에세이의 품질을 네 가지 별개의 부분으로 나누는 LICA라고 불리는 특정 프레임워크에 초점을 맞추었습니다. 첫 번째 부분은 문법과 어휘를 살펴보는 언어(Language)입니다. 두 번째는 아이디어(Ideas)로, 논증이 얼마나 깊고 잘 뒷받침되는지를 측정합니다. 세 번째는 응집성(Cohesion)으로, 문장과 문단이 얼마나 잘 결합되는지를 확인합니다. 마지막 부분은 학술적 적절성(Academic Appropriateness)으로, 글이 일상적인 대화가 아니라 진지한 학자의 말투처럼 들리는지를 판단합니다. 연구자는 제2외국어 학습자들이 작성한 다섯 편의 에세이를 가져와 세 가지 서로 다른 AI 시스템인 GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro에게 이 네 가지 척도에 따라 각 에세이를 채점하도록 요청했습니다. 동시에 인간 전문가가 '정답' 점수를 제공했습니다. 목표는 기계가 인간 전문가와 얼마나 밀접하게 일치하는지, 그리고 서로 어떻게 비교되는지를 보는 것이었습니다.

결과는 이 특정 소규모 테스트 내에서 놀라운 정밀함과 뚜렷한 개성이 혼재된 이야기를 보여주었습니다. 한 AI 시스템인 GPT-4o는 이 예비 보정용 다섯 편의 에세이에서 완벽한 정확도를 보였습니다. 이 모델은 이 특정 표본에 대해 모든 에서와 모든 카테고리에서 인간 전문가의 점수와 정확히 일치했으며, 이 제한된 데이터 세트에 대해 인간 전문가의 판단을 효과적으로 복제했습니다. 두 번째 시스템인 Claude 3.5 Sonnet 역시 인간 전문가와 매우 유사했으나, 다소 관대해지는 경향을 보였습니다. 아이디어의 흐름과 학술적 어조를 채점할 때, 이 모델은 인간 전문가가 주었을 법한 점수보다 아주 약간 더 높은 점수를 부여했습니다. 틀린 것은 아니었지만, 약간 너그러웠습니다.

세 번째 시스템인 Gemini 1.5 Pro는 다른 패턴을 보여주었습니다. 이 모델은 문단이 얼마나 잘 연결되는지를 판단하는 데는 매우 뛰어났지만, 인간 전문가보다 더 엄격한 경향이 있었습니다. 학생의 아이디어의 깊이와 학술적 어조의 적절성을 평가할 때, 이 모델은 인간 전문가보다 눈에 띄게 낮은 점수를 주었습니다. 이는 기계가 글의 구조는 포착할 수 있지만, 내용과 필자의 목소리에 대해서는 더 까다롭다는 것을 시사합니다.

아마도 가장 드러나는 발견은 기계가 인간과 어떻게 비교되는가가 아니라, 기계들이 서로 어떻게 비교되는가에 관한 것이었을 것입니다. 세 가지 AI 시스템이 인간의 도움 없이 에세이를 채점했을 때, 그들은 언어의 기술적인 측면과 텍스트의 흐름에 대해서는 거의 완벽하게 동의했습니다. 그러나 학술적 어조와 아이디어의 품질을 판단할 때는 서로 의견이 일치하지 않는 데 어려움을 겪었습니다. 글이 대학 환경에 적절하게 들리는지에 대한 문제에 대해, 기계들은 한쪽은 관대하고 다른 쪽은 엄격한 모습을 보이며 자주 의견이 엇갈렸습니다. 이는 이 시스템들이 문법과 구조를 포착하는 데는 탁월하지만, 무엇이 학술적 논증을 올바르게 만드는지에 대한 단일하고 통일된 이해를 아직 공유하지 못하고 있음을 나타냅니다.

연구는 이러한 인공지능 도구들이 유용할 만큼 강력하지만, 아직 인간 교사를 완전히 대체할 준비는 되지 않았다고 결론짓습니다. 이들은 매우 빠른 속도와 정확도로 채점의 기계적인 부분을 처리할 수 있지만, 학술적 글쓰기의 미묘한 사회적, 문화적 뉘앙스를 판단하는 데 필요한 일관된 인간의 직관은 여전히 부족합니다. 연구자는 가장 좋은 접근 방식은 이 기계들을 피드백의 초안을 제공하는 조력자로 사용하는 것이며, 특히 더 복잡한 글쓰기 측면에 대해서는 인간 교사가 최종 판단을 내리도록 하는 것이라고 제안합니다. 이를 통해 학생들은 인간의 이해라는 깊이를 잃지 않으면서 자동화의 속도를 누릴 수 있습니다.