Student Perceptions of Essay Grading with Artificial Intelligence in Higher Education

대학 강의실의 정적 속에서, 익숙한 의례가 새로운 국면을 맞이하고 있다. 수 세대 동안 에세이는 학생의 생각과 교사의 판단 사이를 잇는 가교였으며, 인간 독자가 논거를 따지고 어조를 느끼며 개인화된 비평을 제공하는 과정이었다. 이러한 상호작용은 학습의 핵심이지만, 수천 페이지를 읽으며 적시에 피드백을 제공해야 하는 교육자들에게는 무거운 짐이기도 하다. 인공지능이 단순한 계산기에서 복잡한 언어를 이해할 수 있는 시스템으로 성숙해짐에 따라, 연구자들은 실질적인 질문을 던지기 시작했다. 과연 기계가 에세이 채점자의 역할을 맡을 수 있을 것인가? 그 답은 단순한 '예' 또는 '아니오'가 아니라, 희망과 망설임이 뒤섞인 복잡한 풍경이다. 이를 이해하기 위해서는 사람들이 새로운 기술에 대해 첫인상을 형성하는 방식을 살펴보아야 한다. 여행자가 새로운 도시를 그 도시의 첫 번째 길모퉁이로 판단하듯, 학생들은 새로운 도구를 자신의 즉각적인 경험으로 판단한다. 그들의 초기 감정—도구가 공정하다고 느끼는지, 도움이 된다고 느끼는지, 혹은 차갑다고 느끼는지—은 향후 그 도구를 신뢰할 것인지 여부를 결정한다. 이러한 역동성은 매우 중요하다. 만약 학생들이 시스템이 정확하거나 공정하다고 믿지 않는다면, 아무리 효율적이라 할지라도 그 시스템에 참여하지 않을 것이기 때문이다.

오스트리아와 핀란드의 대학 연구진은 바로 이 접촉의 순간을 탐구하기 위해 나섰다. 그들은 강의실을 시뮬레이션하거나 학생들이 기계가 무엇을 할 수도 있을지에 대해 어떻게 생각하는지 묻지 않았다. 대신, 109명의 대학생을 실제 학습 상황에 배치했다. 학생들은 데이터 기반 비즈니스 기회에 관한 주제로 짧은 에세이를 작성하도록 요청받았다. 작성을 마친 후, 학생들은 에세이 채점을 위해 설계된 상용 인공지능 시스템에 과제를 제출했다. 기계는 즉시 점수와 서술형 비평을 제공했으며, 고품질의 응답이 어떤 모습인지를 보여주는 모델 답안도 함께 제시했다. 그 후 학생들은 그 경험에 대한 즉각적인 느낌을 묻는 단 하나의 개방형 질문에 답했다. 연구진은 한 단어부터 여러 문장에 이르는 109개의 서술형 응답을 수집했으며, 학생들이 말한 내용에서 패턴을 찾아내기 위해 정교한 방법을 사용했다. 그들은 단순히 단어 수를 센 것이 아니라, 학생들이 자신의 글을 심사한다고 주장하는 기계를 마주했을 때 나타나는 공통된 주제를 찾기 위해 의미에 따라 응답을 분류했다.

분석 결과, 학생들의 반응 스펙트럼을 포착하는 일곱 가지 뚜렷한 주제가 드러났다. 한편으로, 학생들은 이 경험이 놀라울 정도로 편리하다고 느꼈다. 그들은 피드백의 속도와 도구 사용의 용이함에 감사하며, 도구가 사용자 친화적이고 시간을 절약해 준다는 점에 주목했다. 이러한 긍정적인 반응은 이 기술이 인간 교사가 채점된 종이를 돌려줄 때까지 기다리는 번거로움을 제거하는 실용적인 유틸리티로서 잘 작동하고 있음을 시사한다. 그러나 이러한 편리함은 정확성에 대한 깊고 지속적인 불안감에 의해 가려졌다. 상당수의 학생이 기계가 자신의 글에 담긴 뉘차(nuance)를 진정으로 이해할 수 있는지에 대해 의구심을 표했다. 그들은 시스템이 논증의 미묘한 지점을 놓치거나 창의성을 인식하지 못해 불공정한 점수를 줄 수 있다고 우려했다. 이러한 회의론은 단순히 점수 자체에 대한 것이 아니라 시스템의 신뢰성에 관한 것이었다. 많은 학생이 자신이 완전히 이해하거나 이의를 제기할 수 없는 '블랙박스'에 의해 심판받고 있다고 느꼈다.

아마도 가장 시사적인 발견은 인간적인 손길에 대한 학생들의 강한 갈망이었을 것이다. 그들은 기계의 효율성을 인정하면서도, 많은 이들이 피드백에 인간 교사의 공감과 깊이가 부족하다고 느꼈다. 그들은 기계가 자신의 고충을 진정으로 이해하거나 성장을 촉진하는 종류의 격려를 제공할 수 없다고 느꼈다. 이것은 기술에 대한 거부가 아니라, 그 역할에 대한 명확한 경계 획정이었다. 학생들은 AI를 유용한 보조 도구, 즉 초기 검토를 수행하거나 빠른 연습을 제공할 수 있는 도구로 보았지만, 교육에서의 인간적 요소를 대체할 수 있는 존재로는 보지 않았다. 그들은 기계가 사실 관계 확인이나 구조 파악 같은 힘든 일을 처리해주기를 바랐지만, 품질에 대한 판단과 학습의 정서적 연결은 사람이 담당하기를 원했다. 이 연구는 미래의 채점이 인간과 기계 중 하나를 선택하는 것이 아니라, 양쪽이 함께 협력하는 하이브리드 접근 방식에 달려 있음을 시사한다.

연구진은 기술이 보조할 준비는 되어 있지만, 아직 고부담(high-stakes) 상황에서 홀로 설 준비는 되지 않았다고 결론지었다. 학생들의 엇갈린 감정은 중요한 간극을 부각한다. 기술은 빠르고 편리하지만, 아직 그 기술을 사용하는 학습자들의 온전한 신뢰를 얻지 못했다. 이 연구는 인공지능이 교육에 나쁘다거나 인간 교사가 쓸모없어졌다고 주장하는 것이 아니다. 대신, 균형의 필요성을 지적한다. 교육자는 기계가 즉각적이고 일관된 피드백을 제공하는 동안 인간 교사가 과정을 감독하여 공정성을 확보하고 필요한 공감을 더할 수 있는 시스템을 설계해야 한다. 이 연구 결과는 이러한 도구들을 어떻게 도입해야 교육의 의미를 만드는 인간적 연결을 잃지 않으면서도 신뢰를 깨뜨리지 않을 수 있는지에 대한 가이드 역할을 한다. 이러한 초기 반응에 귀를 기울임으로써, 학교는 기술이 학습을 지원하면서도 교육을 의미 있게 만드는 인간적 연결을 잃지 않는 미래를 구축할 수 있다.