AI-Assisted Grading in Biochemistry: Automated Long Answer Question Scoring with Expert-Level Accuracy

의학 교육의 세계에서 생화학을 가르치는 것은 신체가 에너지를 처리하는 방식에 관한 사실을 단순히 암기하는 것 그 이상을 의미합니다. 그것은 학생들이 깊이 생각하고 복잡한 과정을 자신의 언어로 설명할 것을 요구합니다. 이러한 이해도를 측정하기 위해, 교수진은 종종 학생들이 생물학적 기전을 상세하게 서술해야 하는 서술형 문제를 사용합니다. 이러한 문제들은 학생들이 생각을 정리하고 진정한 숙달을 증명하도록 강요하기 때문에 학습을 위한 강력한 도구가 됩니다. 하지만 이를 채점하는 것은 무거운 짐입니다. 학급 규모가 커지면, 교사 한 명이 모든 에세이를 주의 깊게 읽고, 개인별 피드백을 제공하며, 모든 학생이 동일한 기준에 따라 공정하게 평가되도록 보장하는 데 필요한 시간을 할애할 수 없습니다. 문제는 단순히 작업량뿐만 아니라 일관성의 필요성입니다. 한 교사는 특정 세부 사항을 중요하게 여길 수 있지만 다른 교사는 이를 간과할 수 있으며, 이는 불균등한 결과로 이어집니다.

인도의 의과대학 연구진은 새로운 종류의 컴퓨터 프로그램이 이 문제를 해결할 수 있는지 알아보기 위해 연구를 시작했습니다. 그들은 인공지능 시스템이 이러한 긴 에세이를 읽고, 경험 많은 교수와 같은 기술로 채점하며, 학생이 왜 특정 점수를 받았는지 정확하게 설명할 수 있는지 알고 싶었습니다. 연구진은 디지털 시험관 역할을 하는 도구를 구축했습니다. 이 시스템은 단순히 단어 수를 세거나 키워드를 확인하는 대신, 완벽한 답안을 작은 부분들로 나누는 루브릭(rubik)이라 불리는 구체적인 규칙 세트를 부여받았습니다. 컴퓨터는 학생의 글에서 그 특정 부분들을 찾고, 발견된 내용에 대해 점수를 부여하며, 답변이 어떻게 개선될 수 있는지 제안하도록 지시받았습니다. 이 시스템은 인간의 언어를 이해하도록 방대한 양의 텍스트로 학습된 컴퓨터 프로그램의 일종인 정교한 언어 모델을 사용하여 이 과업을 수행했습니다.

연구에는 두 가지 서로 다른 생화학 질문에 답을 작성한 300명의 학생이 참여했습니다. 연구진은 이 600개의 응답을 수집하여 두 번의 채점을 거쳤습니다. 한 번은 컴퓨터에 의해, 다른 한 번은 해당 과목을 가르친 경력이 수년인 두 명의 전문가에 의해 이루어졌습니다. 인간 교사들도 동일한 규칙 세트를 사용하여 답안을 채점했습니다. 컴퓨터가 단순히 추측하는 것이 아님을 확실히 하기 위해, 연구진은 컴퓨터가 약간의 변형을 주어 각 답안을 다섯 번 채점하게 한 뒤 그 중간값을 최종 결과로 취하도록 했습니다. 이 방법은 컴퓨터가 저지를 수 있는 무작위 오류를 완화하는 데 도움이 되었습니다. 그 후 연구팀은 기계의 점수와 두 명의 인간 교사가 준 점수를 비교하여 얼마나 밀접하게 일치하는지 확인했습니다.

결과는 기계와 인간 사이에 놀라운 수준의 일치함을 보여주었습니다. 인공지능이 부여한 점수는 인간 전문가가 부여한 점수와 거의 완벽하게 일치했습니다. 연구진이 컴퓨터의 성적이 교사의 성적을 얼마나 밀접하게 따르는지 측정했을 때, 그 수치는 두 명의 서로 다른 인간이 동일한 답안을 채점할 때 보통 나타나는 것보다 훨씬 더 나은 우수한 일치도를 나타냈습니다. 컴퓨터는 교사보다 일관되게 높은 점수나 낮은 점수를 주지 않았으며, 그 평균 점수는 인간의 평균과 거의 동일했습니다. 실제로 컴퓨터의 채점 방식은 전문가들과 매우 일치하여 교실에서 신뢰할 수 있는 파트너로 간주될 수 있었습니다. 또한 시스템은 학생의 답변이 어느 부분이 취약한지에 대한 구체적인 의견을 제공하여, 학생들이 실수를 통해 배울 수 있도록 돕는 수준의 세부 정보를 제공했습니다.

이 연구는 인공지능이 인간 교사가 제공하는 미묘한 차이를 놓치지 않으면서도 과학 분야의 복잡한 서술형 답안을 채점하는 어려운 과업을 수행할 수 있음을 시사합니다. 연구진은 컴퓨터에 무엇을 찾아야 하는지에 대한 명확한 지침을 제공함으로써, 전문가 수준의 정확도로 학생의 과업을 평가할 수 있다는 것을 발견했습니다. 이것이 컴퓨터가 교사를 대체한다는 의미는 아니며, 오히려 컴퓨터가 채점이라는 힘든 일을 맡아 인간 교육자가 교수와 멘토링에 집중할 수 있도록 자유롭게 해준다는 것을 의미합니다. 이 연구는 이러한 접근 방식이 실제 교실에서 사용될 준비가 되어 있으며, 평가를 더 공정하고 효율적으로 만들어 모든 학생이 자료에 대한 이해를 진정으로 반영하는 성적을 받을 수 있도록 보장한다는 것을 보여줍니다.