Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

에세이 채점이 단순히 밤늦게까지 산더미 같은 종이를 뚫어지게 쳐다보는 교사의 일이 아니라, 아주 똑똑한 컴퓨터 조수의 역할을 포함하게 되는 세상을 상상해 보십시오. **자동 에세이 채점(Automated Essay Scoring)**이라고 알려진 이 분야는, 채점이라는 복잡한 예술을 깔끔하고 빠른 과학으로 바꾸기 위해 수십 년 동안 존재해 왔습니다. 이것은 마치 로봇이 수천 명의 플레이어를 관찰하며 게임의 규칙을 배우려는 것과 같습니다. 초기 로봇들은 에세이의 길이가 얼마나 되는지, 혹은 얼마나 큰 단어를 사용했는지와 같은 것들을 세는 서투른 수준이었습니다. 하지만 **대규모 언어 모델(LLM)**로 구동되는 오늘날의 로봇들은 단어 뒤에 숨겨진 이야기와 논리를 이해할 수 있는 명석한 독서가에 더 가깝습니다.

하지만 함정이 있습니다. 로봇이 글을 읽을 수 있다고 해서 공정하게 채점할 줄 안다는 뜻은 아닙니다. 교사들은 편향성(로봇이 너무 관대하거나 너무 엄격하지는 않은가?), 투명성(로봇이 왜 특정 점수를 주었는지 그 이유를 알 수 있는가?), 그리고 정렬(Alignment)(로봇이 인간 교사의 의견과 일치하는가?)을 걱정합니다. 만약 로봇이 학생에게 A를 주어야 할 상황에 C를 주거나, 반대로 C를 주어야 할 상황에 A를 준다면, 그것은 학생의 미래를 바꿀 수도 있습니다. 따라서 핵심 질문은 단순히 "로봇이 채점을 할 수 있는가?"가 아니라, "실제 학교에서 신뢰받을 수 있을 만큼 잘 채점할 수 있는가?"입니다.

---

로봇 채점 실험

이 연구에서 톰 브라이든(Tom Bryden)이라는 연구자는 특정 AI 로봇을 호주의 고등학교 졸업반이라는 압박감이 심한 환경에 투입하여 시험대에 올리기로 했습니다. 그는 로봇에게 단순히 '마법의 8번 공'처럼 최종 점수만 내놓으라고 요구하는 대신, 엄격한 규칙을 따르도록 강제했습니다. 즉, 로봇은 "블라인드(blind)" 제2 채점자 역할을 수행해야 했습니다(즉, 교사가 이미 채점을 했다는 사실을 몰라야 함). 또한 매 점수를 줄 때마다 학생의 작업물에서 특정 문장을 지목하고, 왜 그 문장이 점수를 얻었는지 정확하게 설명해야 했습니다. 이는 마치 로봇에게 체포를 하기 전에 반드시 증거를 제시해야 하는 형사가 되라고 요구하는 것과 같았습니다.

이 로봇에게는 수학, 물리, 영어, 현대사 등 13개의 서로 다른 과목에서 추출한 437개의 실제 학생 과제물이 입력되었습니다. 목표는 로봇의 성적이 교사의 성적과 일치하는지, 로봇에게 이상한 습관이 있는지, 그리고 스스로의 답변에 대한 "확신"이 실제로 의미가 있는지를 확인하는 것이었습니다.

결과: 유능하지만 약간 관대한 조수

이 실험이 밝혀낸 내용은 다음과 같이 주요 발견 사항별로 나뉩니다.

1. 로봇과 교사: 좋은 친구이지만 쌍둥이는 아니다
로봇과 인간 교사는 수업의 전반적인 분위기에 대해서는 의견이 일치했지만, 정확한 수치에 대해서는 일치하지 않았습니다. 연구 결과 두 대상 사이에는 0.51의 상관 계수를 가진 중간 정도의 연결성이 발견되었습니다. 쉬운 말로 풀이하자면, 교사가 학생에게 높은 점수를 주면 로봇도 보통 높은 점수를 주었지만, 구체적인 숫자는 자주 어긋났습니다.

• 정확히 일치하는 비율: 로봇과 교사가 정확히 같은 총점을 준 경우는 **20.8%**에 불과했습니다.
• 평균 편차: 평균적으로 로봇의 점수는 (해당 과제의 총점 중) 2.96점 차이가 났습니다.
• "오차" 범위: 전체 점수 대비 실수 크기를 살펴보면, 로봇은 **13.24%**의 오차를 보였습니다.

2. "착한 로봇" 문제
가장 흥arian한 발견 중 하나는 로봇에게 뚜렷한 성격적 특성이 있었다는 점인데, 바로 관대함이었습니다. 로봇은 학생들에게 유리한 판결을 내리는 것을 좋아했습니다.

• 연구진이 로봇의 점수와 교사의 점수 차이를 조사했을 때, 분포는 로봇이 더 높은 점수를 주는 쪽으로 크게 치우쳐 있었습니다.
• 실제로 **44.9%**의 경우, 로봇은 교사보다 2점 이상 높은 점수를 주었습니다.
• 로봇이 더 엄격하게(2점 이상 낮게) 점수를 준 경우는 **14.2%**에 불과했습니다.
• 이는 만약 로봇에게 모든 채점을 맡긴다면, 학생들이 인간이 주는 점수보다 다소 높은 점수를 받게 될 수도 있음을 시사합니다.

3. 과목의 중요성: 수학 vs 역사
로봇은 모든 과목에서 똑같이 뛰어난 것은 아니었습니다. 로봇은 깊고 창의적인 해석이 필요한 과목에서는 더 어려워하는 반면, 단계별 정답이 명확한 과목에서는 더 잘하는 모습을 보였습니다.

• 고전하는 과목: **영어 및 문학 심화(English & Literature Extension)**와 일반 수학(General Mathematics) 같은 과목에서는 로봇과 교사의 평균 차이가 상당히 컸습니다(각각 약 **18.57%**와 19.0%).
• 두각을 나타내는 과목: **심화 수학(Specialist Mathematics)**과 **화학(Chemistry)**에서 로봇은 교사와 훨씬 더 가까웠으며, 평균 차이는 각각 **6.67%**와 **6.91%**에 불과했습니다.
• 이를 통해 로봇은 엄격한 규칙(수학 등)을 따르는 데는 뛰어나지만, 규칙이 "느낌"이나 "논증"(영어 또는 역사 등)에 관한 것일 때는 다소 혼란을 느낀다는 것을 알 수 있습니다.

4. 확신의 함정
로봇은 또한 자신의 채점에 대해 0.80에서 1.00 사이의 범위를 갖는 "확신" 점수를 연구진에게 전달했습니다. 여러분은 로봇이 "100% 확신합니다!"라고 말할 때, 그것이 반드시 옳다는 뜻이라고 생각할지도 모릅니다. 하지만 연구 결과는 이것이 사실이 아님을 시사합니다.

• 높은 확신이 높은 정확도를 의미하지는 않았습니다. 실제로 로봇이 매우 확신했을 때(0.95에서 1.00 사이), 로봇은 확신이 낮을 때보다 오히려 더 관대하게(높은 점수를 주는 경향) 행동했습니다.
• 연구진은 로봇의 확신이 정답(정확도)에 대한 척도라기보다는, 로봇이 보기에 증거가 얼마나 명확해 보이는가에 대한 척도라는 것을 발견했습니다. 이는 마치 단서가 명확하기 때문에 자신의 이론에 매우 확신을 갖지만, 그 이론이 약간 틀릴 수도 있는 형사와 같습니다.

5. "형사" 역할: 증거와 피드백
로봇은 자신의 작업 과정을 보여주어야 했기 때문에, 연구진은 로봇이 논리적으로 타당하게 행동하는지 확인할 수 있었습니다.

• 긍정적인 면: 물리학, 경제학, 수학 같은 과목에서 로봇은 학생의 에세이에서 적절한 문장을 찾아내고 왜 점수를 얻었는지 설명하는 데 탁받은 능력을 보였습니다. 로봇은 투명한 형사처럼 행동했습니다.
• 부정적인 면: 영화, 텔레비전 및 뉴미디어(Film, Television & New Media) 같은 과목에서 로봇은 때때로 너무 표면적인 피드백을 주었습니다. 영화 장면의 깊은 의미를 분석하는 대신, 단순히 문법에 대해 언급하는 식이었습니다.
• 판결: 로봇의 증거 제시 능력은 조정(moderation)(교사가 공정하게 채점하고 있는지 확인하는 용도)이나 초안 피드백을 제공하는 데는 훌륭한 도구가 될 수 있지만, 교사를 완전히 대체하기에는 아직 준비가 되지 않았습니다.

6. 속도와 비용: 저렴한 슈퍼컴퓨터
마지막으로, 연구진은 실용적인 측면인 속도와 비용을 살펴보았습니다.

• 속도: 로봇은 437개의 논문을 약 5.8시간(총 처리 시간 20,929.35초) 만에 처리했습니다. 이는 학생 한 명당 약 47.89초가 소요된 것입니다.
• 비용: 437개의 논문을 채점하는 데 든 총비용은 단 **4.23달러(USD)**였습니다. 이는 학생 한 명당 약 0.01달러 수준입니다.
• 이는 AI를 활용한 채점이 믿을 수 없을 정도로 저렴하고 빠르며, 학교에서 제2의 눈으로서 사용할 수 있는 매우 실행 가능한 도구임을 입증합니다.

결론

이 논문은 AI가 교실을 장악하고 스스로 졸업장을 수여할 준비가 되었다고 말하는 것이 아닙니다. 로봇은 여 still 조금 지나치게 관대하고, 창의적인 과목에서는 혼란을 느끼며, 그 "확신"이 진실을 보장하지도 않습니다.

그러나 이 연구는 AI가 매우 효율적인 조수로서 역할을 수행할 수 있는 매우 유망한 미래를 제시합니다. 교사가 에세이 뭉치를 채점하고 있을 때, AI가 즉시 이를 훑으며 모든 점수에 대한 증거를 강조 표시하고, 교사와 의견이 다른 부분을 표시하며, 피드백 초안을 작성하는 모습을 상상해 보십시오. AI는 최종 판결자가 아니라, 교사들이 일관성을 유지하고 시간을 절약할 수 있도록 돕는 환상적이고 저렴하며 투명한 도구입니다. 로봇은 훌륭한 "제2 채점자"가 될 수 있지만, 현재로서는 인간 교사가 운전대를 잡고 있어야 합니다.