Human-in-the-Loop LLM Grading for Handwritten Mathematics Assessments

이 논문은 생성형 AI 시대의 대면 평가 필요성에 부응하여, 해답 키 및 채점 기준 개발부터 자동화된 스캔과 다중 LLM 채점, 인간 검증까지 이어지는 인간-루프 LLM 채점 워크플로우를 제안하고, 이를 통해 채점 시간을 약 23% 단축하면서도 공정한 채점 정확도를 유지할 수 있음을 실증했습니다.

핵심

🎓 핵심 이야기: "AI 는 훌륭한 '보조교사', 하지만 최종 결정권은 '선생님'에게"

과거에는 선생님들이 손으로 쓴 학생들의 시험지를 일일이 채점하느라 밤을 새우곤 했습니다. 하지만 최근 생성형 AI 가 발달하면서, 집에서 과제를 할 때 AI 가 대신 풀어주는 경우가 늘어나서 수업 시간에 직접 손으로 풀게 하는 시험이 다시 중요해졌습니다. 문제는 이 손으로 쓴 시험지를 채점하는 게 너무 힘들고 시간이 많이 걸린다는 거죠.

이 연구는 **"AI 가 채점의 80% 를 대신하고, 사람이 마지막 20% 를 확인하는 방식 (Human-in-the-loop)"**을 실제로 적용해 보았습니다.

🛠️ 어떻게 작동할까요? (3 단계 프로세스)

이 시스템은 마치 정교한 공장처럼 작동합니다.

1. 정답지 만들기 (Solution Keys):
   • 선생님이 먼저 완벽한 정답과 풀이 과정을 만듭니다. 마치 요리사에게 레시피를 미리 준비해 주는 것과 같습니다.
2. 채점 규칙 만들기 (Grading Keys):
   • AI 가 혼란스러워하지 않도록 아주 상세한 '채점 가이드'를 줍니다.
   • 예시: "분모와 분자가 0 이라는 걸 알아차리면 2 점, 인수분해를 잘하면 4 점..." 처럼 점수를 아주 구체적으로 나누어 줍니다.
   • 중요: AI 는 지시를 문자 그대로 따르므로, "부분 점수 주세요" 같은 막연한 말보다는 "이 단계가 맞으면 2 점, 틀리면 0 점"처럼 명확해야 합니다.
3. 채점과 확인 (The Workflow):
   • 스캔 및 익명화: 학생 이름을 가리고 답안지만 AI 에게 줍니다. (사생활 보호)
   • 5 번 반복 채점: AI 는 같은 답안을 5 번이나 채점합니다. AI 도 가끔은 기분이 변하거나 (확률적 특성) 실수를 할 수 있기 때문입니다.
   • 최고점 선택: 학생에게 불리하지 않게 5 번 중 가장 높은 점수를 provisional(임시) 점수로 잡습니다.
   • 사람의 최종 확인 (Human Verification): AI 가 점수를 매긴 후, 선생님이 그 결과를 한 번 더 훑어봅니다. AI 가 "이건 이상하네?"라고 생각되면 선생님이 바로 수정합니다.

📊 결과는 어땠나요?

이 시스템을 두 개의 대학 수학 수업에 적용해 보니 놀라운 결과가 나왔습니다.

• ⏱️ 시간 단축: 채점 시간이 약 23% 줄어들었습니다.
  • 비유: 선생님이 100 개의 시험지를 채점하는 데 10 시간이 걸렸다면, 이제는 7 시간 40 분이면 충분해진 셈입니다.
• 🤝 공정한 채점: AI 가 매긴 점수와 사람이 매긴 점수의 차이가, 사람과 사람이 채점했을 때의 차이보다 더 작거나 비슷했습니다.
  • 비유: 보통 채점하는 선생님 A 와 B 가 같은 답안을 봐도 점수가 1~2 점씩 다를 수 있는데, AI 는 그보다 더 일관된 기준을 적용했습니다.
• 🛡️ 안전장치: 가끔 AI 가 엉뚱한 점수를 매기는 '실수'가 있었지만, 사람이 마지막에 확인하는 단계에서 모두 잡아냈습니다.

💡 왜 이 방식이 중요한가요?

이 연구는 **"AI 가 선생님을 대체하는 것"이 아니라, "선생님을 도와주는 도구"**로 사용해야 함을 보여줍니다.

• AI 의 역할: 반복적이고 지루한 채점 작업을 빠르게 처리하고, 기준을 일정하게 유지하게 합니다. (안정적인 '보조교사')
• 사람의 역할: AI 가 놓친 예외적인 경우나, 창의적인 풀이법을 판단하고 최종 책임을 집니다. (최종 결정권자)

🚀 결론

이 논문은 **"AI 를 잘 활용하면, 선생님들은 채점 스트레스에서 해방되어 학생들에게 더 빠르고 질 좋은 피드백을 줄 수 있다"**는 희망적인 메시지를 전합니다.

마치 자율주행 자동차가 운전의 대부분을 하지만, 위험 상황에서는 운전자가 핸들을 잡는 것과 같습니다. AI 가 채점의 '엔진'이 되고, 사람이 '조향장치'가 되어 함께 일할 때, 교육은 더 효율적이고 공정해질 수 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 학습 피드백의 중요성: 학생의 학습 동기와 이해도를 높이기 위해서는 시의적절하고 개인화된 피드백이 필수적이지만, 대규모 수업에서 이를 구현하는 것은 어렵습니다.
• 전통적 평가의 한계:
  • 필기 과제 (Handwritten Work): 채점과 디지털화 과정이 매우 시간 소모적이며, 인적 자원의 한계로 인해 피드백이 지연되거나 개인화가 어렵습니다.
  • 객관식 (MC) 의 한계: 개념 이해도를 평가할 수는 있지만, 문제 해결 과정, 중간 추론, 오개념 진단 등 서술형/개방형 평가가 제공하는 풍부한 정보를 제공하지 못합니다.
• 생성형 AI 의 이중성:
  • 위협: AI 가 고품질의 필기 수학 해답을 생성할 수 있게 되어, 가정에서 수행하는 과제 (Take-home assessments) 의 신뢰성이 떨어졌습니다. 이로 인해 교실 내 감독 하에 수행하는 필기 평가 (Supervised in-class evaluation) 로의 전환이 필요해졌습니다.
  • 기회: 동시에, OCR(광학 문자 인식) 과 문맥 분석이 가능한 LLM 은 필기된 수학 답안을 자동 채점하고 피드백을 생성하는 솔루션이 될 수 있습니다.
• 핵심 문제: 기존 연구들은 통제된 환경에서의 LLM 채점 가능성만 입증했을 뿐, 실제 교실 환경 (개인정보 보호, 모델의 확률적 특성, 반복 사용 등) 에서 종단간 (End-to-End) 워크플로우를 어떻게 구축하고 인간 검증과 결합할지에 대한 실증적 연구가 부족했습니다.

2. 방법론 (Methodology)

브뤼셀 자유대학교 (Vrije Universiteit Brussel) 의 두 개 학부 수학 과정에서 6 개의 저위험 (Low-stakes) 인-클래스 보너스 테스트를 통해 시스템을 배포하고 검증했습니다.

A. 데이터 수집 및 전처리

• 표준화된 답안지: OCR 파싱과 LLM 채점을 위해 설계된 표준 답안지를 사용했습니다.
• 익명화 및 개인정보 보호:
  • 학생 ID(버블 시트) 를 OCR 로 추출하여 내부 코드와 매핑했습니다.
  • LLM 에 제출할 때는 학생 신원이 포함된 영역을 제거하고, 답안지 내의 답안 상자 (Answer Box) 만을 잘라낸 이미지만 전송하여 완전한 익명화를 보장했습니다.

B. LLM 기반 채점 워크플로우 (3 단계)

1. 해답 키 (Solution Keys) 구축: 각 질문에 대해 강의에서 강조된 방법과 표기법을 따르는 완전한 LaTeX 해답을 작성했습니다.
2. 채점 키 (Grading Keys) 개발:
   • LLM 이 일관되게 채점할 수 있도록 세부적인 채점 기준을 정의했습니다.
   • 핵심 원칙: 해답을 작은 단계로 분해하고, 각 단계에 고정된 낮은 점수 (예: 10 점 만점에 2~3 점) 를 할당합니다. 모호한 용어 (예: "부분 점수") 를 피하고 구체적인 운영 기준을 명시하며, 다양한 해법 경로를 명시적으로 허용합니다.
   • 초기 실험에서 LLM 이 지시사항을 너무 문자 그대로 해석하거나, 수학적으로 관련 없는 단계를 점수로 인정하는 오류를 범하는 것을 발견하고 이를 수정했습니다.
3. 채점 절차 및 인간 검증 (Human-in-the-Loop):
   • 5 회 다중 평가: 각 학생의 답안을 LLM(GPT-5.1) 에게 5 번 독립적으로 채점하게 했습니다.
   • 점수 집계: 학생 불이익을 최소화하기 위해 **5 회 평가 중 최대 점수 (Maximum)**를 잠정 점수로 선정했습니다.
   • 일관성 검사: 5 회 평가 결과의 분산, 범위, 이상치 점수를 계산하여 불일치가 큰 경우 자동으로 플래그를 지정했습니다.
   • 최종 인간 검증: 모든 잠정 점수와 LLM 의 추론 과정을 인간 채점자가 검토하여 최종 점수를 확정하거나 수정했습니다.

3. 주요 기여 (Key Contributions)

• 실제 교실 환경에서의 종단간 워크플로우 제안: 필기 수학 과제를 위한 익명화, LLM 채점, 일관성 검사, 인간 검증을 포함한 확장 가능한 전체 파이프라인을 구축하고 공개했습니다.
• 효율성과 정확성의 균형: LLM 을 보조 도구로 활용하면서도 인간 검증이 필수적인 하이브리드 설계를 통해 채점 시간을 단축하면서도 공정성과 정확성을 유지하는 방법을 입증했습니다.
• LLM 채점 키 (Grading Key) 설계 원칙 정립: LLM 이 수학 논리를 올바르게 평가하도록 하기 위해, 모호성을 제거하고 단계별 점수 할당을 명확히 하는 구체적인 프롬프트 엔지니어링 전략을 제시했습니다.
• 개방형 평가에서의 인간 - AI 협업 모델: LLM 이 인간 채점자의 판단을 대체하는 것이 아니라, **안정적인 기준 (Anchoring)**을 제공하여 인간 간의 편차를 줄이고 업무 부담을 덜어주는 역할을 수행함을 보였습니다.

4. 결과 (Results)

• 채점 시간 단축:
  • LLM 보조 채점 방식은 수동 채점 대비 평균 **약 23.3% (95% CI: 1.1%~40.5%)**의 시간 절감 효과를 보였습니다.
  • 이는 학습 효과 (Learning effect) 가 아닌 워크플로우의 구조적 효율성에서 기인한 것으로 확인되었습니다.
• 채점 일치도 (Alignment) 및 일관성:
  • 인간 - LLM 일치도: 디지털 조건 (LLM 보조) 에서 인간 채점자와 LLM 간의 일치도 (Quadratically weighted Cohen's κ) 는 두 인간 채점자 간의 일치도와 비슷하거나 더 높은 수준을 보였습니다.
  • 편차 분포: 디지털 조건에서는 인간 간 편차가 0 에 더 밀집되어 있어 (중앙 편차 감소), LLM 이 채점의 기준점 (Anchor) 역할을 하여 일반적인 불일치를 줄이는 효과가 있었습니다.
  • 이상치 처리: 약 3% 의 경우 인간과 LLM 간의 편차가 컸으나, 이는 다중 평가와 인간 검증 단계를 통해 효과적으로 포착 및 수정되었습니다.
• 언어 영향: 프롬프트 언어 (네덜란드어 vs 영어) 가 채점 결과에 유의미한 영향을 미치지 않았으며, 모든 백엔드 채점을 영어로 표준화했습니다.

5. 의의 및 결론 (Significance)

• 교육 평가 패러다임의 전환: "LLM 이 인간 채점자를 대체할 수 있는가?"라는 질문에서, **"LLM 을 어떻게 인간 판단을 강화하고 워크플로우에 통합할 것인가?"**라는 질문으로 초점을 이동시켰습니다.
• 확장 가능한 피드백 루프: 대규모 수업에서도 필기 과제를 통해 즉각적이고 개인화된 피드백을 제공하는 것이 가능해졌으며, 이는 생성형 AI 시대에 필수적인 교육적 대응책이 됩니다.
• 신뢰성 있는 하이브리드 시스템: LLM 의 확률적 오류 (Hallucination 등) 를 인간 검증으로 보완하는 시스템은 공정성과 효율성을 동시에 달성할 수 있음을 입증했습니다.
• 미래 연구 방향: 이 워크플로우는 수학뿐만 아니라 프로그래밍 평가 등 다른 STEM 분야로 확장 가능하며, 더 개방형 평가 형태에서의 적용 가능성에 대한 연구가 필요합니다.

요약: 본 논문은 필기 수학 과제를 채점할 때 LLM 을 활용하여 채점 시간을 23% 이상 단축하면서도 인간 채점자 간의 일관성 이상으로 높은 정확도를 유지할 수 있음을 실증했습니다. 핵심은 세밀하게 설계된 채점 키와 **다중 평가 기반의 인간 검증 (Human-in-the-Loop)**을 결합한 하이브리드 워크플로우에 있습니다.