Evaluating AI Grading on Real-World Handwritten College Mathematics: A Large-Scale Study Toward a Benchmark

이 논문은 UC 어바인에서 수집된 실제 손글씨 미적분 과제물을 대상으로 OCR 기반의 대규모 언어 모델을 활용해 채점 및 피드백을 생성하는 시스템을 대규모로 평가하고, TA 점수 및 인간 검토와의 높은 일치도를 확인한 후 향후 연구를 위한 표준 벤치마크와 평가 프로토콜을 제안합니다.

핵심

1. 문제: "선생님들은 너무 바빠서 학생을 돌볼 시간이 없어!"

상상해 보세요. 대학의 미적분학 수업은 수백, 수천 명의 학생이 듣는 거대한 강의입니다. 여기서 학생들은 손으로 풀이 과정을 적어 시험지를 냅니다.

• 현실: 조교 (TA) 들은 이 거대한 시험지 더미를 짧은 시간 안에 채점해야 합니다.
• 문제: 너무 바쁘다 보니, 채점 품질이 떨어지거나 학생들에게 "왜 틀렸는지"에 대한 구체적인 피드백을 줄 시간이 없습니다. 그냥 점수만 알려주고 끝나는 경우가 많죠. 학생들은 실수를 고칠 기회를 잃게 됩니다.

2. 해결책: "AI 채점 시스템"을 투입하다

연구팀은 이 문제를 해결하기 위해 **AI(인공지능)**를 채점 도우미로 데려왔습니다. 이 시스템은 두 가지 능력을 합쳤습니다.

1. 눈 (OCR): 손으로 쓴 글씨를 읽어서 컴퓨터가 이해할 수 있는 숫자와 기호 (LaTeX) 로 바꿔줍니다. 마치 글씨를 읽는 안경을 쓴 것 같습니다.
2. 두뇌 (LLM): 읽은 내용을 보고 정답과 비교하며 점수를 매기고, 학생에게 **"여기서 이 부분이 좋았지만, 저 부분은 다시 생각해 봐야 해"**라고 친절하게 설명해 줍니다.

3. 실험 과정: "실전 테스트"

이 시스템은 3 개 학기 동안 실제 수업 (Math 2A, 2B) 에서 800 명 가까이 되는 학생, 수천 개의 시험지를 대상으로 작동했습니다.

• 중요한 점: AI 가 준 점수는 참고용일 뿐, 공식 점수는 여전히 인간 조교가 매긴 점수입니다. AI 는 조교의 업무를 돕는 '조수' 역할을 했을 뿐입니다.

4. 결과: "AI 는 꽤 잘해요, 하지만 완벽하진 않아요"

연구팀은 AI 의 채점 결과를 세 가지 기준으로 검증했습니다.

• 조교와의 일치도: AI 가 준 점수와 인간 조교가 준 점수가 대부분 비슷했습니다. (약 86% 가 1 점 차이 이내)
• 학생들의 반응: 학생들은 AI 가 쓴 피드백이 **"대체로 정확하고 이해하기 쉽다"**고 평가했습니다. 다만, 손글씨를 잘못 읽거나 (OCR 오류), 너무 엄격하게 채점할 때는 불만을 표하기도 했습니다.
• 독립적인 심사: 수학 전공자나 다른 전문가들이 AI 채점을 다시 확인했을 때, 약 80% 는 완전히 정확했고, 나머지는 대부분 '수용 가능한 수준'이었습니다.

5. 기술적 도전: "손글씨라는 난제"

AI 가 가장 어려워한 부분은 무엇일까요?

• 손글씨의 혼란: 학생들이 지우개로 지운 흔적이 있거나, 글씨가 너무 엉망이면 AI 가 "이게 뭘까?" 하며 헷갈려 합니다.
  • 비유: 마치 손글씨가 흐릿한 편지를 읽으려다, 'ㄱ'을 'ㄴ'으로 잘못 읽는 상황과 비슷합니다.
• 부분 점수 (Partial Credit): 수학은 답이 틀려도 과정이 맞으면 점수를 줘야 합니다. AI 는 "이 부분은 맞았으니 1 점, 저 부분은 틀렸으니 0 점"처럼 조금씩 점수를 잘게 나누어 주는 것이 인간보다 훨씬 까다롭습니다.

6. 해결책: "규칙장 (Rubric) 과 지시서"

AI 가 헷갈리지 않게 하기 위해 연구팀은 매우 상세한 규칙장을 만들었습니다.

• 두 가지 규칙:
  1. 유연한 규칙: 학생이 엉뚱한 방법으로 풀어도 논리가 맞으면 점수를 줍니다. (유연한 선생님)
  2. 엄격한 규칙: 정해진 단계대로 풀었는지 체크합니다. (엄격한 선생님)
• 최종 결정: 두 규칙으로 점수를 매겨서 더 높은 점수를 최종 점수로 채택했습니다. 이렇게 하면 학생이 불이익을 덜 받도록 배려한 것입니다.

7. 결론: "미래는 AI 와 사람이 함께 채점하는 것"

이 연구는 **"AI 가 채점할 수 있다"**는 것을 증명했습니다. 하지만 아직 완벽한 것은 아닙니다.

• AI 의 역할: 반복적인 채점 업무를 대신하고, 학생들에게 즉각적인 피드백을 주어 학습을 돕습니다.
• 사람의 역할: AI 가 헷갈려 하거나, 복잡한 그림이 있는 문제, 혹은 AI 가 확신하지 못하는 경우에는 인간이 최종 확인을 합니다.

한 줄 요약:

이 논문은 **"AI 가 손으로 쓴 수학 시험지를 읽고, 점수를 매기고, 학생에게 친절하게 설명해 줄 수 있다"**는 것을 증명했습니다. 아직 완벽하지는 않지만, 바쁜 선생님들을 도와 학생들에게 더 많은 도움을 줄 수 있는 유망한 조수가 될 수 있다는 희망을 보여줍니다.

이 기술이 발전하면, 앞으로는 학생들이 시험을 치자마자 **"어디가 틀렸고, 어떻게 고쳐야 하는지"**를 바로 알 수 있게 되어, 수학 공부가 훨씬 더 수월해질지도 모릅니다!

기술 요약

이 논문은 UC Irvine 의 대규모 단변수 미적분학 과정에서 실제 손으로 쓴 수학 과제물을 대상으로 한 대규모 AI 채점 시스템의 실증적 연구를 제시합니다. 연구팀은 OCR(광학 문자 인식) 과 대형 언어 모델 (LLM) 을 결합하여, 수천 개의 서술형 퀴즈 제출물에 대해 점수와 형성적 피드백을 자동 생성하는 시스템을 개발하고 평가했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 대규모 STEM 강의의 채점 부담: 고 Enrollment 의 미적분학 등 STEM 과목에서는 조교 (TA) 가 수천 개의 서술형 과제를 짧은 기한 내에 채점해야 하므로, 채점의 질과 일관성이 떨어지고 학생에게 제공되는 피드백이 최소화되거나 아예 없는 경우가 많습니다.
• 기존 기술의 한계: 기존 AI 채점 연구는 주로 점수 신뢰성에 초점을 맞추거나, 손글씨 인식 (OCR) 의 어려움과 부분 점수 (partial-credit) 할당, 그리고 명확한 정답 (ground truth) 이 없는 상황에서의 피드백 품질 평가가 부족했습니다.
• 핵심 과제: 손으로 쓴 수학 식의 복잡한 구조를 정확히 인식하고, 교재의 채점 기준 (Rubric) 에 부합하는 일관된 부분 점수와 건설적인 피드백을 제공하는 것.

2. 방법론 (Methodology)

연구팀은 3 개의 학기 (2025 년 겨울, 봄, 가을) 에 걸쳐 UC Irvine 의 Math 2A 및 2B 과정에서 약 800 명의 학생, 20 개 이상의 퀴즈, 1,000 명 이상의 수강생을 대상으로 시스템을 배포했습니다.

• 파이프라인 구조:

  1. OCR 및 전사 (Transcription): 손글씨를 LaTeX 코드로 변환합니다. Mathpix 와 같은 기존 도구를 비교한 결과, 문맥 추론 능력이 뛰어난 GPT-4.1-mini를 OCR 엔진으로 선택했습니다. 이는 모호한 표기나 복잡한 분수 구조를 문맥을 통해 해석하여 전사 정확도를 높였습니다.
  2. 구조화된 프롬프트 엔지니어링:
     • 시스템 메시지: 논리적 일관성, 사실적 정확성, 학생 친화적 피드백 작성 등을 명시하여 API 기반 채점의 일관성을 확보했습니다.
     • 이중 Rubric 전략: 각 문제에 대해 유연한 Rubric(다양한 해법 수용, 부분 점수 부여) 과 고정된 Rubric(단계별 체크리스트) 을 동시에 적용합니다.
     • Max-Rule: 두 Rubric 의 점수 중 높은 값을 최종 점수로 선택하는 방식을 사용하여, TA 의 채점 경향과 가장 잘 일치하도록 했습니다.
  3. LLM 평가: 전사된 내용과 Rubric 프롬프트를 기반으로 GPT-4.1-mini(주력) 또는 o3-mini(복잡한 대수 문제 시) 를 통해 점수와 상세 피드백을 생성합니다.

• 평가 프로토콜:

  • TA 점수 정렬: 조교가 매긴 점수와 AI 점수의 일치도 분석.
  • 학생 설문: AI 피드백의 정확성과 명확성에 대한 학생들의 인식 조사.
  • 독립적 인간 검토: 외부 전문가 (대학원생, 학부생 등 20 명 이상) 가 AI 의 채점 결과와 피드백을 Rubric 에 따라 재검토하여 정확성과 공정성을 평가.

3. 주요 기여 (Key Contributions)

• 대규모 실증 배포: 대학 수학 과정에서 수천 개의 실제 손글씨 과제를 대상으로 한 최초의 대규모 LLM 기반 채점 시스템 배포 사례를 제시했습니다.
• 프롬프트 및 Rubric 파이프라인: OCR 기반 추론과 정교하게 설계된 시스템 프롬프트, 그리고 유연/고정 Rubric 을 결합한 실용적인 채점 파이프라인을 개발했습니다.
• 다각도 인간 - AI 협업 평가: 정답 (Ground Truth) 이 부재한 환경에서 TA 점수 정렬, 학생 피드백, 독립적 인간 검토를 결합한 다중 관점 평가 프로토콜을 도입했습니다.
• 차세대 벤치마크 기반 마련: 익명화된 손글씨 데이터, OCR 출력, 튜닝된 Rubric, AI 결과, 인간 검토 결과를 포함한 데이터셋을 구축하여 향후 연구와 벤치마킹을 위한 표준을 제안했습니다.

4. 결과 (Results)

• 점수 일치도: AI 점수와 TA 점수 간의 평균 절대 오차 (MAE) 는 0.51.06 점 범위였으며, 점수 차이가 1 점 이내인 비율은 68%86% 로 나타났습니다. 전체적으로 AI 점수가 TA 점수와 강하게 일치했습니다.
• 피드백 품질: 독립적인 인간 검토 결과, AI 생성 피드백의 79.79% 가 완전히 정확, 9.55% 가 수용 가능하다고 평가되었습니다. 오류는 주로 OCR 실패나 Rubric 의 예외 사례 (edge cases) 에 집중되었습니다.
• 학생 반응: 학생 설문조사에서 피드백의 정확성과 명확성에 대해 각각 60% 이상, 62% 이상이 긍정적으로 평가했으며, AI 채점에 대해 "개선을 전제로 수용 가능하다"는 응답이 76~78% 로 나타났습니다.
• 모델 비교: GPT-4.1-mini 는 일관된 점수 안정성을 보였으며, o3-mini 는 복잡한 문제에서 더 정확한 추론을 보였으나 변동성이 컸습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 이 연구는 대규모 STEM 강의에서 AI 가 조교의 업무 부담을 줄이면서도 학생들에게 더 상세하고 즉각적인 피드백을 제공할 수 있음을 입증했습니다. 또한, 정답이 명확하지 않은 부분 점수 평가와 손글씨 인식의 난제를 해결하기 위한 체계적인 방법론을 제시했습니다.
• 한계:
  • OCR 한계: 기하학적 도형이나 지워진/겹쳐진 글씨 인식에는 여전히 어려움이 존재합니다.
  • 의사결정 정책: 언제 AI 채점을 신뢰하고 언제 인간 검토로 넘겨야 하는지에 대한 체계적인 자동화 정책 (Deferral policy) 이 아직 미흡합니다.
  • 고위험 평가 적용: 현재는 저위험 퀴즈에 국한되었으며, 중간고사나 기말고사 같은 고위험 평가로 확장하려면 더 엄격한 인간 - AI 협업 통제가 필요합니다.

결론적으로, 이 논문은 AI 기반 수학 채점이 단순한 자동화를 넘어 교육의 질을 높일 수 있는 잠재력을 가지고 있음을 보여주며, 향후 신뢰할 수 있는 자동 평가 시스템 구축을 위한 중요한 토대를 마련했습니다.