Automated Scoring of Handwritten Mathematical Problem Posing Using Large Language Models

기술 요약: 대규모 언어 모델을 이용한 필기 수학 문제 제기 자동 채점

문제 제기
교사들은 수학적 문제 제기(problem-posing) 반응을 평가하는 데 있어 인공지능(AI)의 잠재력을 인식하고 있으나, 이 특정 영역에서 자동 채점(AS)의 신뢰성에 관한 실증적 근거는 여전히 제한적이다. 문제 제기는 다양하고 개방적인 응답을 생성하므로 체계적인 분석이 어려우며, 이는 종종 인간 채점에서의 불일치와 주관성으로 이어진다. 대규모 언어 모델(LLM)이 자동 채점의 지배적인 도구가 되었음에도 불구하고, 비영어권 언어 및 분수와 같은 복잡한 내용을 포함하는 필기 수학 문제 제기에 대한 적용 가능성은 엄격하게 검증되지 않았다. 기존 연구들은 종종 단일 과업 설계나 사례 기반 루브릭에 의존하며, 이는 실제 교실 환경으로 전이되지 않을 수 있다. 또한, 과업 유형(예: 정수 vs. 분수)과 프롬프트 엔지니어링 변수(예: 루브릭 순서)가 인간 채점자와 LLM 간의 일치도에 어떠한 영향을 미치는지 불분명하다.

연구 방법론
본 연구는 필기된 학생 응답을 채점하는 과정에서 인간 채점자와 Gemini 3.5 Flash LLM 사이의 일치도를 조사하기 위해 양적 설계를 채택하였다.

• 참가자 및 과업: 터키의 중학생(6, 7학년) 235명을 대상으로 데이터를 수집하였다. 학생들은 두 가지 구별된 문제 제기 과업을 수행하였다: 분수를 포함하는 "케이크(Cake)" 과업과 정수를 포함하는 "드라이브(Drive)" 과업이다. 각 학생은 과업당 3개의 문제를 생성하였다.

• 데이터 처리:

  • 인간 코딩: 두 명의 숙련된 채점자가 정교화된 7단계 루브릭(0: 응답 없음부터 6: 충분함까지)을 바탕으로 합의 지향적 접근 방식을 사용하여 응답을 채점하였다. 루브릭에는 과업 관련성, 해결 가능성, 논리적 일관성 기준이 포함되었다.
  • OCR 및 입력 변형: Gemini의 광학 문자 인식(OCR)을 사용하여 필기 응답을 디지털화하였다. 각 응답에 대해 두 가지 입력 데이터셋을 생성하였다:
    • i1: LLM에 의해 생성된 순수 원본 OCR 출력값.
    • i2: 도메인 전문가가 전사 오류(예: 잘못 읽힌 분수 또는 이름)를 수정한 전문가 수정 OCR 출력값.
  • 자동 채점 (AS): Gemini 3.5 Flash 모델을 제로샷(zero-shot) 프롬프팅 방식으로 사용하였다. 모델에게 전문 평가 보조원이라는 페르소나를 부여하고, 제공된 루브릭에 엄격히 따라 점수를 매기도록 지시하였다.
  • 프롬프트 변형: 프롬프트 내 루브릭 기준의 순서를 조작하였다:
    • p1 (오름차순): 최저(0)에서 최고(6) 범주로 평가.
    • p2 (내림차순): 최고(6)에서 최저(0) 범주로 평가.
  • 실험 조건: 결과적으로 각 과업당 4가지 AS 시나리오(ASi1p1, ASi1p2, ASi2p1, ASi2p2)가 도출되었다.

• 분석:

  • 일치도 지표: 인간과 AS 점수 간의 일치도를 측정하기 위해 이차 가중 카파(QWK), 선형 가중 카파(LWK), 피어슨 상관계수, 거리 상관계수, 그리고 제3의 요소 비율(PTQ)을 계산하였다.
  • 다층 모델링: 인간과 AS 점수 간의 절대 차이를 예측하기 위해 3단계 선형 모델을 사용하였다. 종속 변수는 점수의 절대 차이였다. 예측 변수로는 과업 유형(Cake vs. Drive), 입력 유형(i1 vs. i2), 프롬트 방향(p1 vs. p2) 및 이들의 상호작용이 포함되었다. 무작위 효과는 응답과 학생 내에 중첩되었다.

주요 결과

• 전반적 일치도: 본 연구는 잘 구조화된 루브릭을 동반한 제로샷 프롬프팅의 상당한 잠재력을 발견하였다. 인간 채점자와 AS 간의 평균 절대 점수 차이는 0–6 척도에서 0.43점이었다.
• 입력 품질의 영향: 수정된 OCR 입력(i2)을 사용할 때 원본 OCR 출력(i1)보다 일치도가 유의미하게 높았다. 입력 유형 효과는 유의미하였으나($p = .002$), 개선의 폭은 완만했다(절대 차이 0.06점 감소).
• 과업 유형의 영향: 과업 유형은 일치도의 가장 강력한 예측 변수였다. "드라이브(Drive)" 과업(정수)은 "케이크(Cake)" 과업(분수)보다 유의미하게 높은 일치도를 보였다($p < .001$). 드라이브 과업의 절대 차이는 0.17점 더 낮았다.
  • 드라이브 과업: 수정된 입력과 오름차순 프롬프트를 사용할 때 가장 높은 일치도가 관찰되었다(QWK = 0.849).
  • 케이크 과업: 원본 입력과 오름차순 프롬프트를 사용할 때 가장 낮은 일치도가 관찰되었다(QWK = 0.684).
• 프롬프트 순서의 영향: 루브릭의 방향(오름차순 vs. 내림차순)은 인간-기계 간의 일치도에 유의미한 영향을 미치지 않았다($p = .428$). 과업, 입력, 프롬프트 방향 간의 유의미한 상호작용은 발견되지 않았다.
• 오류 분석: 케이크 과업에서의 불일치는 주로 LLM이 수학적으로는 타당하지만 맥락적 독립성을 가진 응답(예: 이야기 맥락을 통합하지 않고 속도의 평균을 계산하는 경우)에 높은 점수를 부여하거나, 데이터에 답이 명시적으로 존재하는지 여부를 오해하는 데서 기인하였다. OCR 오류는 때때로 과업 관련성이나 논리적 일관성을 잘못 분류하는 원인이 되었다.

주요 기여

1. 문제 제기 분야의 실증적 근거: 본 연구는 수학적 문제 풀이에서 확장하여, 수학적 문제 제기에 특화된 LLM 기반 자동 채점에 대한 최초의 실증적 검증 중 하나를 제공한다.
2. 제로샷 실행 가능성: 제로샷 프롬프팅이 구조화된 루브릭과 결합될 때, 지도 학습 기반의 미세 조정(fine-tuning)이나 퓨샷(few-shot) 학습 없이도 인간 채점자와 유사한 신뢰 수준을 달성할 수 있음을 입증하였다.
3. 과업 의존적 신뢰도: 본 연구는 자동 채점의 신뢰도가 수학적 영역에 따라 균일하지 않음을 강조한다. 즉, 정수 과업에서는 성능이 우수하지만 분수 과업에서는 그렇지 못하며, 이는 현재 LLM 능력의 콘텐츠 특화적 한계를 시사한다.
4. 프롬프트 엔지니어링 통찰: 본 연구는 루브릭 순서(오름차순 vs. 내림차순)가 이 맥 contextos에서 채점 정확도에 유의미한 영향을 미친다는 통념에 도전하며, 논리적으로 구조화된 프레임워크가 고급 LLM의 응답 순서 편향을 완화할 수 있음을 시사한다.

의의 및 주장
저자들은 본 연구의 결과가 교사의 업무 부담을 줄이고 문제 제기를 교실에 더 빈번하게 통합할 수 있도록 돕는, 학생의 문제 제기 과업 평가를 위한 LLM 활용의 실증적 근거를 제공한다고 주장한다. 연구는 자동 채점이 정수 기반 과업에는 견고하지만, 분수 기반 과업이나 깊은 맥락적 통합을 요구하는 맥락에 적용할 때는 주의가 필요함을 시사한다. 저자들은 고품질의 입력(OCR 수정을 통해)을 확보하고, 특정 코딩 과제(맥락 통합 및 데이터 충분성 등)를 해결하기 위한 프롬프트 설계를 정교화하는 것이 수학 교육에서 자동 채점의 타당성을 극대화하는 데 중요하다고 강조한다. 결론적으로, 자동 채점(AS)은 유망하지만, 광범위한 일반화를 위해서는 다양한 주제와 언어에 걸친 추가적인 검증이 필요하다.