AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
본 연구는 프롬프트 기반의 거대 언어 모델이 미세 조정 없이도 개방형 학생 수학 응답에서 개념적 범주를 안정적으로 식별할 수 있음을 입증하며, 긍정적 특징과 깊은 개념적 이해에 대해서는 높은 정확도를 달성하는 동시에, 부재하는 특징을 검증하거나 모호성을 해결하는 데 있어 전문가의 개입 지원과 언어적으로 명시적인 프롬프트의 필요성을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
교실에서 가장 가치 있는 순간은 종종 학생이 정답을 맞혔을 때가 아니라, 그 정답에 도달하기 위해 어떻게 생각했는지를 설명할 때 일어납니다. 교사들은 학생의 마음을 진정으로 이해하기 위해서는 단순히 최종 결과값 너머에 있는 추론 과정을 보아야 한다는 것을 오래전부터 알고 있었습니다. 이것이 바로 형성 평가의 핵심입니다. 즉, 학습이 진행되는 도중에 학습 상태를 점검하여, 학생이 앞으로 나아갈 수 있도록 수업 방식을 조정하는 과정입니다. 하지만 실질적인 문제가 있습니다. 학생들이 자신의 생각을 글로 쓰거나, 그림을 그리거나, 자신만의 문장제 문제를 만들 때, 교사는 읽고 해석해야 할 엄청난 양의 텍스트라는 산에 직면하게 됩니다. 모든 학생을 대상으로 이를 깊이 있게 수행하는 것은 바쁜 학교 일과 중에는 좀처럼 불가능한 일입니다. 그 결과, 많은 교사가 학생의 설명 속에 숨겨진 풍부한 통찰력을 놓친 채 최종 정답만을 채점하게 됩니다.
수년 동안 연구자들은 이러한 설명을 읽고 그 안에 담긴 사고 패턴을 포착할 수 있는 컴퓨터를 만들기 위해 노력해 왔습니다. 초기 시도들은 종종 엄격한 규칙에 의존하거나, 학습을 위해 방대한 양의 사전 라벨링된 데이터를 필요로 했기 때문에 실패하곤 했습니다. 거대한 텍스트 양을 학습하여 인간의 언어를 이해하고 생성할 수 있는 강력한 컴퓨터 시스템인 대규모 언어 모델(LLM)의 등장은 이 질문을 다시 불러일으켰습니다. 이 모델들은 매번 특정 작업을 위해 재학습될 필요 없이, 평이한 영어로 작성된 지시사항을 따를 수 있습니다. 그러나 결정적인 의문이 남아 있습니다. 언어 능력은 뛰어나지만, 수학의 구체적이고 때로는 미묘한 논리를 실제로 이해할 수 있을 것인가 하는 점입니다. 기계가 개념을 진정으로 파악한 학생과, 단지 추측을 하거나 틀린 이유에 대해 맞는 단어만을 사용하고 있는 학생을 구별해 낼 수 있을까요?
도르트문트 대학교(TU Dortmund University)의 한 연구자는 수학 교육의 맥락에서 이 질문에 대한 답을 찾고자 했습니다. 연구자는 이러한 새로운 AI 도구들이 개방형 수학 응답에서 나타나는 특정한 유형의 학생 사고를 신뢰성 있게 식별할 수 있는지, 그리고 실제 교실에서 유용할 만큼 충분히 잘 해낼 수 있는지를 알고 싶었습니다. 연구는 자연수와 분수라는 두 가지 주요 영역에 집중했습니다. 연구자는 5, 6학년 학생들로부터 작성된 수천 개의 응답을 수집했습니다. 학생들은 분수가 특정 방식으로 작동하는 이유를 설명하거나, 주어진 수학 방정식에 대한 자신만의 문장제 문제를 만드는 등의 과제를 수행했습니다. 목표는 인간 전문가가 작성한 지침에 따라 AI가 이러한 응답들을 '깊은 이해를 보여줌', '특정한 오개념을 가짐', 또는 '이해의 근거를 제시하지 못함'과 같은 의미 있는 범주로 분류할 수 있는지 확인하는 것이었습니다.
연구자는 학생의 개인정보를 보호하기 위해 학교 자체 서버에 호스팅할 수 있는 기술인 오픈 소스 AI 모델 네 가지를 테스트했습니다. 연구자는 AI의 채점을 인간 전문가의 채점과 비교했습니다. 결과는 놀라울 정도로 긍정적이었습니다. 13,000개 이상의 코딩된 응답에 걸쳐, AI 모델들은 인간 전문가와 높은 수준의 일치도를 보였으며, 학생 사고의 주요 범주를 약 82%의 확률로 정확하게 식별해 냈습니다. 이러한 성능은 서로 다른 유형의 수학 문제와 서로 다른 모델 전반에 걸쳐 일관되게 나타났습니다. AI는 곱셈이 항목들을 묶는 과정을 포함한다는 것을 이해하는 것과 같이 학생이 개념을 올바르게 설명했을 때나, 학생이 추론 과정에서 명확하고 구체적인 오류를 범했을 때를 포착하는 데 특히 뛰어났습니다.
하지만 연구는 기계가 한계에 부딪히는 지점도 밝혀냈습니다. AI가 학생의 이야기에 포함된 숫자들이 실제로 합계가 맞는지 확인하는 것과 같은 단순한 산술적 검증을 수행해야 할 때 모델들은 어려움을 겪었습니다. 또한 학생의 응답이 매우 짧거나 모호할 때, 혹은 학생이 모호한 언어를 사용할 때도 어려움을 겪었습니다. 이러한 까다로운 상황에서 AI는 추측하는 경향이 있었으며, 종종 학생이 실제보다 더 많이 이해하고 있다고 가정하곤 했습니다. 연구자는 AI가 지식을 갖춘 비전문가 인간 독자(예: 예비 교사)만큼의 성능을 보였지만, 숙련된 전문가가 깊은 개념적 오류를 즉각적으로 찾아내거나 계산을 검증하는 능력에는 미치지 못한다는 것을 발견했습니다.
가장 중요한 발견은 단순히 AI가 작동한다는 사실이 아니라, AI가 어떻게 작동하며 어디에서 도움이 필요한가 하는 점이었습니다. 연구자는 AI가 학생의 응답이 언어적으로 명시적일 때 가장 신뢰할 수 있다는 것을 발견했습니다. 만약 학생이 그룹화 구조를 설명하기 위해 명확한 단어를 사용한다면 AI는 이를 쉽게 포착합니다. 반면 학생이 모호하다면 AI는 길을 잃습니다. 이는 테스트 질문 자체의 설계가 매우 중요하다는 것을 시사합니다. 즉, 학생들이 명확하고 완전하게 글을 쓰도록 유도하는 질문이 AI 도구로부터 더 나은 결과를 얻어낼 수 있습니다. 나아가, 본 연구는 이러한 AI 도구들이 교사를 대체하는 것이 아니라 강력한 촉매제 역할을 해야 한다고 결 결론지었습니다. AI는 수천 개의 응답을 읽고 분류하는 힘든 일을 대신 수행하여, 인간의 눈길이 필요한 부분을 표시해 줄 수 있습니다. 이를 통해 교사는 가장 어려운 사례들에 집중하고, 학급의 이해도에 대한 더 명확하고 조직적인 그림을 바탕으로 최종적인 교육적 결정을 내릴 수 있습니다.
연구자는 AI가 교사의 판단을 대신하는 것이 아니라 교사를 위한 도구임을 강조합니다. 이 시스템은 기계가 분석의 초안을 제공하고, 인간 교사가 이를 검토하여 오류를 수정하고 사람만이 제공할 수 있는 맥락을 추가하는 루프로 작동하도록 설계되었습니다. 이러한 접근 방식은 가르치는 일의 복잡성을 존중하면서도 인간의 시간적 한계를 인정하는 것입니다. AI를 사용하여 초기 분류 작업을 처리함으로써, 교사는 단지 소수의 학생이 아닌 모든 학생의 깊은 개념적 사고에 잠재적으로 참여할 수 있습니다. 이 연구는 AI가 아직 숙련된 교사의 미묘한 이해를 대체할 수는 없지만, 수학 분야에서 깊이 있고 개인화된 형성 평가라는 꿈을 학교 현장에서 실질적인 현실로 만들 수 있는 단계에 도달했음을 확인시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.