Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

기술적 요약: 대규모 언어 모델을 활용한 물리 개념 질문에 대한 학생 설명 조사

문제 제기
에너지와 운동량 개념 설문 (EMCS) 과 같은 연구 기반의 객관식 (MC) 평가는 확장성으로 인해 물리 개념 이해도를 평가하는 표준 도구로 사용됩니다. 그러나 저자들은 객관식 형식이 다음과 같은 중대한 한계를 겪고 있다고 주장합니다. 즉, 학생들이 물리 개념에 대해 추론하는 다양한 방식을 드러내지 못하고, 학생들이 활성화하는 구체적인 개념적 자원을 밝히지 못하며, 오답 선지에 대한 반복 노출을 통해 오해의 소지가 있는 연관성을 부추길 수 있습니다. 반면, 서술형 응답은 더 깊은 교육학적 통찰을 제공하지만, 대규모 (예: N > 1,000 인 강의) 로 채점하는 것은 지나치게 노동 집약적이며 불일치를 초래하기 쉽습니다. 본 연구는 이러한 근본적인 개념적 자원을 식별하기 위해 학생들의 서술형 설명을 평가할 수 있는 확장 가능하고 일관된 방법의 필요성을 다룹니다.

방법론
본 연구는 미국 한 대형 대학의 1 학기 미적분 기반 물리 과정에서 1,131 명의 학생을 대상으로 수행되었습니다. 연구진은 EMCS 를 사전 테스트와 사후 테스트로 실시했습니다. 사후 테스트에서는 세 가지 특정 질문 (Q05, Q16, Q23) 을 원래의 객관식 형식에서 서술형 질문으로 변환했습니다. 이러한 질문들은 사후 테스트 점수 향상도가 낮고 수행도가 부진함을 나타내는 문헌에 기반하여 선정되었으며, 이는 학생들이 이러한 항목에서 비생산적인 개념적 자원을 자주 활성화함을 시사합니다.

학생들은 한 학기 내내 연습해 온 주장 - 증거 - 추론 (CER) 프레임워크를 사용하여 응답하도록 지시받았습니다. 데이터 분석에는 OpenAI 의 GPT-4o 대규모 언어 모델 (LLM) 이 활용되었습니다. LLM 은 특정 rubric 을 갖춘 '경험 많은 물리 교육자' 역할을 하는 구조화된 템플릿을 통해 프롬프트를 입력받아 다음을 수행하도록 했습니다:

1. 학생의 주장 (답변) 의 정확성 평가.
2. 증거와 추론의 정확성 평가.
3. 명확한 개념적 패턴에 기반하여 오답 설명에 대한 신흥 카테고리 할당 (최대 6 개 카테고리).
4. 채점 전에 물리 원리를 단계별로 검토하기 위해 '생각의 사슬 (chain of thought)' 프롬프팅 활용.

LLM 의 성능을 검증하기 위해 인간 채점자 (HG) 가 무작위 추출된 응답의 20% ($N=231$) 를 독립적으로 분석했습니다. 연구진은 코헨의 카파 (Cohen's kappa) 를 사용하여 일치도를 측정하고, 올바른 분류의 백분율을 비교했습니다. 또한 LLM 은 온도 (temperature) 설정을 0.5 로 하여 여러 번 실행했을 때의 일관성도 테스트되었습니다.

주요 결과

• 채점 정확도: LLM 은 인간 채점자와 높은 일치도를 보였습니다. 전체적인 정확성 (올바른 추론으로 뒷받침된 주장) 의 불일치는 세 가지 질문에 걸쳐 놀랍게도 0% 에서 3% 사이로 매우 낮았습니다. LLM 과 인간 채점자 간의 평균 코헨의 카파는 0.77(상당히 높음에서 거의 완벽에 이르는 일치) 이었으며, 개별 질문 점수는 각각 0.74, 0.65, 0.89 였습니다.
• 신흥 카테고리: LLM 은 사전 정의되지 않은 오답 설명에 대한 신흥 카테고리를 성공적으로 생성했습니다. 예를 들어, Q05 에서 LLM 은 원래 객관식 오답 선지에 존재하지 않았던 '충돌 유형 오적용' 및 '충돌 유형 오식별'과 같은 카테고리를 식별했습니다.
• 숨겨진 오개념 드러내기: 분석은 학생들이 잘못되거나 비생산적인 추론에 기반하여 올바른 주장 (답변) 을 제시한 사례를 드러냈습니다. 객관식 형식에서는 이러한 학생들이 정답으로 간주되었을 것이지만, LLM 은 우연히나 결함 있는 논리로 정답에 도달하게 만든 결함 있는 개념적 자원 (예: 비탄성 충돌 맥락에서 운동량 보존 법칙의 오적용) 을 식별했습니다.
• 일관성: LLM 은 여러 번 실행 시 일관된 신흥 카테고리를 생성했으며, 완전히 정답으로 간주된 학생의 비율에서 표준 편차가 낮았습니다.

의의 및 주장
저자들은 두 가지 주요 기여를 주장합니다:

1. 신뢰성: 적절하게 프롬프트된 LLM(특히 GPT-4o) 은 답변과 이를 뒷받침하는 설명을 모두 포함하여 학생들의 서술형 응답의 전체적인 정확성을 인간 채점자와 비교 가능한 일치 수준으로 신뢰성 있게 평가할 수 있습니다. 이는 LLM 이 대규모로 수행되는 서술형 물리 질문 채점의 병목 현상을 완화할 수 있음을 시사합니다.
2. 심층적 통찰: LLM 기반 분석은 기존 객관식 평가의 고정된 옵션으로는 포착되지 않는 오답 추론의 신흥 카테고리를 드러냅니다. 본 연구는 LLM 이 표준 객관식 형식에서는 숨겨져 있는 생산적 및 비생산적인 구체적인 개념적 자원과 '다양한 사고 방식'을 밝혀낼 수 있음을 보여줍니다.

본 논문은 객관식 평가가 올바른 개념을 가진 학생의 비율을 정량화하는 데는 충분하지만, LLM 은 대규모 수강생 강의에서 학생들의 풍부한 추론을 조사하고 특정 오해를 격리하기 위해 교육자들에게 유망한 길을 제시한다고 결론지었습니다. 저자들은 사용된 질문의 하위 집합에 대한 한계 (학생 피로에 대한 우려로 인해) 를 지적하며, 향후 연구는 이러한 분석을 전체 EMCS 와 더 복잡한 물리 평가로 확장하는 것을 목표로 한다고 밝혔습니다.