Using LLMs to Detect Growth in Computational Thinking in Introductory Physics

기술 요약: 기초 물리학에서의 컴퓨테이셔널 싱킹(Computational Thinking) 성장을 탐지하기 위한 LLM 활용

문제 정의
컴퓨팅이 실험, 이론과 더불어 물리학 교육의 "제3의 기둥"이 됨에 따라, 교육자들은 표면적인 프로그래밍 기술을 넘어 진정한 컴퓨테이셔널 싱킹(CT)을 함양해야 하는 과제에 직면해 있다. 개방형 서술형 응답은 학생의 추론과 물리 법칙 및 코드의 통합 과정을 보여주는 풍부한 창을 제공하지만, 이를 대규모로 평가하는 것은 자원이 많이 소모되며 평가자 간 신뢰도 문제가 발생하기 쉽다. 반대로, 객관식 평가는 정신 모델(mental models)을 포착할 수 있는 깊이가 부족하다. 생성형 AI의 가용성 증가는 학생들이 인지적 노력을 우회할 수 있게 함으로써 평가를 더욱 복잡하게 만든다. 본 연구는 대규모 수강 인원을 가진 물리학 과정에서 복잡하고 개방적인 CT 평가를 효과적으로 평가할 수 있는 확장 가능하고 신뢰할 수 있는 방법을 조사하며, 특히 거대 언어 모델(LLM)이 학생의 CT 실천 능력 성장에 대한 인간의 평가를 효과적으로 모사할 수 있는지 탐구한다.

연구 방법론
본 연구는 미국 중서부의 한 대규모 대학에서 수강한 계산 기반 공학 물리학 과정의 학생 936명을 대상으로 사전 테스트/사후 테스트 설계를 활용하였다. 해당 과정은 매주 파이썬(Python) 기반의 실험을 포함하여 컴퓨팅을 비중 있게 통합하였다.

1. 도구 개발: Weintrop 등의 CT 분류 체계를 기반으로 네 가지 영역(데이터 실천(DP), 컴퓨테이셔널 문제 해결 실천(CPP), 모델링 및 시뮬레이션 실천(MSP), 시스템 사고 실천(STP))을 다루는 세 가지 개방형 설문 문항을 개발하였다.
   • Q25: 파이썬으로 생성된 에너지-위치 그래프 해석 (DP, CPP, STP).
   • Q26: 탄성 충돌을 위한 파이썬 스크립트의 알고리즘 로직 추적 (CPP, STP).
   • Q27: 썰매 시뮬레이션을 위한 매개변수 제안 (MSP, STP).
2. 인간 기준점(Human Baseline): 각 CT 실천 및 물리적 정확성(Physics Correctness)에 대해 0–2 척도로 점수를 매기는 특화된 루브릭을 개발하였다. 세 명의 연구자가 운영 정의에 대한 합의를 달성한 후, 50명의 학생(응답 300개)의 응답을 독립적으로 코딩하여 "그라운드 트루스(ground truth)"를 구축하였다. 평가자 간 신뢰도(Fleiss' $\kappa$)를 계산하였다.
3. LLM 검증: API를 통해 다중 모드 LLM(GPT-5.4-mini)을 배치하였다. 모델은 설문 이미지, 프롬프트 텍스트, 그리고 학생의 응답을 전달받았다. 모델에게 전문 물리학 교육 연구자의 역할을 부여하고 정확한 인간 루브릭을 제공하는 구조화된 프롬프트를 사용하여, LLM은 근거와 점수를 생성하였다. 일관성을 보장하기 위해 온도를 0.2로 설정하였으며, 각 응답은 세 번의 독립적인 실행을 통해 평가되었고 최종 점수는 다수결로 결정되었다.
4. 분석: 50명 학생의 데이터셋에 대한 LLM의 점수를 인간의 기준점과 비교하여 일치도를 계산하였다. 이후 검증된 LLM 파이프라인을 전체 데이터셋($N=936$)에 적용하여 성장 추세를 탐지하였다.

주요 결과

• 인간 신뢰도: 인간 코더들은 명시적인 과업(MSP $\kappa=0.80$, DP $\kappa=0.80$)과 물리적 정확성($\kappa=0.73$)에 대해 상당한 일치도를 보였다. 일치도는 더 복잡한 시스템 사고(STP) 구성 요소( $\kappa=0.51$)에서 더 낮았는데, 이는 해당 개념의 내재적인 인지적 요구도를 반영한다.
• 학생 성장 (인간 채점): 인간 채점 데이터셋 분석 결과, 데이터 실천($d=1.03$), 컴퓨테이셔널 문제 해결($d=0.52$), 시스템 사고($d=0.45$)에서 유의미한 성장이 나타났다. 물리적 정확성은 작거나 중간 정도의 성장($d=0.31$)을 보였다. 모델링 및 시뮬레이션 실천(MSP)에서는 유의미한 성장이 관찰되지 않았는데($d=0.00$), 이는 학생들이 초기 프롬프트에서 높은 점수를 받을 만큼 충분한 사전 지식을 가지고 입과했다는 "천장 효과(ceiling effect)"에 기인한다.
• LLM 성능: LLM은 잘 정의된 실천 영역(DP $\kappa=0.90$, MSP $\kappa=0.78$, CPP $\kappa=0.69$)에서 인간 평가자와 상당한 일치도를 보였다. 복합적인 다구성 요소 개념(물리적 정확성 $\kappa=0.53$, STP $\kappa=0.48$)에 대해서는 일치도가 낮았는데, 이는 인간 코더들 사이에서 관찰된 낮은 신뢰도를 그대로 반영한다.
• 확장성: 전체 데이터셋에 적용했을 때, LLM은 인간 평가자가 식별한 거시적 추세를 성공적으로 재현하여 Q25와 Q26에서 DP와 CPP의 유의미한 성장을 탐지하였고, Q27에서 MSP의 성장이 없음을 확인하였다.

주요 기여

• CT 평가를 위한 LLM의 타당성 검증: 본 연구는 LLM이 명확하게 정의된 실천 영역에 대해 전문가 수준의 일치도를 달성함으로써, 개방형 CT 평가를 위한 실행 가능하고 확장 가능한 메커즘이 될 수 있음을 입증한다.
• CT 성장의 경험적 증거: 본 연구는 컴퓨팅 집약적인 물리학 커리큘럼 내 특정 CT 영역(DP, CPP, STP)에서의 학생 성장에 대한 정량적 증거를 제공하는 동시에, 학생들이 높은 사전 지식을 보유한 영역을 측정하는 것의 어려움을 강조한다.
• 평가의 한계 식별: 본 연구는 인간과 AI 평가자 모두 복합적인 통합 구성 요소인 시스템 사고(STP)를 다루는 데 어려움을 겪는다는 점을 식별하였으며, 이는 현재의 루브릭과 프롬프트가 시스템 구성 요소를 식별하는 것과 그 상호작용을 설명하는 것을 구분하도록 개선될 필요가 있음을 시사한다.

의의 및 주장
저자들은 LLM이 질적 물리학 교육 연구의 확장성 문제를 해결할 수 있는 실용적인 솔루션을 제공한다고 주장한다. 본 연구는 LLM이 단순히 채점을 자동화하는 것이 아니라, 대규모 인구 집단 전반에 걸쳐 핵심적인 교육적 추세(예: 데이터 실천의 성장)를 신뢰할 수 있게 탐지할 수 있다고 상정한다. 그러나 저자들은 고도로 통합된 구성 요소의 평가에 대해서는 신중한 태도를 유지한다. 그들은 복합적인 개념인 STP에 대한 점수의 변동성이 모델의 결함보다는 해당 개념 자체의 난이도에서 비롯된다고 결론짓는다. 결과적으로, 본 논문은 LLM이 복잡한 추론을 평가하는 문제를 해결했다고 주장하는 것이 아니라, 복잡한 추론을 평가할 때 주의 깊은 루브릭 설계와 인간의 감독이 필요하지만, LLM이 확장 가능한 형성 평가를 위한 실행 가능한 경로를 제공한다는 점을 논한다. 본 연구는 LLM이 대규모 수강 인원을 가진 과정에서 학생의 CT 평가를 확장할 수 있는 유망한 길임을 제시한다.