기술 요약: 대규모 언어 모델을 이용한 학생들의 Java 프로그래밍 오류 시뮬레이션

문제 정의

학생들의 오류를 이해하는 것은 프로그래밍 교육, 특히 논리적 오류가 기저의 오개념과 결함이 있는 추론 전략을 어떻게 드러내는지 식별하는 데 있어 매우 중요합니다. 그러나 새로 설계된 과제에 대해 대표성 있는 실제 학생 오류 세트를 확보하는 것은 광범위한 강의 배치와 데이터 축적이 필요하기 때문에 느리고 비용이 많이 듭니다. 대규모 언어 모델(LLM)은 학습자 행동을 시뮬레이션할 수 있는 확장 가능한 경로를 제공하지만, 현재의 접근 방식들은 중대한 격면에 직면해 있습니다. 일반적인 프롬프팅은 정답을 생성하는 경향이 있는 반면, 무작위 변형 전략은 교육적 가치가 없는 인위적인 버그를 생성합니다. 핵심 과제는 **구별 불가능성(indistinguishability)**입니다. 즉, 단순한 표면적 노이즈가 아니라, 초보 학생이 저지를 법한 방식(부분적인 이해와 특정 오개념을 반영하는 방식)으로 오류를 생성하는 것입니다. 나아가, 기존의 평가 인프라는 다양성이나 정렬(alignment)보다는 절대적인 정확성에 우선순위를 두는 경우가 많습니다.

방법론

본 연구는 버지니아 공과대학교(Virginia Tech)의 학부생들로부터 수집된 37개의 입문 프로그래밍 문제에 걸친 74,000개 이상의 고유한 학생 Java 제출물로 구성된 CodeWorkout 데이터셋을 활용합니다.

실험 설계

1. 데이터 준비: 저자들은 원본 로그를 필터링하여 구문 오류(syntax errors)와 완전한 정답 제출물을 제외하고, 컴파일은 가능하지만 틀린 코드(논리적 오류)만을 남겼습니다. 문제는 문제당 총 학생 제출량에 따라 세 가지 고전 수준(Struggling levels)(Low, Medium, High)으로 분류하였으며, 이는 경험적 학습 난이도의 대리 지표로 활용되었습니다.
2. LLM 시뮬레이션: 다섯 가지 LLM을 평가했습니다: Google Gemini 2.5 Pro, OpenAI GPT-5, OpenAI GPT-4o, Anthropic Claude Sonnet 4, 그리고 xAI Grok Code Fast 1.
3. 프롬프팅 전략: 각 모델/문제 조합에 대해 세 가지 차별화된 전략을 테스트했습니다:
   • 입출력(Input-Output, IO): 중간 단계의 추론 없이 직접적인 지시를 제공합니다.
   • 사고의 사슬(Chain-of-Thought, CoT): 모델이 코드를 생성하기 전에 논리적 실수를 수행할 근거를 명시합니다.
   • 반복적 자기 개선(Iterative Self-Refine): 비평가가 피드백을 제공하고 개선자가 코드를 다시 작성하는 반복 루프(최대 4회 반복)입니다.
4. 평가 지표:
   • 다양성 (RQ1): 생성된 오류 코드 간의 평균 쌍별 **Zhang–Shasha (ZSS) 트리 편집 거리(tree edit distance)**를 통해 측정합니다. 편집 거리가 높을수록 구조적 변이가 큼을 의미합니다.
   • 정렬 (RQ2): LLM이 생성한 코드와 가장 가까운 실제 학생 제출물 간의 **최근접 이웃 편집 거리(nearest neighbor edit distance)**로 측정합니다. 거리가 낮을수록 실제 학생 오류에 대한 충실도가 높음을 의미합니다.
   • 질적 검증: 합성 오류(Claude Sonnet 4와 Self-Refine 사용)와 실제 오류를 비교하는 블라인드 전문가 주석 연구($N=401$)를 수행했습니다. 전문가들은 타당성(plausibility)(1~5 리커트 척도)을 평가하고, 출처 귀속(source attribution)(튜링 테스트)을 수행했으며, 오류를 8가지 논리 오류 분류 체계로 범주화했습니다.

주요 결과

1. 다양성 (RQ1)

모든 모델은 다양한 오류 코드를 생성하는 능력을 보여주었으나, 모델과 전략에 따라 성능 차이가 크게 나타났습니다.

• Gemini 2.5 Pro와 Claude Sonnet 4는 특히 CoT 프롬프팅을 사용할 때 평균 편집 거리가 60을 넘어서는 등 가장 높은 다양성을 보였습니다.
• GPT-4o는 가장 동질적인(가장 다양성이 낮은) 오류 패턴(거리 ~25–40)을 생성했습니다.
• 프롬프팅의 영향: 전략은 다양성을 다르게 조절했습니다. 예를 들어, Self-Refine은 Claude Sonnet 4의 다양성을 감소시켰으나 다른 맥락에서는 다양성을 증가시켰습니다.

2. 정렬 (RQ2)

실제 학생의 오류를 모방하는 능력은 모델마다 달랐으며, 다양성과 명확한 트레이드오프 관계를 보였습니다.

• Claude Sonnet 4는 모든 전략에 걸쳐 상대적으로 낮은 편집 거리(최적 사례: Self-Refine 적용 시 16.35)를 유지하며 가장 균형 잡힌 성능을 달성하여, 인간의 오류에 대한 높은 충실도를 보였습니다.
• Grok Code Fast 1은 Self-Refine을 통해 절대 최솟값(16.22)을 달성했으나, 다른 프롬프트에서는 높은 분산을 보였습니다.
• GPT-5와 Gemini 2.5 Pro는 정렬 성능이 저조했으며, 편집 거리가 종종 80을 초과하여 이들의 오류가 실제 학생의 패턴에서 크게 벗어나 있음을 시사했습니다.
• 인간 평가: 주석가들은 LLM이 생성한 제출물의 **83.7%**를 인간이 작성한 것으로 잘못 분류했습니다. 놀랍게도, LLM 생성 오류는 실제 오류보다 유의미하게 높은 타당성 점수(4.27)를 받았습니다(실제 오류는 3.78). 이는 LLM이 교과서적인 오개념(예: 조건 논리, 경계 오류)과 유사한 "깔끔한", 단일 목적의 논리적 버그를 생성하는 반면, 실제 학생의 코드는 범용적이고 다중 결함이 있거나 전략적 수준의 오류를 포함하여 깔끔하게 범주화하기 어렵기 때문인 것으로 분석됩니다.

3. 조절 변수로서의 고전 수준 (RQ3)

프로그래밍 과제의 난이도(고전 수준)는 다양성과 정렬 모두에 영향을 미쳤습니다.

• 다양성: 높은 고전 수준일수록 LLM으로부터 더 다양하고(이질적인) 오류 출력이 도출되었습니다. 이는 어려운 문제일수록 더 많은 실패 경로가 열리기 때문입니다.
• 정렬: 반대로, 고전 수준이 높아질수록 LLM 생성 오류와 실제 오류 사이의 정렬도가 감소했습니다(편집 거리 증가). 모델들은 난이도가 높은 문제에서 학생다운 논리적 오류를 재현하는 데 어려움을 겪었으며, 실제 행동에서 더 멀어졌습니다.

의의 및 기여

본 논문은 LLM이 논리적 오류를 생성하는 학생의 확장 가능한 대리 모델 역할을 할 수 있다고 주장하지만, 적용 목표에 따라 관리해야 할 특정 트레이드오프가 존재함을 밝힙니다.

1. 균형 잡힌 시뮬레이션: Claude Sonnet 4가 다양한 오류 패턴을 생성하면서도 실제 학생의 실수에 대한 높은 충실도를 유지하는 절충안을 제공하는 가장 균형 잡힌 모델로 식별되었습니다.
2. 교육적 유용성: 본 연구는 합성 오류가 전문가들에게 실제 오류와 기능적으로 구별 불가능함을 검증했습니다. 이는 다음 분야에 합성 데이터의 통합을 뒷받침합니다:
   • 지능형 튜터링 시스템(ITS): 희소한 인간 데이터에 전적으로 의존하지 않고도 다양한 오개념을 진단하도록 시스템을 훈련시키기 위함입니다.
   • 가르칠 수 있는 에이전트(Teachable Agents): 학습자가 AI가 생성한 오류를 수정함으로써 간접 학습을 촉진할 수 있도록 합니다.
   • 교사 전문성 개발: 교육자가 더 나은 교수 계획을 세울 수 있도록 예상되는 오개념의 집중된 변종들을 교사에게 노출시킵니다.
3. 설계 고려 사항: 연구 결과는 **다양성-충실도 트레이드오프(diversity–fidelity trade-off)**를 강조합니다. 다양성이 강한 모델(예: Gemini)은 정렬이 부족할 수 있고, 정렬이 높은 모델은 다양성이 낮을 수 있습니다. 또한, 과제의 "고전 수준"은 이중 조절 변수로 작용합니다. 즉, 오류의 폭은 넓히지만 실제 학생 행동의 대표성은 떨어뜨립니다.

저자들은 LLM이 교육 기술 분야에서 학생 데이터를 증강하는 유망한 방안을 제공하지만, 광범위한 오개념 커버리지를 목표로 하는지 혹은 관찰된 교실 오류 분포의 정밀한 근사치를 목표로 하는지에 따라 적절한 모델과 프롬프팅 전략을 신중하게 선택해야 한다고 결론짓습니다.