Can LLMs Model Incorrect Student Reasoning? A Case Study on Distractor Generation

이 논문은 대규모 언어 모델 (LLM) 이 오답 선지 생성을 위해 올바른 해답을 먼저 도출한 후 학생의 오개념을 시뮬레이션하는 등 학습 과학의 모범 사례와 놀라울 정도로 일치하는 방식으로 작동함을 규명하고, 정답을 프롬프트에 포함시키는 것이 인간이 작성한 오답과 모델의 생성물을 더 잘 정렬시키는 데 결정적임을 보여줍니다.

핵심

🎭 1. 연구의 배경: 왜 '틀린 답'을 만들어야 할까?

시험 문제를 만들 때, 정답만 있으면 안 됩니다. 학생들이 헷갈려서 고를 만한 **오답 (Distractor, 방해꾼)**도 있어야 합니다.

• 좋은 오답: 단순히 숫자를 바꿔서 만든 게 아니라, "아, 이 학생은 분수를 나눌 때 분모를 까먹었구나!"라고 생각하게 만드는, 논리적인 실수여야 합니다.
• 과거의 문제: 예전에는 이런 오답을 만들기 위해 인간 전문가가 머리를 싸매고 고민해야 했습니다.
• 새로운 시도: 이제 AI 가 대신 오답을 만들어주면 어떨까? 하지만 AI 는 보통 '정답'만 잘 맞추도록 훈련받았습니다. AI 가 의도적으로 틀리면서도 그럴듯한 답을 만들 수 있을까요?

🔍 2. 연구 방법: AI 의 두뇌를 X-ray 로 찍다

연구진은 AI 가 오답을 만들어내는 과정을 단순히 결과만 보는 게 아니라, **AI 가 생각하는 과정 (생각의 흔적)**을 자세히 분석했습니다. 마치 마술사가 마술을 부리는 과정을 하나하나 분해해서, 그가 어떻게 속임수를 썼는지 분석하는 것과 같습니다.

그들은 AI 의 생각 과정을 8 가지 단계로 나누어 보았습니다.

1. 문제 이해: "이게 무슨 문제지?"
2. 정답 찾기: "일단 정답은 뭐지?" (여기서부터 시작!)
3. 실수 유형 찾기: "학생들이 자주 하는 실수는 뭐가 있을까?"
4. 실수 시뮬레이션: "자, 내가 학생이 되어 이 실수를 해보자."
5. 틀린 답 만들기: "이렇게 하면 답이 5 가 나오겠네."
6. 검토: "이 답이 학생들에게 그럴듯해 보일까?"
7. 최종 선정: "이 중에서 가장 좋은 오답 3 개를 고르자."
8. 다시 생각하기: "혹시 다른 실수는 없었나?"

🧠 3. 놀라운 발견: AI 는 '교수'처럼 생각한다!

연구 결과는 매우 흥미로웠습니다.

• 예상과 달리 잘한다: AI 는 단순히 정답을 살짝 변형해서 오답을 만드는 게 아니라, 실제 교육학에서 권장하는 방식과 거의 똑같이 행동했습니다.
• 정답을 먼저 찾는다: AI 는 먼저 문제를 정확하게 풀어서 정답을 구한 뒤, 그 정답을 기준으로 "어디서 실수를 했을지" 상상합니다. 마치 수학 선생님이 먼저 문제를 풀고, "여기서 학생들이 자주 틀리더라"라고 가르치는 방식과 같습니다.
• 실제 학생처럼 연기: AI 는 "분모를 까먹는 실수", "부호를 잘못 보는 실수" 등을 구체적으로 시뮬레이션하며, 그 결과로 나오는 답을 오답으로 제시했습니다.

비유하자면:

AI 는 단순히 "정답이 5 라면 오답은 6 이나 4 가 되겠지"라고 대충 찍는 무작위 추측자가 아니라,
"학생이 분수 계산에서 분모를 잊어버리면 6 이 나오겠네"라고 **구체적인 시나리오를 짜는 '연기파'**가 되었습니다.

⚠️ 4. 하지만 아직 부족한 점: '정답'을 잊어버리는 실수

AI 가 잘하는 부분도 있지만, 실패하는 지점도 발견했습니다.

• 정답을 잊어버리는 경우: AI 가 오답을 만들다가, 정답을 계산하는 과정 자체를 잘못 계산하는 경우가 있었습니다. 기초가 흔들리면 그 위에 지은 오답 집도 무너지는 격입니다.
• 선택의 어려움: 여러 개의 오답 후보를 만들어냈을 때, "어떤 게 학생들에게 가장 그럴듯할까?"를 고르는 과정에서 약간의 혼란이 있었습니다.

해결책:
연구진은 AI 에게 **"정답은 이미 5 입니다. 이걸 기준으로 오답을 만들어줘"**라고 알려주니, 오답의 질이 8% 나 향상되었습니다.

비유: 요리사가 "이 요리의 기본 맛은 소금 1 스푼이야"라고 알려주면, "소금 0.5 스푼"이나 "소금 2 스푼"이라는 실험적인 요리를 더 잘 만들어내는 것과 같습니다.

🚀 5. 결론: AI 는 훌륭한 '학생 모델'이 될 수 있다

이 연구는 다음과 같은 메시지를 줍니다.

1. AI 는 학생의 실수를 이해할 수 있다: AI 는 단순히 정답만 아는 게 아니라, 학생이 왜 틀리는지 그 '이유'까지 시뮬레이션할 수 있는 능력이 있습니다.
2. 교육 도구로 활용 가능: 이 기술을 쓰면, AI 가 자동으로 학생들의 오개념을 파악하고, 그걸 바탕으로 맞춤형 문제를 만들어낼 수 있습니다.
3. 핵심은 '정답'을 먼저 아는 것: AI 가 좋은 오답을 만들려면, 먼저 정답을 정확히 알고 있어야 그걸 기준으로 실수를 만들어낼 수 있습니다.

한 줄 요약:

"AI 는 이제 학생이 실수하는 모습을 흉내 내는 '연기'를 잘하게 되었습니다. 다만, 그 연기를 더 완벽하게 하려면 먼저 정답을 확실히 알고 있어야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 교육용 AI 의 핵심인 '학생 모델링 (Student Modeling)'은 학생이 무엇을 알고 있는지뿐만 아니라, 체계적인 오류와 오개념 (misconception) 을 어떻게 추론하는지도 이해해야 합니다. 다지선다형 문제 (MCQ) 의 오답 (distractor) 생성은 이러한 학생 모델링의 자연스러운 응용 분야입니다.
• 문제: 기존 연구들은 LLM 이 생성한 오답의 최종 결과물 (성능) 에만 초점을 맞추었습니다. 그러나 LLM 이 어떻게 오답 후보를 도출하는지, 즉 그 내부의 추론 과정 (reasoning process) 이 교육학의 최선 사례 (best practices) 와 일치하는지 여부는 명확하지 않았습니다.
• 목표: LLM 이 오답을 생성할 때 사용하는 추론 전략을 분류하고, 학습 과학 (learning sciences) 의 이론과 비교하여 LLM 이 학생의 오개념을 얼마나 잘 모델링하는지 분석하는 것입니다.

2. 방법론 (Methodology)

2.1. 데이터셋 및 모델

• 데이터셋: Eedi Math MCQ Dataset (초등학교 수준의 수학 문제 429 개) 을 사용했습니다. 이미지 기반 문제는 제외하고, 오답이 명확히 정의된 문제만 선별했습니다.
• 모델: 추론 능력이 뛰어난 두 가지 LLM 인 DeepSeek-V3.2와 GLM-4.7을 사용했습니다.
• 실험 설정:
  • Direct Prompting: 오답을 직접 생성하도록 지시 (추론 비활성화).
  • Chain-of-Thought (CoT): 단계별 추론을 요구하지만 추론 토큰은 제한.
  • Reasoning Prompting: 모델이 추가적인 추론 토큰을 생성하며 문제를 해결하도록 유도.

2.2. 전략 분류 체계 (Taxonomy) 개발

학습 과학 문헌과 LLM 의 실제 추론 흔적 (reasoning traces) 을 결합하여 **오답 생성 전략 분류 체계 (Taxonomy)**를 구축했습니다. 주요 전략은 다음과 같습니다:

1. INTER (Task Interpretation): 문제 지시사항 해석.
2. CORR (Correct Answer Ref.): 정답 계산 또는 참조.
3. ERR_DESC (Error Description): 일반적인 오개념이나 절차적 오류에 대한 고수준 설명.
4. ERR_SIM (Error Simulation): 잘못된 추론 과정을 명시적으로 시뮬레이션.
5. INST (Outcome Instantiation): 오류로 인한 잘못된 결과 (후보 오답) 도출.
6. PLAUS (Plausibility Check): 학생이 이 오답을 선택할 가능성 평가.
7. CURATE (Final Set Curation): 최종 오답 세트 선정 및 다듬기.
8. RECON (Reconsideration): 이전 결정 재검토.

2.3. 분석 프로세스

• 자동 주석 (Automatic Annotation): LLM 을 활용하여 240 개의 추론 흔적에 위 분류 체계의 태그를 자동으로 할당하고, 인간 전문가를 통해 품질을 검증했습니다 (정밀도 0.97, 재현율 0.95).
• 분석 차원:
  • 빈도 분석: 각 전략이 얼마나 자주 사용되는지.
  • 시간적 진화: 추론 과정에서 전략이 언제 등장하는지 (시계열 분석).
  • 순차적 구조: 전략 간의 전이 확률 (Transition probabilities) 분석.

3. 주요 결과 (Key Results)

3.1. LLM 의 추론 전략과 학습 과학의 일치성

• 해결 - 먼저, 오류 주입 (Solve-First, Error-Injection): LLM 은 대부분 정답을 먼저 올바르게 풀고, 그 후 특정 단계에서 학생의 오개념을 시뮬레이션하여 오류를 주입하는 방식을 따랐습니다. 이는 학습 과학에서 권장하는 '오개념 기반 (misconception-based)' 설계 방식과 놀랍도록 일치합니다.
• 유사성 기반 전략의 부재: 정답의 표면적 특징만 변경하는 단순한 유사성 기반 (similarity-based) 전략은 드물게 관찰되었습니다 (약 3% 미만).
• 탐색적 과정: LLM 은 최종 오답 3 개를 선택하기 전에 평균 12.6 개의 잠재적 학생 해결 경로 (DeepSeek 기준) 를 고려하며, 후보를 생성하고 평가하는 'Best-of-N' 탐색 과정을 거치는 것으로 나타났습니다.

3.2. 성능 및 실패 원인 분석

• 성능 향상: 추론을 활성화한 설정 (CoT, Reasoning) 이 직접 생성 (Direct) 보다 오답 일치율 (Proportional Match) 이 유의미하게 높았습니다 (약 0.51 vs 0.34).
• 성공 요인: 오류 시뮬레이션 (ERR_SIM) 과 추론 구조 자체는 매우 견고했습니다.
• 실패 원인: 성능 저하의 주된 원인은 오류 시뮬레이션이 아니라 다음과 같은 부분에서 발생했습니다:
  1. 정답 복원 실패 (Correct Solution Recovery): 초기에 정답을 잘못 계산하면 이후의 오답 생성이 모두 무너집니다.
  2. 타당성 평가 및 선정 (Plausibility & Curation): 생성된 많은 후보 오답 중 적절한 것을 선별하거나, 오답이 학생에게 얼마나 설득력 있는지 평가하는 과정에서 오류가 발생했습니다.
• 중요한 발견: 프롬프트에 정답을 명시적으로 제공하면 오답 생성 성능이 8% 향상되었습니다. 이는 LLM 이 오답을 생성할 때 정답을 '앵커 (Anchor)'로 삼는 것이 필수적임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 분석 프레임워크: LLM 의 추론 흔적을 학습 과학 이론과 연결하여 분석할 수 있는 체계적인 분류 체계 (Taxonomy) 를 최초로 제안했습니다.
2. LLM 의 학생 모델링 능력 규명: LLM 이 단순히 통계적 패턴을 따르는 것을 넘어, 교육학적으로 타당한 '오개념 기반' 추론 전략을 스스로 학습하여 사용함을 증명했습니다.
3. 실패 원인 진단: LLM 의 오답 생성 실패가 '오류 시뮬레이션 능력' 부족이 아니라, '정답 기반의 안정성'과 '후보 선정' 문제임을 구체적으로 규명했습니다.
4. 실용적 가이드라인: 오답 생성 시 정답을 프롬프트에 포함시키는 등의 간단한 개입으로 성능을 크게 개선할 수 있음을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 교육용 도구로 활용될 때, 단순히 정답을 맞추는 것을 넘어 학생의 사고 과정을 이해하고 모델링할 수 있는 잠재력을 가지고 있음을 보여줍니다. 특히 LLM 이 학습 과학의 원칙 (오개념 기반 설계) 과 자연스럽게 정렬 (alignment) 되어 있다는 점은, 자동화된 평가 도구, 지능형 튜터링 시스템, 그리고 고품질 교육 콘텐츠 생성에 LLM 을 적용할 수 있는 강력한 근거가 됩니다.

동시에, 정답 복원의 불안정성과 타당성 평가의 한계를 지적함으로써, 향후 LLM 기반 교육 AI 를 개발할 때는 **정답을 명확히 제시 (Anchoring)**하고 후보 선정 메커니즘을 강화하는 것이 중요함을 시사합니다.