1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대학원 수준의 이산수학 (Discrete Mathematics) 과정에서 논리적 증명을 작성하는 것은 핵심 학습 목표이나, 많은 학생들이 적시적인 피드백 없이 유효한 논증을 구성하는 데 어려움을 겪습니다. 학습은 특히 각 단계가 이전 진술에서 어떻게 도출되는지 스스로 설명하는 '적극적 의미 부여 (active sense-making)' 과정에 의존합니다.
• 문제: 대규모 언어 모델 (LLM) 은 확장 가능한 온디맨드 지원을 제공할 수 있지만, 대화형 (Conversational) LLM 지원은 학습자가 시스템에 계획이나 검증을 의존하게 만들어 학생이 생성하는 추론을 감소시킬 위험이 있습니다.
• 연구 질문:
  1. GPTutor(수업에 배포된 LLM 튜터링 시스템) 에 대한 조기 접근이 과제 수행과 시험 점수를 향상시키는가?
  2. 채팅봇 (대화형) 과 증명 검토 (구조화된) 구성 요소가 학습자 특성과 시험 결과 사이의 서로 다른 연관 경로를 형성하는가?

2. 시스템 설계 및 방법론 (Methodology)

2.1 연구 대상 및 설계

• 참가자: 미국 대형 연구 대학의 이산수학 과목 수강생 148 명 (초기 155 명, 중도 탈락 후).
• 연구 설계: 교차 접근 (Staggered-access) 설계를 사용했습니다.
  • 실험군 (n=77): 중간고사 1 이후 GPTutor 접근 권한 부여.
  • 통제군 (n=78): 중간고사 2 이후 GPTutor 접근 권한 부여.
  • 이 설계를 통해 접근 권한이 있는 기간 동안의 과제 수행을 비교하고, 최종적으로 모든 학생이 도구를 사용할 수 있게 하여 시험 결과에 미치는 영향을 분석했습니다.
• 데이터 수집: 과제 및 시험 성적, 시스템 상호작용 로그, 중간고사 1 이후의 자기효능감 (Self-efficacy) 기저선 설문조사.

2.2 GPTutor 시스템 구성

시스템은 두 가지 핵심 기능을 통합하여 증명의 논리적 구조에 대한 성찰을 지원하면서도 '생산적인 고군분투 (productive struggle)' 기회를 보존하도록 설계되었습니다.

1. Proof-Review-GPTutor (구조화된 피드백):
   • 학생이 직접 증명을 작성한 후 제출해야만 피드백을 받습니다.
   • 전체적인 증명에 대한 고수준 피드백과 특정 문제 구간을 강조하는 국소적 (Localized) 코멘트를 제공합니다.
   • 개방형 대화는 허용되지 않으며, 답변 추출을 방지하기 위해 구조화된 피드백만 제공합니다.
2. AI Chatbot (대화형 지원):
   • GPT-4o 기반의 수학 중심 대화 인터페이스입니다.
   • 시스템 프롬프트를 통해 직접적인 답변 대신 소크라틱 질문과 부분적 힌트를 제공하도록 제한되었습니다.
   • 하지만 일부 학생은 스캐폴딩 (지적 발판) 을 우회하여 직접적인 해답을 구하는 행동을 보였습니다.

2.3 분석 전략

• 접근 수준 비교: 혼합 효과 회귀 분석 (Mixed-effects regression) 을 통해 과제 점수, OLS 회귀 분석을 통해 시험 점수를 분석했습니다.
• 직렬 매개 분석 (Serial Mediation Analysis): 자기효능감 $\rightarrow$ 중간고사 2 성적 $\rightarrow$ 구성 요소 사용량 (중간고사 2~3 사이) $\rightarrow$ 중간고사 3 성적의 시간적 순서를 반영한 모델을 구축했습니다. 부트스트래핑 (5,000 회 재표본 추출) 을 사용하여 간접 효과를 검증했습니다.

3. 주요 결과 (Key Results)

3.1 과제 수행 향상 vs 시험 점수 전이 부재

• 과제 점수: GPTutor 에 조기 접근한 실험군은 통제군보다 HW5~HW6 점수가 유의미하게 높았습니다 (효과 크기 $\beta = 0.23$). 이는 도구가 반복적인 피드백 주기와 맞물려 과제 수행을 개선했음을 의미합니다.
• 시험 점수: 그러나 GPTutor 접근 여부에 따른 중간고사 2 및 3 점수에는 유의미한 차이가 없었습니다. 즉, AI 지원 하의 연습이 독립적인 평가 (시험) 로의 전이 (Transfer) 를 보장하지는 못했습니다.

3.2 채팅봇과 증명 검토의 상이한 연관 경로 (매개 분석)

자기효능감과 학습 결과 사이의 경로를 분석한 결과, 두 도구는 완전히 다른 양상을 보였습니다.

• 자기효능감의 영향: 자기효능감이 낮은 학생일수록 두 도구 모두를 더 많이 사용했습니다.
• 채팅봇 (Chatbot) 의 부정적 경로:
  • 채팅봇 사용 빈도는 중간고사 3 성적과 유의미한 부정적 상관관계를 보였습니다 ($\beta = -0.031, p = .011$).
  • 자기효능감 $\rightarrow$ 채팅봇 사용 $\rightarrow$ 시험 성적의 간접 경로가 통계적으로 유의미하게 확인되었습니다.
  • 이는 채팅봇 의존이 학습자의 독립적 사고를 저해하여 시험 성적을 낮추는 경로를 형성할 수 있음을 시사합니다.
• 증명 검토 (Proof-Review) 의 중립적 경로:
  • 증명 검토 도구 사용은 시험 성적과 통계적으로 유의미한 연관성이 없었습니다 ($p = .312$).
  • 자기효능감이나 이전 성적과 상관없이, 이 도구의 사용 자체가 부정적인 결과를 초래하지는 않았습니다.

4. 핵심 기여 및 논의 (Contributions & Discussion)

• 인터페이스 설계의 중요성: 단순히 LLM 을 도입하는 것만으로는 충분하지 않으며, 어떤 인터페이스를 통해 지원하느냐가 학습 결과에 결정적입니다.
  • 대화형 지원: 학생이 자신의 추론을 생성하기 전에 해답을 구하거나 시스템을 지나치게 의존하게 만들어 '의미 부여 (sense-making)' 과정을 단축시킬 위험이 있습니다.
  • 구조화된 (Work-anchored) 피드백: 학생이 먼저 자신의 작업을 생성해야 하고, 시스템이 그 작업에 국소적으로 피드백을 주는 방식은 학습자의 추론을 보존하고 학습 효과를 유지하는 데 더 안전합니다.
• 도움 요청 (Help-seeking) 의 양면성: 자기효능감이 낮은 학생들은 채팅봇을 더 많이 사용하며, 이는 시험 성적 저하와 연결됩니다. 반면 구조화된 도구는 부정적인 연관성을 보이지 않아, 학습자가 어려움을 겪을 때 구조화된 피드백을 제공하는 것이 더 효과적일 수 있음을 시사합니다.
• 전이의 한계: AI 를 활용한 과제 수행 향상은 독립적인 평가 (시험) 로의 전이로 이어지지 않을 수 있으며, 이는 LLM 기반 학습의 한계를 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 기반 튜터링 시스템 설계에 대한 중요한 함의를 제공합니다.

1. 대화형 챗봇의 위험성: 학습자가 불확실성을 느낄 때 반복적으로 의존하게 만드는 대화형 인터페이스는 학습 결과를 해칠 수 있습니다.
2. 작업 기반 (Work-anchored) 피드백의 우위: 학생의 실제 작업에 기반한 구조화된 피드백은 학습 성과를 저해하지 않으면서도 학습 과정을 지원할 수 있는 안전한 대안입니다.
3. 미래 방향: 단순한 챗봇 인터페이스를 넘어, 학생의 작업을 기반으로 피드백을 제공하고 의존성을 조절할 수 있는 설계 (예: 애니메이션 페다고지컬 에이전트, 실시간 튜터링 시스템) 로의 전환이 필요합니다. 또한, 학생의 행동 코딩 (답변 추구 vs 생산적 도움 요청) 을 통해 더 정교한 개입 전략을 개발해야 합니다.

결론적으로, "대화형 LLM 지원만으로는 충분하지 않다"는 것이 이 논문의 핵심 메시지이며, 수학적 증명과 같은 복잡한 추론 학습에는 학생의 작업을 기반으로 한 구조화된 피드백이 필수적입니다.