AI 와 수학 교육의 만남: 대규모 수학 수업을 위한 상황 인식형 AI 를 활용한 강사 지원 사례 연구

이 논문은 스위스 로잔 연방공과대학교 (EPFL) 의 대규모 미적분학 I(Calculus I) 수업에서 강사를 지원하기 위해 개발하고 평가한 상황 인식형 AI(Context-Aware AI) 시스템에 대한 사례 연구입니다. 연구팀은 강사와 긴밀히 협력하여, 학생들의 질의에 대한 답변을 생성하는 경량 언어 모델을 구축하고 배포했습니다.

1. 연구 배경 및 문제 정의

• 문제: 대규모 등록 수업 (400 명 이상) 에서는 시의적절하고 확장 가능한 교육적 지원을 제공하는 것이 지속적인 과제입니다. 특히 시험 기간 등 피크 시간대에는 수백 건의 질문이 발생하여 강사 및 조교의 업무 과부하를 초래합니다.
• 도전 과제: 생성형 AI 는 잠재력이 크지만, 교육적 목표와의 정렬 (Pedagogical Alignment), 정확성, 그리고 신뢰성 문제가 해결되지 않으면 오해의 소지가 있는 피드백을 줄 수 있습니다.
• 목표: 단순한 자동화가 아닌, 강사의 교수 스타일을 모방하고 교육적 맥락에 부합하는 정확하고 관련성 높은 답변을 생성하는 AI 시스템을 개발하여 강사의 역량을 확장하는 것입니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 전처리

• 데이터셋: 2 개 학기에 걸쳐 수집된 3,000 개 이상의 학생 - 강사 Q&A 쌍을 기반으로 구축되었습니다.
• 전처리:
  • 강의 자료 (노트, 연습문제) 와 Q&A 를 연결하여 **맥락 **(Context)을 제공했습니다.
  • 불필요한 질문 (행정적 문의 등) 을 제거하고, 프랑스어 데이터를 GPT-4o 를 사용하여 영어로 번역했습니다.
  • 최종적으로 2,738 개의 Q&A 쌍이 확보되었으며, 각 질문에는 평균 1 문단 분량의 강의 노트 맥락이 포함되었습니다.
• **데이터 증강 **(Augmentation) 강사의 답변이 종종 간결했으므로, 모델이 지나치게 짧게 답변하는 것을 방지하기 위해 OpenMathInstruct에서 영감을 받아 질문과 답변 사이에 **중간 추론 단계 **(Intermediate thinking steps)를 추가하여 데이터를 증강했습니다. 이를 통해 최종 학습 데이터셋은 5,176 개의 Q&A 쌍으로 확장되었습니다.

2.2 모델 개발 및 파인튜닝

• 모델 선택: 교육적 맥락에서 접근성과 비용 효율성을 고려하여 7~14B 파라미터 규모의 경량 오픈소스 모델들을 평가했습니다. (Llama 3.1, Qwen 2.5, Gemma 3, DeepSeek R1 등)
• 최적 모델: 초기 평가 결과, DeepSeek R1이 가장 우수한 성능을 보였으며, 이를 기반으로 파인튜닝된 DeepSeek-R1-QA 모델을 최종 선택했습니다.
• 학습 전략: 수학 특화 모델은 직접 파인튜닝되었고, 일반 목적 모델은 먼저 수학 데이터셋 (OpenR1-Math-220k) 으로 사전 적응시킨 후 코스 데이터로 파인튜닝했습니다.

2.3 평가 설계 (Human-in-the-Loop)

• 강사 중심 평가: 5 명의 미적분학 강사 (평균 9.6 년 경력) 가 150 개의 대표 질문에 대해 모델을 평가했습니다.
  • 평가 기준: 정확성 (Correctness), 관련성 (Relevance), 완전성 (Completeness), 학생 의도 정렬 (Intent Alignment), 강사 답변과의 비교.
• 자동 평가: GPT-o4-mini 를 사용하여 인간 평가자와의 일치도를 검증했습니다.
• 배포 후 평가: 2025 년 가을 학기에 실제 포럼에 배포하여 강사의 행동 (승인, 수정, 삭제 등) 과 학생 설문조사 (N=105) 를 통해 실사용 환경을 평가했습니다.

3. 주요 결과 (Key Results)

3.1 모델 성능

• 정확도: 150 개의 테스트 질문에서 모델은 **75.3%**의 경우 완전히 정확한 답변을 생성했으며, 추가로 12% 는 대부분 정확한 것으로 평가되었습니다.
• 강사 답변 대비 성능: **36%**의 경우 모델의 답변이 강사의 답변과 동등하거나 더 좋은 것으로 평가받았습니다. 특히 설명이 필요한 질문 유형에서 이러한 경향이 두드러졌습니다.
• 질문 난이도별 성능:
  • 중간 난이도: 가장 높은 성능을 보였으며, 모델의 상세한 설명 스타일이 학생들에게 가장 유용했습니다.
  • 쉬운 질문: 과도한 설명 (Over-explanation) 경향이 있었습니다.
  • 어려운 질문: 주제를 식별했으나 깊이 있는 설명이 부족하여 부분적인 답변에 그치는 경우가 많았습니다.

3.2 배포 후 실제 사용 (Post-Deployment)

• 강사의 개입: 배포된 569 개의 질문 중 강사가 **26.3%**를 수정 없이 승인했고, **27.6%**는 보완 코멘트를 추가했습니다. **44.7%**는 부적절하거나 오해의 소지가 있어 삭제되었습니다.
  • 삭제의 주된 원인은 사실적 오류보다는 **교육적 정렬 **(Pedagogical Misalignment) (예: 학생의 의도와 다른 해석, 지나치게 복잡한 설명) 이었습니다.
• 학생 반응:
  • 신뢰: 학생들은 모델이 강의 자료에 기반하여 답변하므로 일반 AI 보다 신뢰도가 높다고 느꼈습니다.
  • 즉각성: 응답의 즉시성 (Immediate availability) 을 가장 큰 장점으로 꼽았으며, **69.5%**의 학생이 시간 절약 효과를 경험했습니다.
  • 검증 필요: 많은 학생이 AI 답변을 신뢰하지만, 여전히 강사의 검증을 통해 신뢰를 확보하려는 경향을 보였습니다.

3.3 자동 평가의 한계

• 정확성 평가는 자동화 (GPT-o4-mini) 가 인간 평가자와 높은 일치도를 보였으나, 관련성이나 완전성과 같은 주관적이고 교육적인 측면에서는 일치도가 낮았습니다. 이는 교육적 맥락과 뉘앙스를 이해하는 데 인간의 개입이 필수적임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 교육적 정렬을 위한 인간 중심 접근법: 대규모 수업에서 AI 를 단순한 도구가 아닌 강사와 협력하는 시스템으로 설계하기 위한 구체적인 프레임워크를 제시했습니다.
2. 경량 모델의 실용성 검증: 거대 모델이 아닌, 코스 특화 경량 모델 (Lightweight Model) 이도 교육적 맥락에서 높은 정확도와 유용성을 달성할 수 있음을 입증했습니다.
3. 하이브리드 워크플로우의 중요성: AI 가 모든 것을 해결하는 것이 아니라, **AI 생성 + 인간 검증 **(Human-in-the-loop) 구조가 교육의 질을 유지하고 리스크를 완화하는 핵심임을 강조했습니다.
4. 맥락 인식형 응답 생성: 강의 노트와 연습문제 맥락을 직접 연결하여 생성된 답변이 학생들의 인지 부하를 줄이고 학습 연속성을 높인다는 것을 실증했습니다.

5. 의의 및 시사점

이 연구는 생성형 AI 가 강사를 대체하는 것이 아니라, **강사의 역량을 확장 **(Capacity Expansion)하고 반복적인 업무를 줄여주는 도구임을 보여줍니다. 특히 대규모 STEM 수업에서 다음과 같은 설계 원칙을 제시합니다:

• 개인화된 응답 깊이: 학생마다 선호하는 설명의 깊이 (간결한 힌트 vs 상세한 풀이) 가 다르므로, 응답의 상세도를 조절할 수 있는 유연성이 필요합니다.
• 투명성과 신뢰: AI 의 한계를 명확히 알리고, 인간 강사의 최종 검증 과정을 통해 학생들의 신뢰를 구축해야 합니다.
• 교육적 적합성: 단순한 정답 생성이 아니라, 학생의 의도를 파악하고 교육적 목표에 부합하는 답변을 생성하는 것이 핵심 과제입니다.

결론적으로, 이 사례 연구는 AI 를 교육에 통합할 때 기술적 성능뿐만 아니라 교육적 맥락, 강사의 개입, 그리고 학생의 신뢰를 어떻게 균형 있게 설계할 것인지에 대한 중요한 로드맵을 제공합니다.