ConceptKT: A Benchmark for Concept-Level Deficiency Prediction in Knowledge Tracing

논문 개요: ConceptKT

이 논문은 기존 지식 추적 (Knowledge Tracing, KT) 시스템의 한계를 극복하고, 학생의 오답 원인을 **개념 수준 (Concept-Level)**에서 진단하는 새로운 작업과 데이터셋을 제안합니다. 단순히 정답 여부를 예측하는 것을 넘어, 학생이 어떤 개념을 이해하지 못했는지 (Conceptual Deficiency) 를 파악하여 맞춤형 교육과 개입을 가능하게 하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

• 기존 KT 의 한계: 대부분의 기존 지식 추적 시스템은 학생의 학습 상태를 모델링하여 **이차원적 정답/오답 (Binary Correctness)**을 예측하는 데 집중합니다.
• 진단 정보의 부재: 학생이 틀린 이유를 구성하는 **구체적인 개념적 오해 (Conceptual Misunderstanding)**를 진단하지 못합니다. 이는 표적화된 지도 설계와 효과적인 remediation(교정 학습) 에 필수적인 미세한 진단 피드백이 결여됨을 의미합니다.
• 데이터 부족: 기존 수학 교육 데이터셋은 대부분 최종 답안만 기록하고 있으며, 학생의 문제 해결 과정 (Reasoning Steps) 과 구체적인 개념적 결손에 대한 전문가 주석이 부족합니다.

2. 방법론 (Methodology)

가. ConceptKT 데이터셋 구축

• 기반 데이터: 기존 MathEDU 데이터셋 (6 명의 학생, 4,048 개의 문제 해결 기록) 을 확장했습니다.
• 전문가 주석: 수학 교육 전문가 3 명이 각 문제 해결 과정을 검토하여 다음 두 가지 레이블을 추가했습니다.
  1. Associated Concepts (연관 개념): 문제를 풀기 위해 필요한 개념.
  2. Missing Concepts (결손 개념): 학생이 오답을 낼 때未能 (미해결) 한 개념.
• 주석 품질: Fleiss' κ 계수를 통해 주석자 간 일관성을 검증 (연관 개념 0.68, 결손 개념 0.63) 했습니다.
• 데이터 통계: 55 개의 하위 개념을 13 개의 상위 카테고리 (기초 연산, 물리, 비율, 금융 등) 로 분류했습니다.

나. 태스크 구성 (Task Formulation)

• In-Context Learning: 대규모 언어 모델 (LLM) 과 대규모 추론 모델 (LRM) 을 활용하여 Few-shot 학습 방식으로 태스크를 수행합니다.
• Chain-of-Thought (CoT): 모델이 다음 세 단계를 거치도록 프롬프트를 설계했습니다.
  1. 연관 개념 식별: 새로운 문제 (Target Question) 를 풀기 위해 필요한 개념을 추론.
  2. 학생 모델링: 과거 응답 기록을 분석하여 개념별 숙달도 평가.
  3. 예측: 정답 여부 (Correctness) 와 오답 시 결손된 개념 집합 (Deficiency) 을 예측.

다. 응답 선택 전략 (Response Selection Strategies)

모델이 모든 과거 기록을 입력받는 것이 최선인지, 아니면 관련성 높은 기록만 선별해야 하는지 탐구했습니다.

1. All Responses: 학생의 모든 이력을 입력.
2. Same-Concept Only: 대상 문제와 동일한 개념이 포함된 기록만 선별.
3. Conceptual Semantic Selection:
   • 먼저 개념이 일치하는 기록을 필터링.
   • 후보가 많을 경우, BERTScore 를 사용하여 **의미적 유사도 (Semantic Similarity)**가 높은 상위 $m$개의 기록만 선택.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 제안: 정답 예측을 넘어 **개념 수준 결손 예측 (Concept-Level Deficiency Prediction)**을 수행하는 KT 태스크를 정의했습니다.
2. ConceptKT 데이터셋 공개: 문제 해결 과정과 개념적 결손에 대한 전문가 주석이 포함된 최초의 대규모 데이터셋을 구축 및 공개했습니다.
3. 선택 전략의 효과 입증: LLM 기반 KT 에서 **개념 정렬 (Conceptual Alignment)**과 의미적 유사도를 기반으로 과거 응답을 선별하는 것이 성능 향상에 결정적임을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

가. 모델 성능 비교

• 모델: Gemini-2.0-Flash, Llama-4, o3-mini, DeepSeek-R1 등 다양한 LLM/LRM 과 기존 KT 모델 (DKT, OKT 등) 을 비교했습니다.
• 정답 예측: 모든 모델이 높은 정확도를 보였으나, o3-mini와 Llama-4가 특히 우수했습니다.
• 결손 개념 예측 (핵심 결과):
  • All Responses 전략: 모든 기록을 입력할 경우, 개념 결손 예측 성능 (Macro-F1) 이 급격히 저하되었습니다 (예: Llama-4 의 경우 5.43%). 이는 불필요한 정보 (Noise) 가 모델의 추론을 방해했기 때문입니다.
  • Same-Concept Only 전략: 관련 개념이 포함된 기록만 선별할 경우 성능이 크게 향상되었습니다 (DeepSeek-R1: 17.40%).
  • Conceptual Semantic Selection 전략: 의미적 유사도를 추가로 고려한 전략이 o3-mini에서 가장 큰 개선을 보였습니다 (2.16% → 12.77%, 통계적 유의성 확인).

나. 데이터 증강 실험 (Augmentation)

• 동일 개념의 기록이 부족할 때, 다른 개념의 기록을 무작위나 유사도 기반으로 보충하는 실험을 수행했습니다.
• 결과: 다른 개념의 기록을 추가하는 것은 오히려 **맥락 불일치 (Contextual Inconsistency)**를 유발하여 정답 예측 및 결손 진단 성능을 저하시켰습니다. 이는 양 (Quantity) 보다 개념적 정렬 (Conceptual Alignment) 이 더 중요함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 교육적 함의: 학생이 어떤 개념에서 어려움을 겪는지 정확히 진단함으로써, 맞춤형 교재 제작과 적응형 학습 경로 설계가 가능해집니다.
• 기술적 통찰:
  • LLM 을 지식 추적에 적용할 때, 단순히 긴 컨텍스트 (Long Context) 를 모두 입력하는 것보다 **관련성 높은 소량의 데이터 (Small, Relevant Context)**를 선별하여 입력하는 것이 추론 성능과 진단 정확도를 높이는 데 더 효과적입니다.
  • 개념 기반의 정보 필터링은 모델이 학생의 학습 상태를 더 정확하게 이해하도록 돕습니다.
• 한계 및 향후 과제: 현재 이진 분류 (결손 유무) 방식의 주석을 사용했으며, 학생의 개념 이해도 수준 (Partial Mastery) 을 더 세밀하게 반영하기 위한 연구가 필요합니다. 또한, 다양한 프롬프트 전략 탐구가 향후 과제로 남았습니다.

이 연구는 지식 추적 분야에서 **정량적 예측 (정답/오답)**에서 **질적 진단 (개념적 결손)**으로의 패러다임 전환을 이끌며, AI 기반 맞춤형 교육의 정밀도를 높이는 중요한 이정표가 됩니다.