Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

기술 요약: 코딩 문제에서의 자동화된 지식 구성 요소 생성 및 해석 가능한 지식 추적

문제 제기
학생 모델링에서 지식 구성 요소 (KCs) 는 세분화된 기술 숙달도 평가, 개인화된 피드백 제공, 적응형 학습 시스템 구동에 필수적입니다. 전통적으로 KCs 는 인간 도메인 전문가가 문제를 수동으로 제작하고 태깅하는 방식으로 이루어지는데, 이 과정은 노동 집약적이며 편향되기 쉽고 확장성이 떨어집니다. 이전 연구들은 객관식 문제에 대한 자동화된 KC 생성을 탐구해 왔으나, 특히 프로그래밍 분야의 서술형 문제는 여전히 충분히 연구되지 않았습니다. 서술형 코딩 문제는 고유한 난제를 제시합니다: 학생들의 응답은 상당한 다양성을 보이며, 오류는 무수한 방식으로 발생할 수 있고, 각각 다른 KC 집합을 포괄하는 여러 가지 유효한 해결 접근법이 존재할 수 있습니다. 기존 자동화 방법들은 이러한 복잡성을 포착하지 못하거나, 다양한 학생 제출물에 적합하지 않은 경직된 구문 구조에 의존하는 경향이 있습니다.

방법론
저자들은 두 부분으로 구성된 프레임워크를 제안합니다: 대형 언어 모델 (LLM) 을 사용하여 KCs 를 생성하고 태깅하는 자동화 파이프라인, 그리고 이러한 생성된 KCs 를 활용하는 새로운 지식 추적 (KT) 방법인 KCGen-KT입니다.

1. 자동화된 KC 생성 파이프라인:

   • 초기 생성: 각 프로그래밍 문제에 대해 시스템은 CodeBERT 임베딩을 통해 군집화하여 다양성을 보장하는 대표적 정답 학생 코드 제출물들의 다양한 세트를 선택합니다. 그런 다음 GPT-4o 에게 퓨샷 (few-shot) 예시와 사고의 사슬 (chain-of-thought) 추론을 프롬프트하여 문제를 해결하는 데 필요한 세분화된 KCs 를 식별하고, 기존 주제 태그를 자연어 설명으로 변환합니다.
   • 군집화 및 추상화 제어: 세분화 수준을 관리하기 위해 생성된 KCs 의 텍스트 설명을 Sentence-BERT 를 사용하여 임베딩합니다. 계층적 응집 군집화 (HAC) 를 적용하여 의미적으로 유사한 KCs 를 병합합니다. 군집 수를 조정함으로써 시스템은 구체적인 함수 수준 기술에서 더 넓은 개념적 그룹핑으로 이동하는 추상화 수준을 제어합니다.
   • 라벨링: GPT-4o 에게 각 군집을 하나의 정보 풍부한 라벨로 요약하도록 프롬프트합니다 (기존 KC 선택 또는 새로운 설명 합성). 최종적으로 각 문제를 해당 요약된 KCs 에 매핑하여 Q-행렬을 구성합니다.

2. KCGen-KT (지식 추적 프레임워크):

   • 아키텍처: 이 모델은 다음 학생 제출물의 이진 정답 여부와 실제 코드를 토큰 단위로 예측하는 멀티 태스크 학습을 위한 백본으로 Llama 3(80 억 파라미터) 를 사용합니다.
   • 학생 상태 모델링: 표준 LSTM 은 과거 문제 텍스트, 코드, 정답 여부에 기반하여 학생의 잠재 지식 상태 ($h_t$) 를 업데이트합니다. 이 상태는 각 고유 KC 에 대한 숙련도를 나타내는 숙달도 벡터 ($m_t$) 로 투영됩니다.
   • 소프트 토큰 변환: 숙달도 수준을 LLM 의 입력 공간에 통합하기 위해 모델은 이산적인 숙달도 값을 "소프트 토큰"으로 변환합니다. KC $j$에 대한 숙달도 수준 $m^j_t$는 "true" 및 "false" 토큰 임베딩의 가중 조합으로 변환됩니다: $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$. 이를 통해 훈련 중 숙달도 파라미터를 통해 기울기가 흐를 수 있습니다.
   • 해석 가능성: 모델은 개별 KC 숙달도 수준을 전체 숙달도 점수로 집계하기 위해 보상 모델을 사용하여, 특정 KC 에 대한 높은 지식이 정답 응답의 높은 확률과 상관관계를 갖도록 보장합니다.
   • 훈련 목적: 시스템은 코드 생성 손실 (교차 엔트로피), 정답 예측 손실 (이진 교차 엔트로피), 그리고 KC 숙달도와 정답성 간의 단조성을 강제하는 정규화 손실을 포함한 결합 손실 함수를 최소화합니다.

주요 기여

• 서술형 코딩을 위한 최초의 자동화 파이프라인: 이 논문은 학생 코드 제출물의 다양성과 복잡성을 해결하는 서술형 프로그래밍 문제에 특화된 KCs 를 생성하고 태깅할 수 있는 최초의 LLM 기반 파이프라인을 제시합니다.
• 소프트 토큰을 통한 해석 가능한 KT: 저자들은 텍스트 기반 KC 설명에 대한 학생 숙달도를 명시적으로 모델링하는 KCGen-KT 를 도입했습니다. 새로운 소프트 토큰 변환 메커니즘은 LLM 이 연속적인 숙달도 수준을 입력으로 활용할 수 있게 하여 잠재적 학생 상태와 텍스트 생성 간의 간극을 메웁니다.
• 실증적 검증: 이 프레임워크는 수천 개의 학생 제출물을 포함하는 두 개의 실제 데이터셋 (CodeWorkout 및 FalconCode) 에서 평가되었습니다.

결과

• 성능: KCGen-KT 는 기존 최첨단 KT 방법 (TIKTOC 및 Code-DKT 포함) 과 인간이 작성한 KCs 를 사용하는 베이스라인보다 우수한 성과를 거두었습니다. 구체적으로, LLM 생성 KCs 를 사용하는 버전은 두 데이터셋 전반에 걸쳐 AUC, F1 점수, 정확도, 그리고 코드 생성용 CodeBLEU 에서 통계적으로 유의미한 개선을 달성했습니다.
• 세분화 분석: KCs 의 추상화 수준을 변화시킨 실험 결과, 지나치게 추상화된 KCs(고수준 군집) 는 성능을 저하시키는 반면, 중간에서 낮은 추상화 수준 (더 세분화된 세분화) 이 최상의 결과를 제공함이 드러났습니다. 이는 정확한 학생 모델링을 위해 충분한 세부 사항이 중요함을 시사합니다.
• 학습 곡선: 생성된 KCs 는 인간이 작성한 KCs 보다 연습에 따른 오류율 감소라는 연습의 법칙 (power law of practice) 과 더 잘 부합하며, 학습 곡선 모델에 적합되었을 때 더 높은 가중 $R^2$(0.21 대 0.18) 을 달성했습니다.
• 인간 평가: 강사들은 LLM 생성 KCs 를 매우 해석 가능하다고 평가했습니다 (98.6%, 인간 베이스라인 대비 94.6%), 그리고 문제-KC 매핑이 높은 정밀도 (93.2%) 를 보였으며, 모든 사례의 96% 에서 인간 베이스라인과 같거나 더 높은 커버리지를 가짐을 확인했습니다.

의의 및 주장
이 논문은 고품질의 자동 생성 KCs 와 정확한 태깅이 하류 학생 모델링 성능 향상에 필수적이라고 주장합니다. 저자들은 LLM 이 서술형 코딩 작업에서 세분화된 기술을 효과적으로 식별할 수 있음을 입증했으며, 이는 종종 예측력과 인지 학습 원칙과의 부합성 측면에서 인간이 작성한 태그를 능가합니다.

이 연구는 데이터 가용성 제약 (대규모 종단적 서술형 학생 응답 데이터 필요) 으로 인해 컴퓨터 과학 교육에 modest하게 범위가 제한되어 있습니다. 저자들은 현재 파이프라인이 인-컨텍스트 예시에 의존하고 있음을 인정하며, 향후 연구에서는 인간-루프 (human-in-the-loop) 정제, 학습 곡선 적합을 위한 직접 최적화, 그리고 수학 및 과학과 같은 다른 도메인 적용을 탐구해야 한다고 강조합니다. 그들은 이 접근법이 인간 판단을 대체하기보다 교육자의 수동 작업을 줄여 지원하기 위한 것임을 강조하며, 실제 교육 환경 배포 전 전문가 검토를 권장합니다.