Cold Start Problem: An Experimental Study of Knowledge Tracing Models with New Students

기술 요약: 지식 추적(Knowledge Tracing)에서의 콜드 스타트 문제

문제 정의
지식 추적(Knowledge Tracing, KT)은 지능형 튜터링 시스템(ITS) 내의 상호작용을 바탕으로 학생의 지식 상태를 예측하는 것을 목표로 한다. 효과적인 개인화를 가로막는 결정적인 장벽은 '콜드 스타트(cold start)' 문제로, 이는 모델이 사전 상호작용 데이터가 부족한 새로운 학생에 대해 정확한 예측을 수행하는 데 어려움을 겪는 현상을 의미한다. 기존 문헌들이 새로운 문항, 기술 또는 활동에 관한 콜드 스타트 시나리오를 다루어 왔으나, KT 모델이 완전히 새로운 학생에게 얼마나 잘 일반화되는지를 평가하는 데에는 여전히 상당한 공백이 존재한다. 전통적인 평가 방식은 모델을 기존 학생들의 초기 상호작용 데이터로 학습시킨 후 그들의 후속 상호작용을 테스트하는 방식을 취하는데, 이는 모델이 과거 이력이 전혀 없는 학습자를 마주하게 되는 실제 상황을 제대로 시뮬레이션하지 못한다.

방법론
본 연구는 데이터를 엄격하게 분리함으로써 현실적인 콜드 스타트 조건을 시뮬레이션하는 정교한 평가 프레임워크를 제안한다. 연구진은 과거 학생들의 역사적 데이터만을 사용하여 세 가지 주요 KT 모델을 학습시켰으며, 완전히 새로운, 보지 못한 다섯 개의 무작위 학생 집단만을 대상으로 성능을 평가하였다. 이러한 접근 방식은 모델이 테스트 대상 학생들의 수행 이력에 대한 사전 지식을 전혀 갖지 못하도록 보장한다.

본 연구는 ASSISTments 플랫폼의 세 가지 널리 알려진 데이터셋을 활용하였다:

• ASSISTments 2009: 상세한 지식 구성 요소(KC) 주석이 포함된 정제된 '스킬 빌더(skill-builder)' 버전.
• ASSISTments 2015: KC 주석이 부족하며 속성이 적음.
• ASSISTments 2017: 광범한 메타데이터와 102개의 KC를 포함함.

평가된 세 가지 모델은 다음과 같다:

1. Deep Knowledge Tracing (DKT): 시간적 의존성을 포착하기 위해 순환 신경망(LSTM)을 사용한다.
2. Dynamic Key-Value Memory Networks (DKVMN): 동적 업데이트를 위해 키(개념)와 값(숙달도)을 갖춘 외부 메모리 구조를 채택한다.
3. Self-Attentive Knowledge Tracing (SAKT): 과거 상호작용 간의 관계를 모델링하기 위해 트랜스포머(Transformer)에서 영감을 받은 어텐션 메커니즘을 활용한다.

성능 측정은 상호작용 횟수가 증가함에 따라(3회에서 최대 20회 질문까지, 또는 ASSISTments 2017의 경우 30회까지) 정확도를 추적함으로써 이루어졌으며, 이를 통해 저자들은 학습 곡선과 적응력을 관찰할 수 있었다.

주요 기여

1. 현실적인 평가 프레임워크: 본 연구는 완전히 분리된 학생 인구 집단을 학습 및 테스트하는 방법론을 도입하여, 표준적인 학생 내(intra-student) 평가와 비교하여 새로운 학습자에게 일반화하는 모델의 능력을 더욱 정확하게 평가한다.
2. 비교 분석: 여러 데이터셋에 걸쳐 콜드 스타트 조건 하에서의 DKT, DKVMN, SAKT에 대한 체계적인 비교를 제공한다.
3. 어텐션 메커니즘에 대한 경험적 증거: 어텐션 기반 아키텍처가 본질적으로 콜드 스타트 문제를 해결한다는 가설에 도전하는 데이터를 제공하며, 어텐션 기반 모델이 초기 이득을 제공하긴 하지만 여전히 상당한 한계가 있음을 강조한다.

결과
실험 결과, 세 모델 모두 콜드 스타트 조건에서 초기에 어려움을 겪었으나 상호작용 데이터가 축적됨에 따라 점진적인 개선을 보였다:

• DKT: 모든 데이터셋에서 꾸준한 향상을 보였다. 초기 정확도는 낮았으나(0.45–0.60 범위), 20번째 질문까지 약 0.75까지 지속적으로 상승하며 강력한 장기 적응력을 보여주었다.
• DKVMN: 일관되게 우수한 성능을 보였으며, 높은 초기 정확도와 더불어 대부분의 조건에서 0.75 이상으로 빠르게 향상되었다. 메모리 기반 아키텍처 덕분에 제한된 데이터로도 효과적인 예측이 가능했으며, 특히 ASSISTments 2015 데이터셋에서 다른 모델들을 능가하는 경우가 많았다.
• SAKT: 빠른 초기 적응력을 보였으며, 초기 단계(특히 ASSISTments 2009 및 2015)에서 다른 모델들보다 우수한 성능을 보이는 경우가 많았다. 그러나 성능이 빈번하게 정체(plateau)되는 양상을 보였는데, 이는 어텐션 메커니즘만으로는 콜드 스타트 문제를 완전히 해결하거나 충분한 데이터 없이 긴 시퀀스 동안 성능을 유지하기 어렵다는 점을 시사한다.

의의 및 주장
본 논문은 자신의 연구 결과가 특정 역사적 데이터에 의존하지 않고 새로운 학습자에게 효과적으로 일반화할 수 있는 KT 모델의 필요성을 강조한다고 주장한다. 저자들은 SAKT와 같은 어텐션 기반 모델이 초기 정확도를 높여주기는 하지만, 콜드 스타트 문제를 본질적으로 완화하지는 못한다는 점을 역설한다. 결과적으로, 본 연구는 퓨샷(few-shot) 및 제로샷(zero-shot) 학습 시나리오에서 견고한 모델을 개발하는 것의 중요성을 부각한다. 저자들은 향후 연구가 메모리 기반 또는 어텐션 기반 접근 방식의 빠른 적응력과 지속적인 학습 능력을 결합하고, 다양한 교육적 요구를 지원하기 위해 전이 학습(transfer learning) 및 연합 학습(federated learning)과 같은 기술을 활용하는 하이브리드 모델에 집중해야 한다고 결론짓는다.