기술 요약: 단계 인지 지식 추적 (Phase-Aware Knowledge Tracing, PAKT)

문제 정의

지식 추적(Knowledge Tracing, KT)은 학생의 과거 상호작용 시퀀스를 기반으로 진화하는 지식 상태를 모델링하여 학생의 미래 성과를 예측하는 것을 목표로 한다. DKT, SAINT, AKT와 같은 기존의 딥러닝 기반 KT 방법들은 상당한 진전을 이루었으나, 이들은 주로 원시 상호작용 시퀀스를 하나의 통합된 행동 프로세스로 취급한다. 이러한 통합된 패러다임은 모든 상호작용이 지식 상태의 진화에 동일한 방식으로 기여한다는 것을 암묵적으로 가정하며, 학습의 단계별 특성을 간과한다.

저자들은 학생의 학습 행동이 단계에 따라 크게 달라진다는 점에 주목한다. 초기 상호작용은 주로 능력 구축(개념의 초기 습득 및 이해)을 반영하는 반면, 후기 상호작용은 숙련도(마스터 이후의 기술 자동화, 유창성 및 일관성)를 반영한다. 이러한 뚜렷한 단계들을 하나의 동질적인 시퀀스로 취급하면 복잡한 학습 신호가 뒤섞일 수 있으며, 이는 혼란 편향(confounding bias)을 초래하고 지식 상태의 역동적인 진화를 정밀하게 특징짓는 능력을 제한할 수 있다.

방법론: 단계 인지 지식 추적 (PAKT)

이러한 한계를 해결하기 위해, 저자들은 학생의 상호작용 시퀀스를 단계별 모델링을 위한 별도의 능력(Ability) 및 숙련도(Proficiency) 단계로 분해하는 프레임워크인 PAKT를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있다:

1. 학습 행동 인지 시퀀스 분해

핵심 혁신은 각 지식 개념(KC)에 대한 학생의 응답 이력을 누적 정답 횟수를 기준으로 분할하는 분해 메커니즘이다.

• 메커니즘: 임계값 $k$를 사용하는 이진 단계 지표 함수 $\delta(s, c, t)$가 정의된다. 단계 $t$에서 학생 $s$의 개념 $c$에 대한 누적 정답 횟수가 $k$보다 작으면, 해당 상호작용은 **능력 단계(Ability Phase)**로 할당된다. 정답 횟수가 $k$에 도달하거나 이를 초과하면, 이후의 상호작용은 **숙련도 단계(Proficiency Phase)**로 할당된다.
• 출력: 이 과정은 원래의 완전한 시퀀스는 유지하면서, 원래 시퀀스를 능력 하위 시퀀스와 숙련도 하위 시퀀스로 나누는 두 개의 분해 마스크 행렬($M^{A}$ 및 $M^{F}$)을 생성한다.

2. 다중 브랜치 트랜스포머 기반 백본

PAKT는 분해된 시퀀스를 처리하기 위해 다중 브랜치 트랜스포머 아키텍처를 채택한다:

• 세 가지 입력 브랜치:
  1. 능력 브랜치(Ability Branch): $M^{A}$에 의해 마스킹된 상호작용을 처리하여 내재적 인지 능력과 초기 습득을 포착한다.
  2. 숙련도 브랜치(Proficiency Branch): $M^{F}$에 의해 마스킹된 상호작용을 처리하여 연습으로 유도된 자동화와 일관성을 포착한다.
  3. 전체 브랜치(Complete Branch): 분해되지 않은 원래의 시퀀스를 처리하여 학습 궤적에 대한 총체적인 관점을 유지한다.
• 2단계 학습: 백본은 두 단계 디코더 메커니즘을 사용한다. 첫 번째 단계는 모든 브랜치에 걸쳐 공유 트랜스포머 디코더를 사용하여 보편적인 순차적 특징을 효율적으로 학습한다. 두 번째 단계는 각 브랜치에 대해 독립적인 디코더를 사용하여 단계별 특성화를 가능하게 한다.

3. 유형 인지 리드아웃 모듈 (Type-Aware Readout Module)

세 브랜치의 표현을 통합하기 위해 유형 인지 리드아웃 모듈이 설계되었다:

• 적응형 융합: 능력($H_A$)과 숙련도($H_F$) 표현은 학습 가능한 계수 $\alpha$를 통해 융합된다: $H_{AF} = \alpha \cdot H_A + (1-\alpha) \cdot H_F$.
• 차등 이득(Differential Gain): 연습에 의해 유도된 성능 향상을 명시적으로 포착하기 위해 차이 벡터 $H_{\Delta} = H_F - H_A$가 계산된다.
• 최종 표현: 최종 학생 표현 $H_S$는 융합된 능력-숙련도 벡터, 전체 브랜치 표현($H_C$), 그리고 차등 이득 벡터를 결합하여 구성된다: $H_S = [H_{AF} \parallel H_C \parallel H_{\Delta}]$.
• 예측: 이 표현은 타겟 문제 특징과 결합되어 MLP를 통과하여 정답 확률을 예측한다.

인과 분석

본 논문은 구조적 인과 모델(SCM)을 사용하여 인과 분석을 제공한다. 기존 KT 모델에서는 학생의 내재적 능력($A$)과 습득된 숙련도($F$)가 관찰된 상호작용 이력($D$)을 통해 얽혀 있어, 잠재적 학생 표현($S$)에 영향을 미치는 혼란 편향을 생성한다고 가정한다. PAKT는 $A$와 $F$를 명시적으로 분리하고 개별적으로 모델링함으로써 이러한 가짜 상관관계를 깨뜨려, 예측 결과에 대한 각 요인의 진정한 기여도를 더 정확하게 추정할 수 있게 한다.

주요 기여

1. 분해 메커니즘: 누적 정답 횟수를 기반으로 상호작용 시퀀스를 능력 단계와 숙련도 단계로 나누는 새로운 학습 행동 인지 메커니즘을 개발하였다.
2. 모델 아키텍처: 단계별 및 총체적 지식 상태를 공동으로 포착하기 위해 유형 인지 리드아웃 모듈을 갖춘 다중 브랜치 트랜스포머 백본을 제안하였다.
3. 실증적 검증: 6개의 공개 데이터셋에 대해 대표적인 베이스라인 모델들을 상대로 일관된 개선을 입증하는 광범위한 실험을 수행하였다.
4. 이론적 통찰: 단계 불가지론적(phase-agnostic) 모델에서의 혼란 편향을 밝히고, 학습 행동을 분리하는 것의 필요성을 정당화하는 인과 분석을 제공하였다.

실험 결과

저자들은 6개의 벤치마크 데이터셋(Algebra05, ASSISTments09, ASSISTments17, Ed-Net, Slepemapy, Spanish)에서 PAKT를 평가하였다.

• 성능: PAKT는 6개 데이터셋 모두에서 AUC(ROC 곡선 아래 면적)와 ACC(정확도) 지표에 대해 최고의 성능을 달тя 성취하였다.
• 개선도: 이 방법은 가장 강력한 베이스라인 모델들과 비교하여 일관된 이득을 보였으며, 평균 AUC 상승폭은 0.82%, 최대 AUC 상승폭은 1.33%(Spanish 데이터셋)였다.
• 비교: 이전의 분해 방법인 DisKT는 경쟁력 있는 결과를 보여주었으나 성능이 불안정했다. 반면, PAKT의 세밀한 단계 기반 분해는 더 견고하고 보편적으로 효과적임이 입증되었다.
• 민감도: 임계값 파라미터 $k$에 대한 민감도 분석 결과, 최적의 성능은 일반적으로 낮은 값($k \le 5$)에서 나타났으며, 구체적인 최적값은 데이터셋의 특성(예: 개념 밀도 및 상호작용량)에 따라 달랐다.
• 소거 실험(Ablation): "전체(Complete)" 브랜치를 제거했을 때 가장 큰 성능 저하가 발생하여 총체적 관점의 필요성을 확인하였으며, 두 단계별 브랜치는 모두 상호 보완적인 정교함을 제공하였다.

의의 및 한계

본 논문은 PAKT가 "동질적 모델링 패러다임"을 넘어 학습의 시간적 전이(능력 습득에서 기술 공고화로의 전환)를 명시적으로 모델링함으로써 분야를 발전시킨다고 주장한다. 이 접근 방식은 학습의 행동적 의미론과 더 잘 부합하며 혼란 편향을 완화한다.

그러나 저자들은 다음과 같은 특정 한계를 인정한다:

• 데이터 희소성: 학생이 특정 개념에 대해 임계값 $k$에 도달할 만큼 충분한 상호작용을 하지 못할 경우, 숙련도 브랜치가 신호를 거의 또는 전혀 받지 못해 그 효과가 약화될 수 있다.
• 하이퍼파라미터 튜닝: 최적의 임계값 $k$는 수동으로 튜닝되어야 하며 데이터셋마다 다르므로, 향후 자동화된 분해 전략이 필요하다.
• 짧은 시퀀스: 단계 전이가 관찰되지 않는 매우 짧은 상호작용 시퀀스의 경우 이 방법이 어려움을 겪을 수 있다.

이 연구는 중국 국가자연과학기금 및 다양한 대학 혁신 프로젝트의 지원을 받았다.