기술 요약: 문제 해결 과정을 통한 수학적 숙련도 추적

문제 정의

전통적인 지식 추적(Knowledge Tracing, KT) 방식은 지능형 튜터링 시스템에서 학생의 미래 성과를 예측하기 위해 학생의 지식 상태를 모델링하는 것을 목표로 합니다. 그러나 기존의 접근 방식들은 설명 가능성과 깊이 측면에서 근본적인 한계에 직면해 있습니다. 이들은 주로 결과 중심의 감독(정답/오답이라는 이진 결과)과 제한된 메타데이터(예: 문제 난이도, 응답 시간 또는 지식 개념)에 의존합니다. 이러한 최종 정답에 대한 의존은 문제 해결 과정(Problem-Solving Process, PSP)을 "블랙박스"로 취급함으로써, 학생의 실제 이해도를 포착하는 데 실패합니다.

반면, 실제 교육자들은 추론 단계, 중간 계산, 전략적 선택 등을 관찰하며 문제 해결 과정을 통해 이해도를 평가합니다. 현재의 KT 데이터셋과 모델들은 이러한 풍부한 정보를 대부분 간과하고 있으며, 특히 PSP를 대규모로 캡처하기 어려운 수학 영역에서 그러합니다. 결과적으로, 기존 모델들은 학생이 왜 성공하거나 실패하는지에 대한 해석 가능한 통찰력을 제공하는 데 어려움을 겪으며, 과거 상호작용 데이터가 거의 없는 콜드 스타트(cold-start) 시나리오에서 성능이 저하되는 경우가 많습니다.

방법론: KT-PSP 및 STATUSKT

이러한 격차를 해소하기 위해, 저자들은 새로운 태스크 정식화와 그에 따른 프레임워크를 제안합니다.

1. 문제 해결 과정을 포함한 지식 추적 (KT-PSP)

저자들은 상호작용 시퀀스에 학생의 문제 해결 과정을 명시적으로 포함하도록 KT 태스크를 재정의합니다.

• 전통적 KT: 입력 시퀀스 $S_{conv} = \{(q_t, c_t, r_t)\}$, 여기서 $r_t$는 이진 정답 여부입니다.
• KT-PSP: 입력 시퀀스 $S_{new} = \{(q_t, c_t, r_t, p_t)\}$, 여기서 $p_t$는 상세한 PSP(단계별 추론, 중간 계산 등)를 나타냅니다.
  목표는 여전히 미래의 정답 여부 $P(r_{t+1}=1 | \dots)$를 예측하는 것이지만, 이제는 과거의 성과뿐만 아니라 기저에 깔린 문제 해결 전략까지 활용합니다.

2. KT-PSP-25 데이터셋

이 새로운 영역의 연구를 촉진하기 위해, 저자들은 다음과 같은 내용을 포함하는 새로운 데이터셋인 KT-PSP-25를 공개했습니다.

• 태블릿 기반 수학 플랫폼에서 수집된 22,289개의 학생-문제 상호작용.
• 490개의 지식 구성 요소(knowledge components)에 걸쳐 2,696개의 문제를 푸는 1,343명의 학생.
• 필기 PSP: 기존 데이터셋과 달리, 여기에는 실제 손으로 쓴 풀이 흔적이 포함되어 있으며, 이는 수학적 논리를 보존하면서 이미지를 구조화된 텍스트로 변환하기 위해 (GPT-5를 사용한) OCR 파이프라인을 통해 처리되었습니다.
• 개인정보 보호: 학생 및 문제 ID는 익명화되었으며, 데이터 품질과 개인정보 보호를 위해 OCR 출력물이 정제되었습니다.

3. STATUSKT 프레임워크

핵의 기여는 원시 PSP로부터 교사-학생-교사 LLM 파이프라인을 사용하여 수학적 숙련도(Mathematical Proficiency, MP) 신호를 추출하는 프로세스 인식형 KT 프레임워크인 STATUSKT입니다. 이 파이프라인은 비구조화된 텍스트를 구조화되고 해석 가능한 중간 신호로 변환합니다.

파이프라인은 세 단계로 작동합니다:

1. 지표 추출 (교사 LLM): 문제 텍스트와 그 지식 구성 요소를 바탕으로, 교사 LLM은 MP 지표 세트를 생성합니다. 이 지표들은 수학적 숙련도의 네 가지 관찰 가능한 차원(Findell et al., 2001 기반)을 겨냥한 구체적인 질문들입니다:
   • 개념적 이해 (Conceptual Understanding, CU)
   • 전략적 역량 (Strategic Competence, SC)
   • 절차적 유창성 (Procedural Fluency, PF)
   • 적응적 추론 (Adaptive Reasoning, AR)
     (참고: 생산적 태도(Productive Disposition)는 텍스트를 통해 평가하기 어렵기 때문에 제외되었습니다.)
2. 응답 생성 (학생 LLM): 학생 LLM은 실제 학생의 대리 역할을 합니다. 학생의 필기 PSP를 분석하여 MP 지표에 대한 응답을 생성합니다. 결정적으로, 이 단계에서는 학생의 원래 추론(오류 포함)을 수정하지 않고 그대로 보존합니다.
3. 숙련도 평가 (교사 LLM): 교사 LLM은 학생 LLM의 응답을 원래의 지표와 대조하여 학생이 각 특정 차원의 숙련도를 입증했는지 판단합니다.

통합:
이 파이프라인의 출력은 각 차원에 대한 MP 비율(만족된 지표의 비율)입니다. 이 비율은 KT 백본 모델의 보조 입력으로 사용됩니다. 모델은 다음과 같은 복합 손실 함수로 학습됩니다:
$$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$$
이 이중 목적 접근 방식은 모델이 최종 정답 여부와 기저의 숙련도 패턴을 모두 학습하도록 강제하여, 예측 정확도와 해석 가능성을 모두 향상시킵니다.

주요 기여

1. 새로운 태스크 정식화 (KT-PSP): 상호작용 시퀀스에 문제 해결 과정을 통합하여 프로세스 인식형 모델링을 가능하게 하는 KT의 공식적인 정의를 제시했습니다.
2. KT-PSP-25 데이터셋: 모든 상호작용에 대해 실제 세계의 OCR로 전사된 필기 문제 해결 과정을 포함하는 최초의 대규모 수학적 KT 데이터셋입니다.
3. STATUSKT 프레임워크: 3단계 LLM 파이프라인을 사용하여 원시 PSP를 해석 가능한 MP 신호로 증류하고, 이를 표준 KT 모델에 통합하는 새로운 아키텍처를 활용합니다.
4. 실증적 검증: STATUSKT가 기존의 딥러닝 기반 KT(DLKT) 베이스라인보다 우수한 성능을 보이며, 미세하고 해석 가능한 통찰력을 제공함을 종합적인 실험을 통해 입증했습니다.

실험 결과

실험은 다양한 베이스라인 아키텍처(DKT, DKVMN, SAKT, SAINT, AKT 등)를 사용하여 KT-PSP-25에서 수행되었습니다.

• 전반적인 성능 (RQ1): STATUSKT는 표준 베이스라인 및 "Baseline+PSP"(단순히 원시 텍스트 임베딩을 결합한 형태) 변형 모델과 비교했을 때 대부분의 아키텍처에서 일관되게 예측 성능(AUC 및 정확도)을 개선했습니다. 저자들은 원시 텍스트 임베딩 단독으로는 노이즈를 유발하거나 성능을 개선하지 못하는 경우가 많은 반면, STATUSKT의 구조화된 MP 증류 방식은 프로세스 정보를 효과적으로 활용한다고 언급했습니다.
• 콜드 스타트 강건성 (RQ2): 데이터가 제한적인 시나리오(학생당 첫 5개의 상호작용만 있는 경우)에서 STATUSKT는 베이스라인을 크게 앞질렀습니다. MP 신호가 정보가 풍부한 사전 지식(prior)을 제공함으로써, 과거의 정답 데이터가 부족할 때 지식 상태 추정을 안정화했습니다.
• MP 효과 분석 (RQ3): 사례 연구 결과, MP 신호가 정답 여부를 특정 기저 기술과 일치시킴으로써 "MP-도움(MP-help)" 사례의 예측을 바로잡는 데 도움이 된다는 것이 밝혀졌습니다. 그러나 저자들은 과도하게 풍부하거나 정렬되지 않은 지표가 성능을 저하시킬 수 있는 "MP-해로움(MP-hurt)" 사례 또한 식별하였으며, 이는 지표 생성 시 범위 제어의 중요성을 강조합니다.

의의 및 주장

본 논문은 학생의 문제 해결 과정에 반영된 추론을 포함하는 것이 더 정확하고, 해석 가능하며, 교육적으로 의미 있는 모델링을 향해 KT를 발전시키는 데 필수적이라고 주장합니다.

• 해석 가능성: "블랙박스"식 예측과 달리, STATUSKT는 명시적인 숙련도 신호(예: "학생은 절차적 유창성은 높으나 적응적 추론은 낮음")를 제공하여 미세한 학습 진도에 대한 통찰력을 제공합니다.
• 교육적 정렬: 이 프레임워크는 단순히 정답만을 보는 것이 아니라 과정을 관찰함으로써 학생을 평가하는 인간 교사의 방식을 모방하며, 이를 통해 자동화된 시스템과 교육 이론 사이의 간극을 메웁니다.
• 한계점: 저자들은 데이터셋의 상대적으로 작은 규모, 수학 도메인에 국한된 점, 그리고 OCR 의존성으로 인해 발생할 수 있는 인식 오류나 시각적 추론 요소(도형 등)의 손실 가능성 등의 한계를 겸허히 인정합니다. 이들은 이 프레임워크가 추가적인 적응 없이 모든 과목에 보편적으로 적용될 수 있다고 주장하지 않습니다.