💻 computer science

LSTA-KT: An Interpretable Knowledge Tracing Model via Long-Short Term Attention and Geometric Query Alignment

본 논문은 전역적 학습 추세와 국소적 변동 사이의 균형을 효과적으로 맞추는 동시에 노이즈를 필터링하고 투명한 교육적 평가를 제공하기 위해, 이중 흐름 장단기 어텐션 메커니즘과 기하학적 쿼리 정렬을 결합한 해석 가능한 지식 추적 모델인 LSTA-KT를 제안한다.

원저자: Lang Zheng, Wenlong Xiao, Maosheng Zhong, Zhaosheng Luo, Shudong Zhu

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lang Zheng, Wenlong Xiao, Maosheng Zhong, Zhaosheng Luo, Shudong Zhu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생이 정확히 무엇을 알고 무엇을 여전히 배워야 하는지 파악하려는 교사라고 상상해 보십시오. 당신은 단순히 그들의 최근 시험 점수만을 보고 싶은 것이 아니라, 그들의 전체 학습 여정을 이해하고 싶어 합니다. 이것이 바로 **지식 추적(Knowledge Tracing)**의 세계입니다. 이것을 디지털 탐정 이야기라고 생각하십시오. 알고리즘이 학생의 뇌를 시간에 따라 지도화하려고 시도하는 것입니다. 이 알고리즘은 질문과 답변의 긴 기록을 살펴보고 학생이 다음 질문을 맞힐 수 있을지를 예측합니다.

오랫동안 이러한 디지털 탐정들은 어려움을 겪었습니다. 그들은 5분 전에 저지른 실수에 너무 집중한 나머지 지난주에 배운 모든 것을 잊어버린 학생 같기도 했고, 혹은 과거의 습관에 너무 얽매여 갑작스러운 눈부신 발전을 보지 못하는 학생 같기도 했습니다. 또한 그들은 "노이즈(noise)"와 씨름했습니다. 예를 들어, 학생이 정답을 맞혔지만 그것이 단지 찍어서 맞힌 것인지, 혹은 답을 몰라서 틀린 것이 아니라 잠시 주의가 산만해져서 틀린 것인지 구별하는 일 말입니다. 연구자들이 던지는 큰 질문은 이것입니다: 어떻게 하면 장기적인 이야기를 기억하면서도 단기적인 변화를 포ر착하고, 운 좋은 추측을 무시하며, 왜 이 학생이 다음 도전 과제를 수행할 준비가 되었다고 판단했는지 설명할 수 있는 시스템을 구축할 것인가?

여기에 랑 정(Lang Zheng)과 강서사범대학교 팀이 제안한 새로운 모델인 LSTA-KT가 등장합니다. 이 모델을 장기 기억과 현재 순간에 대한 날카로운 집중력 사이의 균형을 잡는 법을 배운, 매우 똑똑하고 관찰력이 뛰어난 튜터라고 생각할 수 있습니다.

연구진은 컴퓨터가 예측은 하지만 그 근거를 설명하지 못하는 "블랙박스" 문제를 해결하기 위해 이 모델을 구축했습니다. 그들은 시스템을 더 인간답고 더 정확하게 만들기 위해 몇 가지 영리한 기술을 도입했습니다. 첫째, 그들은 모델에게 **이중 흐름 어텐션 시스템(dual-flow attention system)**을 부여했습니다. 모델이 두 쌍의 눈을 가지고 있다고 상상해 보십시오. 한 쌍의 눈은 학생의 전체 이력을 바라보며 꾸준한 장기적 학습 추세(예: 산을 천천히 오르는 모습)를 관찰하고, 다른 한 쌍의 눈은 바로 직전의 상호작용들에 초점을 맞춰 즉각적인 변화(예: 갑작스러운 비틀거림이나 빠른 도약)를 포착합니다. 이를 통해 모델은 단 하나의 오답이 학생이 모든 것을 잊었다는 것을 의미하는 것이 아니라, 단 하나의 정답이 복잡한 주제를 즉각적으로 마스터했다는 것을 의미하지도 않는다는 점을 이해하게 됩니다.

다음으로, 그들은 인간의 기억과 유사하게 작동하는 **"망각 메커니즘(Forgetting Mechanism)"**을 추가했습니다. 당신이 3개월 전에 풀었던 수학 문제의 세부 사항을 잊어버릴 수 있는 것처럼, 모델도 오래된 상호작용의 비중을 최근의 것보다 낮게 설정하는 법을 배웁니다. 하지만 이는 단순히 시간만의 문제가 아닙니다. 질문 사이의 "거리"에 관한 것이기도 합니다. 만약 학생이 중간에 매우 다른 유형의 질문에 답했다면, 모델은 이전 질문을 더 빨리 잊도록 학습합니다.

추측이나 실수와 같은 "노이즈"를 처리하기 위해, 모델은 **노이즈 필터링 메커니즘(Noise Filtering Mechanism)**을 사용합니다. 이것을 체(sieve)라고 생각하십시오. 모델이 학생의 이력을 살펴볼 때, 모델은 무작위적인 추측이나 사고처럼 보이는 상호작용들을 자동으로 걸러내어 순수한 학습 신호만을 유지합니다. 이는 시스템이 운 좋은 추측이나 일시적인 집중력 저하로 인해 혼란에 빠지는 것을 방지합니다.

마지막으로, 연구진은 모델을 해석 가능하게(interpretable) 만들었습니다. 아무도 이해할 수 없는 복잡하고 신비로운 수학 공식(블랙박스) 대신, 그들은 기하학적 쿼리 정렬(Geometric Query Alignment) 레이어를 설계했습니다. 학생의 지식과 질문의 난이도를 공간에 떠 있는 두 개의 화살이라고 상상해 보십시오. 모델은 단순히 이 두 화살이 얼마나 같은 방향을 가리키는지 확인합니다. 만약 두 화살이 완벽하게 일치한다면, 학생이 정답을 맞힐 가능성이 높습니다. 만약 서로 다른 방향을 가리킨다면, 학생이 어려움을 겪을 수 있습니다. 이는 예측을 투명하고 교사가 이해하기 쉽게 만듭니다.

연구진은 수학 연습 문제와 공학 문제를 포함하여 수천 명의 학생과 수십만 개의 질문이 포함된 세 개의 실제 데이터셋을 통해 이 새로운 모델을 테스트했습니다. 그들은 LSTA-KT가 특히 학생들이 긴 성공의 기록 뒤에 몇 번의 실수를 하는 긴 학습 시퀀스에서 기존의 최고 모델들보다 더 우수한 성능을 보였다는 것을 발견했습니다. 한 구체적인 사례 연구에서, 21번 연속으로 정답을 맞히던 학생이 갑자기 3번의 실수를 했을 때, 기존 모델들은 학생이 모든 지식을 잃었다고 판단하여 당황하거나 반응이 너무 느렸습니다. 그러나 LSTA-KT는 이 실수를 일시적인 "실수(slip)"로 정확히 식별하고 빠른 회복을 예측했는데, 이는 마치 유능한 인간 교사가 하는 것과 같았습니다.

이 논문은 장기적 관점과 단기적 관점을 결합하고, 노이즈를 걸러내며, 명확한 기하학적 논리를 사용함으로써, LSTA-KT가 학생의 학습을 추적하는 더 견고하고 신뢰할 수 있는 방법을 제공한다고 시사합니다. 이 모델은 단순히 점수를 예측하는 것이 아니라, 교육자들이 숫자 뒤에 숨겨진 이야기를 이해하도록 돕고, 진정으로 학습하고 있는 학생과 단지 운 나쁜 하루를 보내고 있는 학생을 구분해 줍니다.

기술 요약: LSTA-KT

문제 정의

지식 추적(Knowledge Tracing, KT)은 학습자의 과거 상호작용 시퀀스를 분석하여 미래의 성취도를 예측함으로써 학습자의 인지 상태를 동적으로 평가하는 것을 목표로 한다. 딥러닝 모델들이 예측 정확도를 개선해 왔음에도 불구하고, 기존 방식들은 세 가지 결정적인 한계에 직면해 있다:

규모 간 균형 조절 능력 부족: 모델들이 장기적인 인지 트렌드(안정적인 숙달도)와 단기적인 성과 변동(최근의 실수 또는 이득)을 동시에 포착하는 데 어려움을 겪는다. 이들은 종종 역사적 가중치에 과도하게 의존하여 최근의 향상을 가리거나, 최근의 노이즈에 과도하게 반응하여 실제 능력을 저평가하곤 한다.
노이즈 민감도: 실제 학습 데이터에는 무작위 추측이나 "실수(slips)"(우발적 오류)와 같은 확률적 노이즈가 포함되어 있어 인지 프로필을 왜곡한다. 전통적인 모델들은 이러한 신호를 실시간으로 필터링할 수 있는 메커즘이 부족하다.
해석 가능성 결여: 표준 예측 레이어(예: 다층 퍼셉트론, MLP)의 "블랙박스" 특성은 학생의 능력과 문제 요구사항 간의 관계를 모호하게 만들어 교육적 유용성을 제한한다.

방법론

저자들은 LSTA-KT(장단기 어텐션 및 기하학적 쿼리 정렬을 통한 해석 가능한 지식 추적 모델)를 제안한다. 이 프레임워크는 전역적 학습 궤적과 국소적 상태 변화를 분리하도록 설계되었다. 아키텍처는 네 가지 주요 구성 요소로 이루어져 있다:

1. 상호작용 인코더 (Interaction Encoder)

이 모듈은 질문, 지식 개념, 응답, 난이도, 위치를 포함하는 입력 상호작용 시퀀스를 $N$ 개의 레이어로 구성된 스택형 아키텍처를 통해 처리하며, 각 레이어는 세 가지 통합된 메커즘을 포함한다:

장단기 어텐션 (Long-Short Term Attention, LSTA): 어텐션 헤드를 두 개의 기능적 서브스페이스로 분할하는 이중 흐름 어텐션 메커니즘이다:
- 전역 헤드 (Global Heads): 전체 상호작용 이력을 평가하여 안정적이고 장기적인 인지 프로필을 포착한다.
- 국소 헤드 (Local Heads): 고정된 시간 창( $w$ )에 의해 제한되며, 최근의 상호작용에만 집중하여 "최신성 효과(recency effect)"를 포착한다.
- 구현: 단일 병렬 연산 내에서 서로 다른 수용 영역(receptive fields)을 강제하는 구조화된 마스크 행렬을 통해 달성된다.
상호작용 거리 망각 메커니즘 (Interaction Distance Forgetting Mechanism, IDFM): 위치 기반의 음의 편향(negative bias)을 어텐션 점수에 적용하여 인간의 기억 감퇴를 시뮬레이션한다. 시간 간격에만 의존하는 모델들과 달리, IDFM은 "상호작용 거리"(사이에 끼어있는 태스크의 수)를 사용한다. 이는 학습 가능한 감쇠 기울기와 질문 난이도 차이에 기반한 문맥 인식 요소를 포함하여, 오래된 상호작용이 합리적으로 할인되도록 보장한다.
노이즈 필터링 메커니즘 (Noise Filtering Mechanism, NFM): $k$ -희소 강건 모델링(k-sparse robust modeling)에서 영감을 받은 희소 어텐션 전략이다. 어텐션 가중치를 정렬하고 동적 임계값을 적용함으로써, 낮은 기여도를 가진 역사적 기록(예: 추측 또는 실수)을 동적으로 제거한다. 초기 훈련 단계에서는 공격적인 프루닝(pruning)이 시작되기 전 특징 추출을 안정화하기 위해 웜업(warm-up) 전략을 사용한다.

2. 질문 인코더 (Question Encoder)

"문제 분석"과 "기억 인출" 사이를 교차하는 인지 과정을 모방하도록 설계된 이 인코더는 $2N$ 개의 레이어가 인터리브(interleaved)된 아키텍처를 사용한다:

홀수 레이어: 타겟 질문에 대한 셀프 어텐션을 수행하여 요구사항에 대한 심층적인 의미 이해를 강화한다.
짝수 레이어: 강화된 질문 표현을 쿼리로 사용하여 역사적 전역 상태(global state)에 크로스 어텐션(cross-attend)함으로써, 현재 문제를 해결하기 위한 관련 기억을 인출한다.

3. 능력-질문 쿼리 예측 (Ability-Question Query Prediction, AQQP) 레이어

해석 가능성을 해결하기 위해, 저자들은 표준 블랙박스 MLP 예측기를 기하학적 정렬 레이어로 대체한다:

학생의 은닉 상태(hidden states)와 질문 요구사항 벡터는 ReLU를 통해 비음수(non-negative)로 제약되며, 공유 단위 초구면(unit hypersphere) 상으로 $L_2$ 정규화를 통해 투영된다.
예측은 학생의 능력 벡터와 질문의 요구 벡터 사이의 코사인 유사도(기하학적 근접성)에 의해 정답 확률이 결정되는 기하학적 정렬 작업으로 변환된다.

4. 목적 함수 (Objective Function)

모델은 다음을 포함하는 결합 손실 함수를 통해 최적화된다:

예측 확률과 실제 응답 라벨 사이의 이진 크로스 엔트로피(Binary Cross-Entropy).
학습된 스칼라 난이도 파라미터의 안정성을 높이기 위한 $L_2$ 정규화.

주요 기여

이중 흐름 어텐션 (LSTA): 어텐션 헤드를 분리하여 전역적 인지 안정성과 국소적 성과 변동을 별도로 모델링함으로써, 장기적 추세와 단기적 변동 사이의 균형을 맞추는 메커니즘이다.
상호작용 거리 망각 (IDFM): 위치 기반 감쇠와 난이도 인지 문맥을 적용하는 망각 메커니즘으로, 절대적 시간보다 더 강건한 인지 간섭 측정을 제공한다.
노이즈 필터링 (NFM): 무의미한 역사적 신호(추측/실수)를 실시간으로 제거하여, 중요한 학습 신호만이 지식 상태를 업데이트하도록 보장하는 동적 희소 어텐션 전략이다.
기하학적 쿼리 예측 (AQQP): KT 작업을 투명한 벡터 정렬 프로세스로 매핑하여, 불투명한 비선형 변환을 대체하는 해석 가능한 예측 레이어이다.

실험 결과

모델은 세 가지 실제 데이터셋인 ASSISTments2009, ASSISTments2017, Statics2011에서 평가되었다.

성능: LSTA-KT는 AUC와 정확도(Accuracy) 모두에서 최신 베이스라인 모델들(DKT, DKVMN, AKT, SAINT 포함)을 능가했다.
- 긴 시퀀스를 가진 ASSISTments2017에서 LSTA-KT는 0.784의 AUC를 달성하여, 두 번째로 우수한 모델(AKT, 0.769)을 1.5% 차이로 앞섰다.
- Statics2011에서는 0.821의 AUC와 0.796의 ACC를 달성하여 최고 성능의 베이스라인과 대등한 결과를 보였다.
절제 연구 (Ablation Studies): 단일 모듈(LSTA, NFM, IDIDM, AQQP)을 제거할 때마다 성능이 유의미하게 하락(AUC 기준 2.0%~2.5%)하였으며, 이는 각 구성 요소의 필요성을 입증한다.
파라미터 민감도: 노이즈 필터링 유지 비율( $\rho$ ) 약 0.8, 총 8개 중 4개의 국소 어텐션 헤드, 그리고 로컬 윈도우 크기( $w$ ) 20에서 최적의 성능이 발견되었다.
시각화 및 사례 연구:
- 히트맵을 통해 Local Heads는 즉각적인 대각선(최근 상호작용)에 집중하는 반면, Global Heads는 멀리 떨어진 관련 역사적 지점에 고정됨을 확인했다.
- NFM이 노이즈가 섞인 상호작용에 대한 가중치를 효과적으로 제로(zero)로 만드는 것을 보여주었다.
- "실수(slip)" 사례 연구(21번의 정답 후 3번의 연속된 오답 발생)에서, LSTA-KT는 이를 일시적인 변동으로 올바르게 해석하여 예측치를 완만하게 하락(~0.75)시킨 후 빠르게 회복한 반면, AKT는 과잉 반응하여(0.33까지 하락) 급락했고, DKT+는 현저히 뒤처지는 모습을 보였다.

의의 및 주장

본 논문은 LSTA-KT가 다중 규모 의존성을 효과적으로 균형 잡고 노이즈를 필터링함으로써 동적 지식 추적을 위한 강건한 솔루션을 제공한다고 주장한다. 주요 의의는 다음과 같다:

강화된 강건성: 복잡한 장기 시퀀스 시나리오에서 실제 학습 진전과 우발적인 성과 변동을 구분하는 능력.
교육적 해석 가능성: 예측 작업을 기하학적 정렬 프로세스로 변환함으로써, 출력에 대한 투명한 논리를 제공하여 보다 개인화된 교수 전략을 촉진할 수 있다.
실용적 효용성: LSTA-KT는 기존 딥러닝 아키텍처에 비해 다양한 도메인(수학, 공학)에서 우수한 적응성을 입증하며 지능형 튜터링 시스템(ITS)을 위한 실행 가능한 도구임을 보여준다.

저자들은 LSTA-KT가 중요한 진전을 이루었으나, 향후 연구에서는 다중 모드 정서 상태와 연속적 시간 간격을 통합하여 인지 모델링의 정밀도를 더욱 높일 것이라고 결론지었다.