Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices

당신이 수학과 같은 복잡한 과목을 배우는 학생의 진도를 추적하려고 한다고 상상해 보십시오. "지식 추적(knowledge tracing)"의 세계에서 과학자들은 탐정처럼 행동하며, 학생이 특정 시점에 정확히 무엇을 알고 무엇을 모르는지를 알아내려 노력합니다. 그들은 학생들이 시간이 지남에 따라 질문에 어떻게 답하는지를 관찰함으로써 이를 수행합니다. 전통적으로 많은 컴퓨터 모델은 학생의 지식을 마치 흔들리는 줄타기 곡예사처럼 가정했습니다. 즉, 매 질문에 답할 때마다 끊임없이 비틀거리고, 변화하며, 격렬하게 요동친다는 것입니다. 학생이 문제를 하나 맞히면 "지식 수준"이 급상승하고, 하나를 틀리면 곤두박질치는 식입니다.

하지만 실제 삶은 그렇게 혼란스럽지 않습니다. 학습을 집을 짓는 것에 비유해 보십시오. 당신은 일주일 동안 벽돌을 쌓을 수도 있고(학습), 주말 동안 잠시 쉴 수도 있지만(약간의 망각), 월요일에 돌아왔을 때 지난주에 쌓은 기초는 여전히 대부분 그대로 남아 있습니다. 휴식을 취했다고 해서 그 기초가 사라지지는 않습니다. 기존의 많은 컴퓨터 모델은 이러한 "간헐적(intermittent)" 특성을 놓치고 있습니다. 즉, 학습은 테스트 중에는 안정적으로 유지되지만, 서로 다른 테스트 기간 사이에는 크게 변할 수 있다는 아이디어를 말입니다. "Q-행렬의 지식-맥락 인지 증강을 통한 간헐적 지식 상태 추적"이라는 제목의 이 논문은 이 리듬을 이해하는 더 똑똑한 탐정을 만들기 위해 노력합니다. 이 논문은 INKT라는 새로운 모델을 소개하는데, 이 모델은 단순히 학생을 관찰하는 데 그치지 않고, 지식 자체의 지도와 학생들이 시간이 지남에 따라 어떻게 배우고 잊는지까지 이해합니다.

지도와 누락된 조각들

이 논문의 해결책을 이해하려면 먼저 연구자들이 사용한 도구들을 살펴봐야 합니다. 모든 거리(지식 개념, 예: 대수학 또는 기하학)와 모든 건물(테스트 질문)이 존재하는 거대한 도시 지도를 상상해 보십시오. 이 도시에서 어떤 거리는 다른 거리로 직접 연결됩니다. 고속도로에 진입하려면 반드시 진입로를 거쳐야 하는 것과 같습니다. 이 지도를 **Q-행렬(Q-matrix)**이라고 부릅니다. 이는 컴퓨터에게 어떤 개념이 어떤 질문을 푸는 데 필요한지를 알려주는 목록입니다.

문제는 인간 전문가가 제공하는 지도가 종종 불완전하다는 점입니다. 그 지도는 명백한 연결 관계만을 보여줍니다. 예를 들어, 어떤 지도는 "이 미적분 문제를 풀려면 미분을 알아야 한다"라고 말할 수 있습니다. 하지만 그 지도는 미분을 알기 위해서는 또한 극한을 알아야 하고, 극한을 알기 위해서는 함수를 알아야 한다는 사실을 언급하는 것을 잊었습니다. 컴퓨터는 이 불완전한 지도를 보고 학생이 미분만 알면 된다고 생각합니다. 만약 학생이 미적분 문제를 틀리면, 컴퓨터는 미적분 기술의 문제라고 탓하지만, 실제로는 학생이 극한을 다루는 법을 잊어버렸다는 사실은 놓치게 됩니다.

이 논문의 저자들은 지도를 수정하기 위해 도시의 "위상(topology)", 즉 연결의 형태를 살펴봐야 한다는 것을 깨달았습니다. 그들은 Q-행렬을 "증강(augment)"(또는 업그레이드)하는 방법을 제안했습니다. 단순히 직접적인 연결만을 보는 대신, 그들의 알고리즘은 지식 그래프를 통한 완전한 경로를 추적합니다. 만약 개념 A가 개념 B로 이어지고, 개념 B가 개념 C로 이어진다면, 컴퓨터는 C를 위한 과업을 수행하는 것이 A와 B를 모두 포함한다는 것을 배웁니다. 그들은 이러한 개념들을 쉬운 것부터 어려운 것 순으로 책을 선반에 정리하듯 논리적인 순서로 배치하기 위해 "위상 정렬(topological sorting)"이라는 수학적 방법을 사용했습니다. 이렇게 함으로써, 그들은 숨겨진 연결들을 채워 넣어, 듬성듬성하고 불완전한 지도를 모든 개념이 비밀스럽게 어떻게 연결되어 있는지 보여주는 풍부하고 상세한 가이드로 탈바나게 했습니다.

"간헐적" 탐정

더 나은 지도를 구축한 후, 연구자들은 새로운 탐정 모델인 INKT를 만들었습니다. 여기서 핵심 아이디어는 지식 상태가 "간헐적"이라는 것입니다. 이는 짧은 테스트(예: 30분 퀴즈) 동안 학생의 지식은 비교적 안정적임을 의미합니다. 학생은 퀴즈 도중에 갑자기 모든 것을 잊거나 새로운 단원을 배우지 않습니다. 그러나 테스트 사이의 시간(예: 일주일 간격) 동안 학생들은 무언가를 잊어버릴 수도 있고(망각률), 새로운 것을 배울 수도 있습니다(학습률).

기존의 대부분의 모델은 모든 질문을 학생의 지식이 격렬하게 요동칠 수 있는 완전히 새로운 사건으로 취급했습니다. 반면, INKT는 시간 창(time windows)을 존중합니다. INKT는 만약 당신이 오늘 테스트를 본다면, 당신의 지식은 당신이 그사이에 얼마나 배웠거나 잊었는지에 의해 조정된, 어제의 지식에서 약간 진화한 버전일 것이라고 가정합니다. 이 모델은 **문항 반응 이론(Item Response Theory, IRT)**이라는 수학적 프레임워크를 사용하는데, 이는 단순히 정답 여부뿐만 아니라 질문이 얼마나 어려웠는지, 그리고 그 질문이 똑똑한 학생과 찍는 학생을 구분해 내는 능력이 얼마나 좋은지를 고려한다는 세련된 방식입니다.

또한 이 모델은 심리학의 개념인 "망각 곡선"을 고려합니다. 이는 우리가 정보를 사용하지 않으면 시간이 지남에 따라 정보를 잃게 된다는 점을 시사합니다. INKT는 각 학생과 각 개념에 대한 특정 "망각률"과 얼마나 빨리 습득하는지에 대한 "학습률"을 계산합니다. 그런 다음 마지막 답변에 기반해 단순히 추측하는 대신, 이 비율들을 사용하여 다음 테스트에서 학생의 지식 상태가 어떠해야 하는지를 예측합니다.

실험 결과가 보여준 것

새로운 탐정이 얼마나 유능한지 확인하기 위해, 연구자들은 여러 데이터셋을 통해 테스트를 진행했습니다. 그들은 중국 선전의 한 고등학교에서 69명의 학생, 7번의 테스트, 88개의 지식 개념을 포함하는 MTest라는 맞춤형 데이터셋을 만들었습니다. 또한 세 개의 공개 데이터셋(Math1, Math2, FrcSub)을 사용했으며, 대규모 학생 집단을 어떻게 처리하는지 보기 위해 형식 개념 분석(Formal Concept Analysis)을 사용하여 생성된 거대한 시뮬레이션 데이터셋인 FMTest도 사용했습니다.

결과는 매우 유망했습니다. INKT를 다른 모델들(단순한 모델부터, "간헐적" 학습 특성을 고려하지 않은 복잡한 모델까지)과 비교했을 때, INKT는 일관되게 더 우수한 성능을 보였습니다.

• MTest 데이터셋에서, 가장 좋은 시나리오의 경우 INKT는 약 0.77의 정확도(ACC)를 달성한 반면, 그다음으로 우수한 모델은 약 0.57에 그쳤습니다.
• 대규모 시뮬레이션 데이터셋인 FMTest에서, INKT는 0.94의 정확도를 기록하며, 약 0.81 주변에 머물렀던 다른 모델들을 크게 앞질렀습니다.
• 이 모델은 또한 매우 안정적이었습니다. 학생 수나 테스트의 조합을 변경하더라도 INKT는 무너지지 않고 계속해서 정확한 예측을 내놓았습니다.

연구자들은 또한 엔진을 분해하여 어떤 부품이 어떤 역할을 하는지 살펴보는 "절제(ablation)" 연구도 수행했습니다. 그들은 모델에서 "망각률"이나 "학습률"을 제거하면 성능이 크게 떨어진다는 것을 발견했습니다. 이는 학생들이 시간이 지남에 따라 어떻게 배우고 잊는지 추적하는 것이 필수적임을 입증했습니다. 또한 "증강된" Q-행렬(숨겨진 연결이 포함된 업그레이드된 지도)을 사용하는 것이 결정적이라는 것도 발견했습니다. 기존의 불완전한 지도를 사용했을 때 모델은 누가 무엇을 맞힐지 예측하는 데 있어 성능이 떨어졌습니다.

결론

이 논문은 더 똑똑한 지식 지도(증강된 Q-행렬)와 학습 및 망각의 리듬을 존중하는 모델(간헐적 상태 추적)을 결합함으로써, 학생들이 실제로 무엇을 알고 있는지에 대해 훨씬 더 명확한 그림을 얻을 수 있다고 결론짓습니다. 저자들은 이 접근 방식이 지식이 끊임없이 격렬하게 요동친다고 가정하는 모델들보다 더 합리적이라고 제안합니다.

하지만 저자들은 이것이 완벽하게 해결된 문제라고 주장하는 데는 신중합니다. 그들은 자신들의 지식 연결 "지도"가 여전히 인간 전문가에 의해 구축되었으며, 이는 주관적일 수 있다는 점을 인정합니다. 또한 그들의 모델은 학생의 현재 지식이 오직 직전의 상태에만 의존한다고 가정하며, 작용할 수 있는 더 복적인 "주의(attention)" 메커니즘을 무시한다는 점도 언급합니다. 그들은 향후 연구가 데이터로부터 이러한 지식 지도를 자동으로 생성하고, 모델을 더욱 정확하게 만들기 위해 더 발전된 주의 메커니즘을 사용하는 방향으로 나아가야 한다고 제안합니다.

요약하자면, 이 논문은 학생들을 불안정한 줄타기 곡예사로 취급하는 대신, 벽돌을 쌓고, 휴식을 취하고, 다시 돌아왔을 때 기초가 여전히 온전한 것을 발견하는 건축가로 취급하는 유쾌하면서도 엄밀한 방법을 제시합니다. 지식의 숨겨진 연결과 기억의 자연스러운 ebb와 flow(밀물과 썰물)를 이해함으로써, INKT 모델은 학습 여정에 대한 더 정직하고 정확한 관점을 제공합니다.