A Transparent Fuzzy-Inference Layer for Explainable Knowledge Tracing: Why Prerequisite Graphs Must Be Expert-Supplied, and Which T-Norm to Use

현대적인 교실에서 기술은 학생의 학습 방식을 추적하고 실시간으로 수업을 조정하는 시스템을 제공하며 끊임없는 동반자가 되었습니다. '지식 추적(knowledge tracing)'이라 불리는 이 시스템들은 학생이 수학 문제나 독해 질문에 답하는 순서를 관찰하는 디지털 튜터처럼 작동합니다. 이들은 학생이 다음 질문을 맞힐지 틀릴지를 예측하는 데 매우 뛰어납니다. 그러나 이러한 디지털 튜터들은 종 often '블랙박스'처럼 작동합니다. 이들은 학생이 특정 개념을 어려워하고 있다는 신호는 보낼 수 있지만, 그 이유가 무엇인지는 설명하지 못합니다. 예를 들어, 학생이 "분수의 나눗셈"에서 실패하고 있다고 표시할 수는 있지만, 이 실패를 초래한 이전의 어떤 개념을 놓쳤는지는 교사에게 알려주지 못합니다. 인간 교사에게 있어 근본 원인을 아는 것은 필수적입니다. 그것은 현재의 주제를 다시 가르칠 것인지, 아니면 기초를 바로잡기 위해 이전 단계로 돌아갈 것인지를 결정하는 차이이기 때문입니다. 이러한 명확함 없이는, 가장 강력한 예측이라 할지라도 실제적인 개입에는 무용지물입니다.

연구자들은 컴퓨터가 개념들이 어떻게 연결되는지에 대한 숨겨진 지도를 자동으로 발견하도록 가르침으로써 이 문제를 해결하기를 오랫동안 희망해 왔습니다. 그 아이디어는 알고리즘이 수백만 개의 학생 답변을 분석하여, 인간이 직접 지도를 그리지 않아도 "분수의 곱셈"이 "분수의 나눗셈" 이전에 반드시 선행되어야 하는 단계임을 스스로 알아내도록 하는 것이었습니다. 이것이 가능하다면, 시스템은 어떤 과목에도 손쉽게 확장되어 데이터만으로 스스로 설명을 생성할 수 있을 것입니다. 그러나 새로운 연구는 이러한 낙관적인 전제에 도전합니다. 연구진은 학생들의 로그로부터 이러한 자동화된 지도를 구축할 수 있는지 엄격하게 테스트한 결과, 데이터 자체에 필요한 단서가 전혀 포함되어 있지 않다는 것을 발견했습니다. 컴퓨터가 규칙을 발견하는 대신, 연구진은 이 지도는 반드시 인간 전문가에 의해 제공되어야 하며, 진정한 돌파구는 전문가의 지도를 사용하여 컴퓨터의 예측을 설명하는 투명한 시스템을 구축하는 데 있다는 결론을 내렸습니다.

연구진은 먼저 컴퓨터가 스스로 이러한 연결 관계를 학습하는 데 사용할 수 있는 세 가지 서로 다른 방법을 테스트했습니다. 그들은 인기 있는 온라인 수학 플랫폼의 방대한 상호작용 로그를 알고리즘에 입력하여, 하나의 기술을 숙달하는 것이 다른 기술의 성공으로 이어지는 패턴을 찾았습니다. 첫 번째 방법은 정보의 흐름을 살펴보았고, 두 번째는 똑똑한 학생들이 모든 것을 다 맞히려는 자연스러운 경향을 걸러내려 했으며, 세 번째는 몇 가지 알려진 사례를 사용하여 나머지를 추측했습니다. 서로 다른 수학적 접근 방식을 사용했음에도 불구하고, 세 가지 방법 모두 실패했습니다. 연구진이 컴퓨터의 추측치를 16개의 수학 개념에 대해 전문가가 검증한 기지의 지도와 비교했을 때, 그 결과는 무작위 확률과 구별할 수 없을 정도였습니다. 알고리즘은 진정한 선수 학습 관계와, 단지 같은 학생들에 의해 풀려졌을 뿐인 서로 관련 없는 두 기술 사이의 차이를 구분해내지 못했습니다.

이러한 실패의 원인은 데이터 속에 숨겨진 미묘하지만 강력한 함정 때문입니다. 어떤 교실에서든 학생들의 능력은 제각각입니다. 어떤 학생은 본래 습득이 빠르고, 어떤 학생은 모든 것을 어려워합니다. 이는 거의 모든 기술이 서로 관련되어 있는 것처럼 보이게 만드는 혼란스러운 신호를 만들어냅니다. 우수한 학생은 수학을 잘하기 때문에 "분수의 덧셈"과 "분수의 뺄셈"을 모두 맞히는 것이지, 한 쪽이 다른 쪽의 원인이 되어서 맞히는 것이 아닙니다. 반대로 약한 학생은 동일한 이유로 둘 다 틀립니다. 이 "능력 함정(ability trap)"은 진정한 인과 관계를 덮어버려, 컴퓨터가 로그만으로 지도를 학습하는 것을 불가능하게 만듭니다. 연구진은 거의 100만 건의 상호작용이 담긴 데이터셋과 2,500만 건 이상의 상호작용이 담긴 또 다른 거대 데이터셋을 통해 이 문제를 테스트함으로써 이를 확인했습니다. 모든 경우에 함정은 견고하게 유지되었으며, 이는 이 문제가 특정 알고리즘의 결함이 아니라 데이터 자체의 근본적인 특성임을 입증했습니다.

컴퓨터가 지도를 만들 수 없게 되자, 연구진은 질문의 방향을 바꿨습니다. 만약 우리에게 전문가가 검증한 지도를 준다면, 컴퓨터가 그 지도를 사용하여 자신의 예측을 명확하고 신뢰할 수 있게 설명할 수 있을 것인가? 연구진은 표준 예측 엔진 위에 새로운 계층, 즉 '번역기' 역할을 하는 시스템을 구축했습니다. 이 번역기는 컴퓨터의 내부적인 학생 기술 수준 추정치를 가져와 이를 전문가의 지도와 대조합니다. 만약 컴퓨터가 어려운 개념에서 학생이 실패할 것이라고 예측하면, 번역기는 지도를 살펴보고 어떤 이전 개념들이 필요한지 확인합니다. 그런 다음, "학생의 선수 학습 기술에 대한 이해가 부족하여 위험 상태에 있습니다"와 같이 간단하고 읽기 쉬운 문장을 생성합니다. 결정적으로, 이 번서기는 학습하거나 변하지 않습니다. 이는 누구나 검사할 수 있는 고정된 규칙 집합입니다. 이러한 설계는 설명이 복잡한 신경망으로부터 나오는 신비로운 출력이 아니라, 항상 특정할 수 있고 감사 가능한 규칙에 연결되도록 보장합니다.

연구팀은 이 접근 방식이 오늘날 AI의 결정을 설명하기 위해 사용되는 표준적인 방법들보다 실제로 더 효과적인지 테스트했습니다. 그들은 자신들의 새로운 번역기를, 과거의 어떤 상호작용이 가장 중요했는지를 강조함으로써 컴퓨터의 사고 과정을 역공학하려는 대중적인 기술들과 비교했습니다. 결과는 놀라웠습니다. 표준적인 방법들은 신뢰할 수 없었습니다. 그것들은 종종 잘못된 과거 상호작용을 지목하거나, 많은 무관한 세부 사항들에 주의력을 분산시켜, 컴퓨터의 예측이 옳았을 때조차 진정한 원인을 식별하는 데 실패했습니다. 반면, 전문가의 지도를 기반으로 구축된 새로운 번역기는 일관되게 올바른 선수 학습 개념을 식별해냈습니다. 이는 밑바탕이 되는 컴퓨터 구조와 상관없이 작동했으며, 다른 유형의 모델에서도 동일하게 잘 작동했습니다. 이 연구는 컴퓨터의 내부 논리가 표준적인 설명 도구들에게는 종종 불투명할지라도, 전문가의 지도는 번역기가 실패 없이 따를 수 있는 신뢰할 수 있는 가이드가 된다는 것을 보여주었습니다.

연구진은 또한 이러한 설명을 만들기 위해 서로 다른 정보 조각들을 결합하는 최선의 방법이 무엇인지 조사했습니다. 그들은 어떤 선수 학습 개념이 정말로 문제의 원인인지 결정하는 네 가지 서로 다른 수학적 방식을 테스트했습니다. 한 방법은 매우 엄격했고, 다른 하나는 매우 느슨했으며, 나머지 두 개는 그 중간 정도였습니다. 이들의 선택을 컴퓨터 모델의 실제 행동과 비교했을 때, '곱의 법칙(product rule)'으로 알려진 특정 방법이 현실과 가장 잘 부합한다는 것을 발견했습니다. 이 방법은 선수 학습 개념이 약하고 현재의 기술 또한 위험에 처했을 때만 문제를 표시함으로써, 너무 민감하거나 너무 엄격한 것 사이의 적절한 균형을 맞추었습니다. 이 발견은 논리적 단계들을 결합하는 방식이 중요하며, 신중한 선택이 설명의 정확도를 높일 수 있음을 시사합니다.

궁극적으로, 이 연구는 교육 기술이 나아가야 할 명확한 경로를 제시합니다. 학생 로그로부터 지식의 구조를 자동으로 발견하려는 시도는 데이터가 너무 노이즈가 심하고 일반적인 학생 능력에 의해 연결 관계가 가려져 있기 때문에 막다른 길임을 보여줍니다. 대신, 가장 효과적인 접근 방식은 개념들이 어떻게 연결되는지에 대한 지도는 인간 전문가가 제공해야 한다는 점을 받아들이는 것입니다. 일단 그 지도가 마련되면, 투명하고 규칙 기반인 시스템이 이를 활용하여 불투able한 예측을 교사에게 유용한 명확하고 실행 가능한 조언으로 바꿀 수 있습니다. 이것은 컴퓨터의 능력이 떨어진다는 의미가 아닙니다. 이는 이제 컴퓨터가 인간의 가이드와 함께 협력하여, 단순히 통계적으로 확률이 높은 것이 아니라 논리적으로 타당하고 신뢰할 수 있는 설명을 제공하게 된다는 것을 의미합니다. 이 연구의 가치는 더 빨리 학습하는 새로운 알고리즘에 있는 것이 아니라, 자동 발견이라는 환상보다 명확성과 정확성을 우선시하는 새로운 설계 원칙에 있습니다.