Archetypes or ability? Clustering for modelling student mathematical competence

당신이 학생이 수학을 어떻게 배우는지 이해하려고 노력하고 있다고 상상해 보세요. 오랫동안 교육자와 컴퓨터 과학자들은 학습이 서로 구별되는 별개의 방들로 이루어진 집을 짓는 것과 같은지 궁금해해 왔습니다. 어쩌면 당신은 '대수학의 방'에서는 숙련가이지만 '기하학의 방'은 아직 완성하지 못했을 수도 있습니다. 즉, 한 분야의 기술이 다른 분야의 기술을 반드시 예측하는 것은 아닐 수도 있다는 것이죠. 이 아이디어는 모든 학생이 자신만의 고유한 '지문', 즉 자신이 누구인지를 만드는 강점과 약점의 독특한 조합을 가지고 있다고 시사합니다. 만약 우리가 이러한 뚜xt렷한 그룹, 즉 '원형(archetypes)'을 찾아낼 수 있다면, 각 학생의 고유한 형태에 맞춰 수업을 완벽하게 조절하는 초지능형 컴퓨터를 만들 수 있을 것입니다. 교육 데이터 마이닝(educational data mining)이라고 알려진 이 분야는 방대한 양의 시험 점수를 사용하여 이러한 숨겨진 패턴을 찾으려고 노력합니다. 이것은 마치 커다란 섞여 있는 레고 브릭들을 완벽하게 정의된 세트들로 분류하려는 것과 같습니다. 하지만 만약 브릭들이 깔끔하게 쌓여 있지 않다면 어떨까요? 만약 서로 다른 모양이 중요한 것이 아니라, 단지 당신이 가진 브릭의 총 개수가 정말로 중요한 것이라면 어떨까요?

이것이 바로 벤자민 모즈리(Benjamin Mawdsley)와 그의 팀이 답을 찾고자 했던 핵심 질문입니다. 그들은 영국에서 연습 수학 시험을 치른 119,000명 이상의 학생들로부터 얻은 방대한 데이터셋을 활용했습니다. 그들은 단순히 추측하는 대신, 특수한 종류의 컴퓨터 프로그램을 사용하여 이러한 숨겨진 '지문' 그룹을 찾아냈습니다. 그들은 다음과 같이 물었습니다. 학생들은 정말로 구별되는 기술 클러스터에 속하는가, 아니면 이 모든 것이 단 하나의 큰 것, 즉 전반적인 능력에 관한 것인가?

연구진은 각 시험 문제를 마치 전등 스위치처럼 취급했습니다. 학생이 맞히면 '온(on)', 틀리면 '오프(off)'가 되는 식입니다. 그런 다음 그들은 학생들이 어떤 스위치가 켜져 있거나 꺼져 있는지에 따라 서로 다른 '원형'으로 그룹화할 수 있는지 확인하기 위해 '베르누이 혼합 모델(Bernoulli Mixture Model)'이라는 수학적 도구를 사용했습니다. 그들은 일부 학생이 '기하학의 구루(Gurus)'가 되거나 다른 학생들이 '대수의 달인(Aces)'이 될 수 있기를 바랐습니다. 그러나 결과는 반전이 있었습니다. 컴퓨터는 많은 뚜렷한 그룹을 찾아내지 못했습니다. 대신, 학생들은 대부분 동일한 것의 변형일 뿐이었습니다. 즉, 그들의 전반적인 수학 능력에 관한 것이었습니다.

합창단을 생각해 보세요. 당신은 소프라노, 알토, 테너, 베이스와 같이 각기 고유한 소리를 가진 뚜렷한 섹션들을 기대할 수도 있습니다. 하지만 연구진이 자세히 들어보니, '높은' 가창자와 '낮은' 가창자의 차이는 대부분 '음량'의 차이였습니다. '기하학의 구루'와 '대수의 달인'은 실제로 서로 다른 노래를 부르고 있었던 것이 아니라, 단지 어떤 이들은 더 크게(더 숙련되게) 노래를 부르고 있었을 뿐입니다. 연구 결과, 특정 문제를 맞힐 확률은 학생의 전체 시험 점수와 거의 완벽하게 연결되어 있었습니다. 만약 어떤 학생이 전체 시험에 강하다면, 그는 거의 모든 부분에서 강했습니다. 만약 어떤 학생이 전체 시험에서 어려움을 겪는다면, 그는 거의 모든 부분에서 어려움을 겪었습니다.

연구팀은 학생의 평균 점수만을 고려한 단순한 모델이 특정 문제에 대한 성과를 약 78%의 정확도로 예측할 수 있다는 것을 발견했습니다. 이는 모든 미세한 기술을 추적하려고 시도하는 훨씬 더 복잡한 모델들과 거의 맞먹는 수준이었습니다. 사실, 가장 복잡한 모델들은 아주 미미하고 눈에 띄지 않는 개선만을 보여주었습니다. 이는 비록 학생들 사이에 아주 작은 차이(예를 들어, 특정 주제에는 뛰어나지만 다른 주제에는 평범한 몇몇 학생들)가 존재할 수는 있지만, 그러한 차이는 드물다는 것을 시사합니다. 대다수의 학생에게 있어 그들의 '수학적 개성'은 단 하나의 숫자, 즉 그들이 수학을 얼마나 잘하는가 하는 것입니다.

연구진은 또한 자신들의 컴퓨터 모델이 공정하고 신뢰할 수 있는지 확인했습니다. 그들은 모델이 수학을 매우 잘하거나 매우 못하는 학생들에게 가장 잘 작동한다는 것을 발견했습니다. 수학 실력이 '보통'인 학생들, 즉 중간 단계에 있는 학생들은 예측하기가 가장 어려웠습니다. 이것은 날씨를 예측하는 것과 같습니다. 불볕더위나 혹한의 날씨는 예측하기 쉽지만, 흐리고 온화한 날씨는 정확히 짚어내기가 훨씬 어렵습니다. 이는 학교에서 이러한 도구를 사용하여 개인화된 조언을 제공할 때, 컴퓨터가 무엇을 필요로 하는지에 대해 확신이 없을 수 있으므로 중간 단계의 학생들에 대해 각별히 주의해야 함을 의미합니다.

결론적으로, 이 연구는 학생들이 완전히 분리된 다양한 기술 세트를 가지고 있다는 생각이 현실이라기보다는 일종의 신화에 가깝다는 것을 시사합니다. 학생들을 독특하고 모듈화된 기술 세트를 가진 존재로 생각하기 쉽지만, 데이터는 전반적인 능력이 지배적이라는 것을 보여줍니다. 학생들이 서로 다른 강점을 가지고 있지 않다는 것이 아니라, 그 강점들은 보통 함께 오르고 내린다는 것입니다. 논문은 우리가 학생의 수학적 기술을 이해하기 위해 검은 상자(black-box) 형태의 매우 복잡한 컴퓨터를 가질 필요는 없으며, 큰 그림을 보는 단순하고 설명 가능한 모델만으로도 충분히 목적을 달성할 수 있다고 결론짓습니다. 이는 우리가 교육 도구를 만들 때, 모든 개별 학생에 대해 백만 개의 작은 퍼즐을 풀 필요 없이, 정확하면서도 교사와 학부모가 이해하기 쉬운 도구를 구축할 수 있다는 점에서 매우 중요한 의미를 갖습니다.