Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

현대 교육의 광활한 풍경 속에서, 우리 교실을 관리하는 디지털 시스템 내부에서는 조용한 혁명이 일어나고 있습니다. 수십 년 동안 교사들은 학생이 얼마나 잘하고 있는지를 가늠하기 위해 성적과 출석부에 의존해 왔지만, 이러한 전통적인 척도들은 종-종 학습자가 어려움을 겪고 있을 때는 이미 너무 늦게 도착하곤 합니다. 오늘날 대학들이 점점 더 많은 강의를 온라인으로 전환함에 따라, 모든 클릭, 모든 로그인, 그리고 디지털 플랫폼에서 보내는 모든 순간은 흔적을 남깁니다. 연구자들은 이 흔적들을 "디지털 마커(digital markers)"라고 부릅니다. 이것들은 한 코스 내에서 학생의 일상을 보여주는 발자국이며, 기말고사를 치르기도 훨씬 전에 그들의 습관, 참여도, 그리고 잠재적인 어려움을 엿볼 수 있게 해줍니다. 이 새로운 연구 분야를 이끄는 질문은 단순하면서도 심오합니다. 우리는 이 디지털 발자국을 읽어내어 낙제할 것 같은 학생을 포착할 수 있는가, 그리고 그들의 경로를 바꿀 수 있을 만큼 충분히 일찍 그렇게 할 수 있는가 하는 것입니다.

이것은 잠비아 대학교의 연구팀이 직면한 과제였으며, 그들은 매우 어렵기로 악명 높은 1학년 과목인 '컴퓨터 시스템 및 아키텍처'에 주목했습니다. 이 수업에서는 역사적으로 거의 40%의 학생들이 통과하지 못하며, 이러한 비율은 많은 영리한 인재들이 학업을 본격적으로 시작하기도 전에 뒤처지게 만듭니다. 강사들은 무언가 잘못되었다는 것을 알고 있었지만, 누가 위험에 처해 있는지 파악할 방법이 너무 늦기 전까지는 부족했습니다. 이를 해결하기 위해 연구팀은 최종 성적 너머를 바라보기로 했고, 대신 4년에 걸쳐 학생들이 남긴 디지털 빵부스러기(digital breadcrumbs)를 조사하기로 했습니다. 그들은 약 300명의 학생으로부터 데이터를 수집하였으며, 학생들의 기본적인 배경 정보, 초기 퀴즈와 테스트 점수, 그리고 대학의 온라인 학습 시스템과 상호작용하는 방식에 대한 가공되지 않은 로그를 결ell합했습니다. 그들의 목표는 실패할 가능성이 높은 학생들을 식별하여, 상황을 반전시킬 수 있는 시간이 남아 있을 때 교사들이 개입할 수 있도록 돕는 조기 경보 시스템 역할을 할 모델을 구축하는 것이었습니다.

연구진은 먼저 코스를 가장 잘 아는 사람들인 강사, 튜터, 그리고 학생들의 목소리에 귀를 기울였습니다. 인터뷰와 설문 조사를 통해 그들은 시간 관리, 동기 부여, 컴퓨터 소유 여부와 같이 성공에 영향을 미치는 것으로 보이는 10가지 요인을 식별했습니다. 그런 다음 그들은 이러한 인간적인 통찰력을 데이터 포인트로 변환하여, 테스트할 포괄적인 특징 목록을 만들었습니다. 그들은 '가중 학업 모멘텀(weighted academic momentum)'이라는 특별한 점수를 설계했는데, 이는 학생이 수행한 아주 첫 번째 퀴즈와 테스트를 살펴보되, 더 포괄적인 후기 초기 평가들에 더 큰 중요성을 부여하는 방식이었습니다. 또한 그들은 학생이 온라인 시스템에 한 번이라도 로그인한 적이 있는지, 그리고 얼마나 많은 서로 다른 날에 활동했는지도 추적했습니다. 이 모든 정보를 컴퓨터 모델에 입력함으로써, 그들은 어떤 요인의 조합이 누가 낙제할지를 가장 잘 예측할 수 있는지 테스트했습니다.

그들이 발견한 것은 놀라우면서도 안심이 되는 것이었습니다. 실패를 예측하는 가장 강력한 예측 변수는 학생의 동기나 컴퓨터 경험에 대한 복잡한 설문 조사가 아니라, 오히려 세 가지 요소의 단순한 조합이었습니다: 즉, 초기 학업 모멘텀, 기본적인 배경, 그리고 온라인 학습 시스템을 한 번이라도 접촉했는지에 대한 단 하나의 예/아니오 질문이었습니다. 모델은 몇 주간의 초기 성과가 미래의 성공을 나타내는 가장 강력한 신호라는 것을 발견했습니다. 그러나 이 신호는 디지털 존재 여부를 확인하는 간단한 절차와 결합될 때 더욱 명확해졌습니다. 만약 어떤 학생이 높은 초기 점수를 받았음에도 불구하고 온라인 시스템에 한 번도 로그인하지 않았다면, 그 학생은 여전히 상당한 위험에 처해 있었습니다. 이는 일부 학생들이 자연적인 능력이나 사전 지식에 의존해 안주하며, 온라인에서 제공되는 지원 구조를 놓치고 있거나, 혹은 온라인 학습 자료와 상호작용하지 않고도 통과할 수 있다는 과도한 자신감 때문에 참여하지 않고 있음을 시사했습니다.

연구진이 이전에 본 적 없는 학생 그룹을 대상으로 최종 모델을 테스트했을 때, 모델은 본연의 임무인 '어려움을 겪고 있는 학생 찾기'에서 매우 효과적임을 입증했습니다. 시스템은 결국 과목을 낙제하게 될 학생의 87%를 정확하게 식별해 냈습니다. 이 높은 성공률에는 대가가 따랐는데, 모델은 통과할 학생들 중 일부를 위험군으로 분류하여 41%의 오보율(false alarm rate)을 기록했습니다. 연구진은 교육 환경에서 이것은 지불할 만한 가치가 있는 비용이라고 주장합니다. 도움이 필요하지 않은 학생에게 추가적인 도움을 주는 것이, 조용히 고군분투하며 낙제 위기에 처한 학생을 놓치는 것보다 훨씬 낫기 때문입니다. 모델은 학기 시작 후 단 5주 만에 사용 가능한 데이터를 활용함으로써 이 성과를 달랐으며, 이 기간은 강사들에게 개입할 수 있는 결정적인 창구를 제공합니다.

또한 이 연구는 더 복잡한 데이터를 추가하는 것이 반드시 예측력을 높여주는 것은 아니라는 점을 밝혀냈습니다. 학생의 감정이나 구체적인 학습량에 대한 상세한 설문 응답을 포함하는 것은 모델의 정확도를 개선하지 못했습니다. 사실, 가장 단순한 접근 방식, 즉 초기 성적과 기본적인 온라인 활동 확인에 집중하는 것이 가장 효과적이었습니다. 이는 이 특정 과목의 경우, 학생이 취하는 행동이 그들의 자기 보고식 감정이나 배경 세부 사항보다 미래를 나타내는 더 신뢰할 수 있는 지표임을 시사합니다. 연구진은 모델이 왜 그러한 결정을 내렸는지 이해하기 위해 SHAP 분석법을 사용했으며, 이는 가중 학업 모멘텀이 단일 가장 중요한 요인이며, 그 뒤를 이어 그 모멘텀과 온라인 시스템 참여 여부 사이의 상호작용이 밀접하게 뒤따른다는 것을 확인해주었습니다.

이 작업은 대학들이 이미 보유하고 있는 데이터를 어떻게 학생들을 지원하는 데 사용할 수 있는지에 대한 실질적인 청사진을 제공합니다. 단순하고 초기 단계의 디지털 마커에 집중함으로써, 교육자들은 실패에 반응하는 것에서 벗어나 실패를 예방하는 단계로 나아갈 수 있습니다. 연구진은 이 발견을 실시간 대시보드로 전환하여, 학생이 어려움의 징후를 보일 때 강사에게 자동으로 알림을 보내고, 강사가 표적화된 도움을 줄 수 있도록 명확한 이유를 제공할 계획입니다. 비록 이 연구가 잠비아의 한 대학에서 수행되었지만, 이 접근 방식은 보편적인 진리를 시사합니다. 디지털 시대에는 학생이 보여주는 방식, 심지어 아주 작은 방식이라 하더라도, 그들의 배경이나 초기 자신감보다 더 크게 말하는 경우가 많다는 것입니다. 성공으로 가는 길은 항상 복잡한 통계 속에 숨겨져 있는 것이 아니라, 때로는 수업에 출석하는 것—온라인과 오프라인 모두에서—의 조용하고 꾸준한 리듬 속에 있습니다.