A Multi-Modal Learning Analytics Framework for Academic Early Warning and Student Risk Prediction in Higher Education

학교를 단순히 먼지 쌓인 책들이 가득한 조용한 도서관이 아니라, 폭풍우 치는 바다를 항해하는 북적이는 첨단 기술의 우주선이라고 상상해 보세요. 승무원들은 학생들이고, 우주선의 컴퓨터는 모든 이가 경로를 이탈하지 않도록 끊임없이 그들의 생체 신호를 모니터링합니다. 오랫동안 우주선의 승무원들은 누군가 가라앉기 시작한 후에야 기록을 확인해 왔습니다. 즉, 학생이 여러 과목에서 낙제하기 전까지는 도움을 보내지 않고 기다렸던 것입니다. 하지만 이것은 엔진에서 연기가 나기 시작할 때까지 정비사를 부르지 않고 기다리는 것과 같습니다. 그때는 이미 배를 구하기에 너무 늦은 경우가 많기 때문입니다. "학습 분석학(Learning Analytics)" 분야의 과학자들은 이를 바꾸려 노력하고 있습니다. 그들은 "교육 데이터 마이닝(Educational Data Mining)"이라는 방법을 사용하는데, 이는 기본적으로 수천 개의 작은 단서들—당신이 얼마나 오래 공부하는지, 얼마나 자주 로그인하는지, 심지어 기분이 어떤지까지—을 찾아내어 문제가 발생하기 전에 누가 곤경에 처할지 예측하는 아주 똑똑한 탐정이 되는 것과 같습니다. 그들이 던지는 큰 질문은 이것입니다. "우리는 단순히 누가 낙제할 것인지를 알려주는 것을 넘어, 그들이 정확히 어떻게 어려움을 겪고 있는지 알려주어 제때 도울 수 있는 수정구슬을 만들 수 있을까?"

이 논문은 바로 그 수정구슬을 만드는 것에 관한 것이지만, 한 가지 반전이 있습니다. 연구진은 단순히 성적만을 보는 대신, "멀티모달(multi-modal)" 프레임워크를 구축했습니다. 이것은 탐정이 용의자의 성적표만 보는 것이 아니라, 그들의 일기, 소셜 미디어 습관, 가족 배경, 그리고 수면 시간까지 한꺼번에 확인하는 것과 같습니다. 싱조 타오 팡(Zhuotao Fang)과 싱이 민족 사범대학교 연구진이 이끄는 팀은 1,194명의 실제 대학생 데이터를 수집했습니다. 그들은 한 가지만 보지 않았습니다. "현재 평점(GPA)"(현재 얼마나 잘하고 있는지)부터 "일일 소셜 미디어 이용 시간"(스크롤하는 데 시간을 얼마나 쓰는지), 심지어 "거주 상태"(혼자 사는지 혹은 가족과 함께 사는지)에 이르기까지 31가지의 서로 다른 유형의 정보를 하나로 합쳤습니다.

연구진은 학생들을 세 가지 명확한 그룹으로 분류할 수 있는지 알고 싶었습니다: "저위험군"(안전하고 순조롭게 항해 중), "중위험군"(약간 흔들리고 있으며, 격려가 필요함), "고위험군"(침몰하기 직전). 이를 위해 그들은 "One-vs-Rest"라는 영리한 기술을 사용했습니다. 세 명의 보안 요원이 있다고 상상해 보세요. 첫 번째 요원의 유일한 임무는 "고위험군" 학생을 찾아내고 나머지는 무시하는 것입니다. 두 번째 요원은 오직 "중위험군"만을 찾고, 세 번째 요원은 "저위험군"만을 찾습니다. 이들이 함께 협력함으로써, 시스템은 학생이 어디에 속하는지에 대해 매우 정밀한 결정을 내릴 수 있습니다.

컴퓨터 모델을 훈련시키기 전에도, 팀은 t-SNE라고 불리는 특별한 시각화 도구를 사용했습니다. 이것은 거대한 31차원의 방을 평평한 2D 평면도로 압축하는 마법 같은 지도라고 생각하면 됩니다. 그들이 이 지도 위에 학생들을 배치했을 때, 놀라운 광경을 목격했습니다: "고위험군" 학생들은 작고 고립된 섬처럼 빽빽하게 모여 있었던 반면, "저위험군" 학생들은 자신들만의 뚜렷한 섬을 형성했습니다. 이는 그들이 찾고 있는 단서들이 마치 지문 스캐너가 두 사람을 즉시 구별해 내는 것처럼, 그룹을 분리하는 데 실제로 효과적이라는 것을 증명했습니다.

최종 모델을 테스트했을 때 결과는 인상적이었습니다. 컴퓨터는 마치 노련한 선장처럼 학생의 데이터를 보고 "이 학생은 고위험군에 속할 확률이 95%입니다"라고 매우 높은 확신을 가지고 말할 수 있었습니다. 가장 중요한 단서는 무엇이었을까요? 바로 지난 학기의 성적이었습니다. 당신의 과거 성적이 미래의 성적을 예측하는 가장 강력한 지표이며, 당신을 같은 방향으로 끌어당기는 무거운 닻 역할을 한다는 사실이 밝혀졌습니다. 그러나 모델은 또한 소셜 미디어에 너무 많은 시간을 보내는 것이 위험 신호인 반면, 수업에 출석하고 매일 공부하는 것은 좋은 징조라는 점도 찾아냈습니다. 흥미롭게도, 가계 소득이나 성별 같은 요소들은 이 특정 데이터셋에서 성적과 직접적이고 단순한 연결 고리를 갖지 않는 것으로 나타났는데, 이는 이 맥락에서 일상적인 습관이 배경보다 더 중요하다는 것을 시사합니다.

이 연구는 이러한 시스템이 대학교에 게임 체인저가 될 수 있음을 시사합니다. 학생이 낙제하기를 기다리는 대신, 시스템은 학생의 "위험 점수"가 특정 선을 넘는 순간 상담사에게 자동 알림을 보낼 수 있습니다. 이를 통해 "선제적 개입"이 가능해집니다. 즉, 상담사가 학생이 실제로 과목을 낙제하기 전에 자리에 앉아 "헤이, 소셜 미디어를 쓰는 시간이 너무 많아지고 출석률이 떨어지고 있네요. 우리 함께 해결책을 찾아봅시다"라고 말할 수 있게 되는 것입니다. 연구진은 자신들의 모델이 매우 정확하며 실수를 거의 하지 않고, "고위험군" 학생이 "저위험군"보다 적더라도 혼란을 겪지 않는다는 것을 발견했습니다.

하지만 저자들은 자신들의 시스템이 완벽한 마법은 아니라는 점을 주의 깊게 언급합니다. 데이터 중 일부는 학생들이 스스로 작성한 설문 조사에서 왔기 때문에, 사람들이 세부 사항을 거짓으로 적었거나 잊어버렸을 가능성이 있습니다. 또한, 모델은 어떤 면에서 "블랙박스"와 같습니다. 즉, 위험을 잘 예측하기는 하지만, 인간 상담사가 쉽게 이해할 수 있는 방식으로 그 이유를 항상 설명해 주는 것은 아닙니다. 팀은 향에, 실시간으로 온라인 학습 플랫폼의 로그와 직접 연결하여, 학생들이 양식을 채우기를 기다리는 대신 버튼을 클릭하는 순간 그들이 무엇을 하고 있는지 정확히 볼 수 있게 함으로써 시스템을 더욱 개선할 수 있다고 제안합니다. 현재로서는, 이 연구가 성적, 습관, 그리고 삶의 세부 사항을 결합함으로써 우리가 어떻게 학생들을 위한 훨씬 더 똑똑한 안전망을 구축할 수 있는지, 그리고 우주선의 컴퓨터를 수동적인 기록 장치에서 능동적인 수호자로 바꿀 수 있는지를 보여줍니다.