Learning Analytics and Early Warning Systems for Mathematics Achievement: A Multi-Country Comparative Programme Evaluation

교육의 세계를 거대하고 북적이는 기차역이라고 상상해 보세요. 수십 년 동안 역장들(교사와 행정가들)은 어떤 승객(학생)이 기차를 놓칠지(낙제하거나 중도 탈락할지) 알아내기 위해 노력해 왔습니다. 예전에는 누가 졸려 보이거나 아직 표를 사지 않았는지 등을 보고 짐작하곤 했습니다. 하지만 지난 10년 동안, 역에는 스마트한 디지털 시스템이 업그레이드되었습니다. 이 시스템은 **학습 분석학(Learning Analytics)**이라 불리며, 마치 모든 승객의 발걸음을 하나하나 지켜보는 거대한 보이지 않는 CCTV 네트워크와 같습니다. 이 시스템은 승객이 출발 안내판을 얼마나 자주 확인하는지, 시간표를 얼마나 오래 응시하는지, 그리고 플랫폼으로 얼마나 빨리 달려가는지를 기록합니다.

이 방대한 데이터로부터 **조기 경보 시스템(EWS)**이라는 특정 도구가 만들어졌습니다. 이것은 디지털 "적색 깃발"이 기관사의 화면에 나타나는 것과 같습니다. 시스템이 어떤 승객이 기차를 놓칠 것 같은 패턴을 포착하면, 즉시 도움을 보낼 수 있도록 알림을 보냅니다. 여기서 모두가 던지는 핵심적인 질문은 이것입니다. 이 첨단 기술 시스템이 실제로 수학 학습에 도움이 되는가? 그리고 만약 한 나라에서 효과가 있다면, 다른 나라에서도 효과가 있을까? 이것은 서로 다른 국가들이 이러한 디지털 안전망을 어떻게 사용하는지 비교함으로써 답을 찾고자 했던 새로운 연구의 이야기입니다.

---

수학 구조 작전: 글로벌 건강 검진

이 논문은 칠레, 독일, 영국, 멕시코와 같은 곳의 학교들이 수학 학습에 어려움을 겪는 학생들을 돕기 위해 이러한 디지털 조기 경보 시스템을 어떻게 사용하고 있는지 살펴본 전 세계 30개 연구에 대한 거대한 "건강 검진"입니다. 연구자들은 단순히 숫자만 본 것이 아니라, 시스템이 어떻게 구축되었는지, 무엇을 관찰하는지, 그리고 모두에게 공정한지를 살펴보았습니다.

전문 용어를 제외하고 연구 결과의 핵심을 설명해 드리겠습니다.

"적색 깃발"의 정확도

먼저 좋은 소식입니다. 이 시스템들은 문제를 포착하는 데 꽤 능숙합니다. 연구자들이 이 시스템들이 낙제할 학생과 통과할 학생을 얼마나 잘 구별하는지 확인했을 때, 그 점수는 인상적이었습니다. 검토된 연구들에서 시스템은 0.70에서 0.93 사이의 확률로 정답을 맞혔습니다. 이를 체감하기 위해 설명하자면, 여러분이 추측을 한다면 50%의 확률로 맞히게 될 것입니다. 이 시스템들은 동전 던지기보다 훨씬 더 나은 성과를 보여주고 있습니다.

하지만 점수가 높다고 해서 너무 들뜨지는 말라고 논문은 경고합니다. 이것은 마치 토스트를 태울 때마다 아주 크게 울리는 연기 감지기를 가진 것과 같습니다. 토스트를 태울 때마다 울린다면 기술적으로는 "민감"한 것이지만, 진짜 화재를 무시하게 만든다면 그리 유용하지 않습니다. 연구자들은 이 시스템의 실제 유용성이 학생 집단의 안정성과 학교가 "경보 임계값"을 어떻게 설정하느냐에 달려 있다고 밝혔습니다. 만약 경보를 울리는 규칙이 매주 바뀐다면, 시스템은 혼란스러운 오보의 덩어리가 될 것입니다.

"일반적 vs 구체적"의 함정

여기서 이야기는 조금 까다로워집니다. 연구자들은 대부분의 조기 경보 시스템이 잘못된 것을 보고 있다는 사실을 발견했습니다. 이 시스템들은 주로 다음과 같은 일반적인 신호들을 관찰합니다:

• 학생이 컴퓨터에 얼마나 자주 로그인하는지.
• 클릭을 몇 번 하는지.
• 출석 기록.

이것은 코치가 축구 선수가 경기장에 얼마나 자주 뛰어 들어오는지만 세고 있을 뿐, 실제로 공을 골대에 넣을 수 있는지는 전혀 보지 않는 것과 같습니다.

논문은 큰 격차를 지적합니다. 수학은 특별합니다. 수학에 어려움을 겪는 것은 종종 구체적이고 혼란스러운 개념들 때문입니다. 예를 들어 그래프를 그리는 법에 막히거나 함수의 원리를 이해하지 못하는 경우 같은 것 말이죠. 하지만 현재의 시스템은 이러한 구체적인 "수학적 실수"를 거의 찾아내지 못합니다. 그저 학생이 "몰입하지 못하고 있다"라고 판단하여 일반적인 알림을 보낼 뿐입니다. 연구자들은 만약 이 시스템이 학생이 왜 막혔는지(예: 그래프 작성에서의 특정 오류)를 포착할 수 있다면, 교사들에게 훨씬 더 도움이 될 것이라고 제안합니다. 현재 시스템은 "이 아이가 곤경에 처했다"라고 말할 뿐, "이 아이는 함수 개념에 혼란을 느끼고 있다"라고 말해주지는 못합니다.

"일률적인 적용"의 문제

또한 이 연구는 화려한 첨단 데이터 시스템을 갖춘 국가들(영국, 에스토니아 등)과 더 단순하고 저렴한 설비를 갖춘 국가들(칠레 및 라틴 아메리카 일부 지역)을 비교했습니다. 여러분은 아마도 화려한 기술을 가진 나라들이 더 좋은 시스템을 갖추고 있을 것이라 생각할지도 모릅니다. 하지만 논문은 놀라운 사실을 발견했습니다. 단순한 시스템도 복잡한 것만큼 잘 작동할 수 있다는 것입니다.

자원이 부족한 일부 지역에서는 학생이 받은 '첫 번째' 시험 성적만을 보는 매우 단순한 모델이, 부유한 국가들의 화려한 첨단 모델과 거의 비슷한 정확도로 어려움을 겪을 학생을 예측할 수 있었습니다. 이는 학교가 좋은 조기 경보 시스템을 갖추기 위해 거대한 데이터 센터에 큰돈을 들일 필요는 없으며, 단지 초기에 올바르고 단순한 단서들에 주목하기만 하면 된다는 것을 시사합니다.

공정성의 격차

마지막으로, 이 논문은 공정성에 대한 심각한 우려를 제기합니다. 시스템이 평균적으로 정확하다고 해서 모두에게 공정한 것은 아닙니다. 연구자들은 어떤 경우에는 시스템이 남학생에 비해 여학생이 위험에 처했을 가능성을 포착할 확률이 낮다는 것을 발견했습니다. 이것은 금속은 잘 찾아내지만 플라스틱은 놓치는 보안 스캐너와 같습니다. 만약 시스템이 도움이 가장 필요한 학생들을 놓친다면, 이는 빈부 격차나 집단 간의 격차를 오히려 더 넓히게 됩니다. 논문은 검토된 연구들 중 아주 적은 수만이 자신들의 시스템이 모든 집단에 대해 공정한지를 실제로 확인했다고 언급했습니다.

앞으로의 과제

연구는 이러한 디지털 안전망이 강력한 도구이긴 하지만, 아직 마법 지팡이는 아니라고 결론짓습니다. 진정으로 효과적인 시스템이 되기 위해 학교는 다음을 수행해야 합니다:

1. 단순한 클릭 횟수에만 의존하는 것을 멈추고, 구체적인 수학적 실수를 찾아내기 시작해야 합니다.
2. 공정성을 점검하여 어떤 집단도 소외되지 않도록 해야 합니다.
3. 그것이 효과적이라면 단순함을 유지하십시오. 학생의 성적을 구하기 위해 슈퍼컴퓨터가 반드시 필요한 것은 아닙니다.

연구자들은 또한 학생들이 학습을 돕기 위해(혹은 과제를 수정하기 위해) 새로운 AI 도구들을 사용하기 시작함에 따라, 전체 시스템이 다시 적응해야 할 것이라고 암시합니다. 하지만 현재로서 메시지는 명확합니다. 우리는 문제를 조기에 발견할 기술을 가지고 있지만, 우리가 올바른 단서를 보고 있는지, 그리고 모든 학생을 공정하게 대하고 있는지 확인해야 합니다.