Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
본 연구는 이전에 보고된 고등 교육 졸업에 대한 거의 완벽한 예측이 결과 결정적 속성으로부터 기인한 타겟 누출(target leakage)의 결과물임을 입증하며, 가자 지구의 행정 기록에 대해 수정된 누출 없는 프로토콜을 적용했을 때 머신러닝 모델이 완료된 학기 수가 가장 강력한 예측 변수인 가운데 높지만 현실적인 정확도(최대 89.16%)를 달성함을 확립한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 대학에서는 모든 학생이 방대한 디지털 흔적을 남긴다. 지원하는 순간부터 그들의 이름, 성적, 출석 기록이 행정 시스템에 기록되어 학업 역사의 거대한 아카이브를 형성한다. 수십 년 동안 연구자들은 누가 학위를 마칠지, 누가 중도 탈락할지를 예측할 수 있는 패턴을 찾기 위해 이 데이터를 채굴해 왔다. 목표는 어려움을 겪는 학생을 조기에 식별하여, 너무 늦기 전에 학교가 도움을 제공할 수 있도록 하는 것이다. 교육 데이터 마이닝(educational data mining)이라 불리는 이 분야는 단순하지만 엄격한 규칙에 의존한다. 즉, 예측은 반드시 특정 시점에 사용 가능한 정보만을 사용하여 이루어져야 한다는 것이다. 만약 모델이 결과가 이미 발생한 후에 존재하는 정보를 사용한다면, 이는 미래의 정보를 사용하는 것이다. 타겟 누수(target leakage)라고 불리는 이 실수는 가짜 확신을 만들어내며, 모델이 실제로는 정답지를 읽고 있을 뿐인데도 마치 완벽한 것처럼 보이게 만든다.
가자 지구 팔레스타인의 한 연구팀은 유니버시티 칼리지 오브 어플라이드 사이언스(University College of Applied Sciences)의 20년 치 기록을 사용하여 이 아이디어를 테스트하기로 했다. 그들은 2000년부터 2019년 사이에 정보 기술을 공부한 약 4,700명의 학생 파일을 조사했다. 그들의 조사는 놀라운 발견과 함께 시작되었다. 학교 시스템에 저장된 데이터 그대로 졸업을 예측하는 컴퓨터 모델을 구축했을 때, 결과는 의심스러울 정도로 완벽했다. 모델은 100퍼센트의 정확도를 달성했는데, 이는 단 하나의 실수도 하지 않았음을 의미한다. 이것은 승리처럼 보였지만, 연구자들은 모델이 실제로 미래를 예측하고 있는 것이 아님을 깨달았다. 모델은 단순히 데이터베이스의 두 가지 특정 열(column)을 보고 있었던 것이다. 바로 졸업 연도와 최종 평균 성적이었다. 이 숫자들은 학생이 이미 학위를 마쳤을 때만 시스템에 나타난다. 이들을 포함함으로써, 모델은 시험을 시작하기도 전에 정답을 미리 알려주는 꼴이 된 것이다.
연구진이 이 두 가지 "미래 정보" 열을 제거하자, 상황은 완전히 바뀌었다. 의사결정 나무(decision trees), 랜덤 포레스트(random forests), 그래디언트 부스팅(gradient boosting) 알고리즘을 포함한 모델들은 학생들이 여전히 공부하고 있는 동안 사용 가능했던 정보만을 가지고 작업해야 했다. 이러한 정직한 조건 하에서, 정확도는 약 89퍼센트라는 더 현실적인 수준으로 떨어졌다. 이는 여전히 강력한 결과이긴 하지만, 이전의 불가능한 완벽함과는 거리가 멀다. 연구진은 학생의 졸업 여부를 결정짓는 가장 강력한 신호가 학점(GPA)이 아니라, 단순히 얼마나 많은 학기를 성공적으로 이수했는지라는 사실을 발견했다. 꾸준히 출석하며 학기를 마치는 학생은 높은 성적을 받았더라도 출석을 중단한 학생보다 졸업할 가능성이 훨씬 높았다. 이는 끈기(persistence)가 일시적인 학업 성취도보다 성공을 예측하는 데 더 강력한 지표임을 시사한다.
연구는 또한 이러한 예측이 얼마나 일찍 이루어질 수 있는지도 살펴보았다. 연구진이 모델을 학생이 대학에 지원하는 시점에 사용 가능한 정보, 즉 고등학교 성적과 나이 등으로 제한했을 때, 정확도는 약 70퍼센트로 떨어졌다. 이는 학교가 학생이 도착하기도 전에 위험 요소를 대략적으로 파악할 수는 있지만, 진정한 모습은 학생이 여정을 시작하고 출석 기록이 쌓이기 시작할 때 비로소 드러난다는 것을 의미한다. 연구진은 또한 모델이 남학생과 여학생을 공정하게 대우하는지 확인했다. 그들은 모델이 차별하지 않는다는 것을 발견했다. 사실, 이 특정 집단에서 여학생들의 자연적인 졸업률이 더 높았기 때문에, 모델은 그들이 성공할 가능성이 더 높다고 올바르게 예측했다. 이전 버전의 연구는 성별에 기반한 다른 규칙을 제시했으나, 그것은 결함이 있는 데이터가 만들어낸 환상이었다.
이 연구의 함의는 단지 가자의 한 대학을 넘어선다. 이는 인공지능을 사용하여 학생의 성공을 관리하고자 하는 전 세계 기관들에 경종을 울린다. 연구진은 모델이 정답을 엿볼 수 있게 허용된다면, 아무리 강력해 보일지라도 실제로는 전혀 쓸모가 없다는 점을 입증했다. 그들은 다른 학교들이 자신들의 데이터에서 이러한 숨겨진 결함을 확인할 수 있는 명확한 방법을 제공했다. 대학 상담사들에게 교정된 연구 결과는 실질적인 길을 제시한다. 단순히 낮은 성적을 받은 학생뿐만 아니라 수업 출석을 중단한 학생에게 집중하고, 이러한 예측을 자동화된 결정이 아닌 인간과의 대화를 위한 계기로 사용하라는 것이다. 연구는 높은 정확도가 좋은 모델의 유일한 척도는 아니라고 결론짓는다. 자신이 무엇을 알고 있는지, 그리고 그것을 어떻게 알고 있는지에 대해 정직한 모델이 학생들의 교육 과정을 돕는 데 훨씬 더 가치 있다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.