How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education
대규모 데이터셋에 이중 머신러닝(double machine learning)을 적용한 본 연구는 제출 전 온라인 참여가 학업 성취도를 예측하기는 하지만, 그 원시 연관성의 거의 절반이 이전 성취도와 같은 교란 요인에 기인한다는 점을 밝혀냈으며, 이는 학습 분석학에서 예측 신호와 인과적 효과를 구분하는 것이 매우 중요하다는 점을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 대학에서 학생 생활의 방대한 양은 디지털 발자국을 남깁니다. 학습자가 강의 웹사이트에 로그인하거나, 링크를 클릭하거나, 문서를 다운로드할 때마다 기록이 생성됩니다. 교육자와 연구자들은 오랫동안 이러한 디지털 흔적을 학생의 성공을 들여다보는 창으로 취급해 왔습니다. 그 논리는 매우 간단해 보입니다. 온라인에서 활발하게 활동하는 학생은 몰입도가 높을 것이고, 몰입도가 높으면 수업 성적이 좋을 것이라는 믿음입니다. 이러한 믿음은 클릭 수를 세어 어려움을 겪는 학생을 찾아내도록 설계된 대시보드와 조기 경보 시스템의 개발을 이끌었습니다. 그러나 한 가지 결정적인 질문이 해결되지 않은 채 남아 있었습니다. 활동 자체가 좋은 성적을 유발하는 것일까요, 아니면 좋은 성적이 이미 준비되어 있고 의욕적인 학생임을 나타내는 신호일 뿐일까요? 이 차이는 매우 중요합니다. 만약 활동이 단지 성공의 증상일 뿐이라면, 학생에게 더 많은 버튼을 클릭하도록 강요하는 것은 학습에 도움이 되지 않을 것입니다. 반대로, 활동이 진정한 학습의 동력이라면, 더 많은 상호작용을 장려하는 것은 개선을 위한 강력한 도구가 될 수 있습니다.
연구팀은 영국 오픈 유니버시티(Open University)의 방대한 데이터를 사용하여 이 관계를 밝혀내고자 했습니다. 그들은 22개의 서로 다른 온라인 강의 프로그램에 참여한 2만 1천 명 이상의 학생 기록을 조사했습니다. 이 데이터셋은 학생들의 배경, 과거 학업 성취도, 그리고 가상 학습 환경에서의 1,000만 건 이상의 상호작용에 대한 상세한 정보를 포함하고 있어 매우 풍부했습니다. 연구진은 특히 학생이 과제물을 제출하기 전의 기간에 초점을 맞추었습니다. 그들은 제출 마감일 전 며칠 동안 발생한 클릭 수와 활동 수를 계산하였으며, 과제가 제출된 이후에 발생하는 활동은 포함되지 않도록 주의했습니다. 이러한 세심한 타이밍 설정은 결과가 알려지기 전에 일어난 행동을 확인하기 위해 매우 중요했습니다.
연구는 일반적인 보고서에 자주 등장하는 단순한 연관성, 즉 가공되지 않은 수치를 살펴보는 것으로 시작되었습니다. 연구진은 강력한 연결 고리를 발견했습니다. 온라인 활동량이 표준 단위만큼 증가할 때마다 평가 점수가 약 3.25점 상승했습니다. 이 수치는 일반적인 대시보드가 '더 많은 활동이 더 나은 성과로 이어진다'는 것을 시사하기 위해 강조할 법한 숫자입니다. 그러나 연구진은 이 가공되지 않은 수치에 많은 다른 요인의 영향이 포함되어 있을 가능성이 높다는 점을 알고 있었습니다. 과거에 성적이 좋았던 학생들은 자신감이 있어서 자연스럽게 더 많이 클릭할 수도 있고, 혹은 이미 해당 주제에 능숙하기 때문에 더 많이 클릭할 수도 있습니다. 활동 자체의 진정한 효과를 찾기 위해, 연구진은 이러한 기존의 차이들을 제거하도록 설계된 정교한 통계적 방법을 사용했습니다. 그들은 학생들의 이전 성적, 인구통구적 배경, 플랫폼 사용 이력을 포함하여 활동 기간이 시작되기 전의 모든 정보를 고려하여 데이터를 조정했습니다.
연구진이 이러한 조정을 적용했을 때, 이야기는 크게 달라졌습니다. 활동과 성적 사이의 연결 고리가 사라지지는 않았지만, 상당히 줄어들었습니다. 과거 이력을 고려한 후, 활동량 증가에 따른 점수 상승 폭은 3.25점에서 1.75점 미만으로 떨어졌습니다. 이는 클릭과 점수 사이의 원래 연결 중 거의 절반이 활동 자체가 아니라 학생의 배경과 과거 성과 때문이었다는 것을 의미합니다. 남아 있는 연결 고리는 여전히 실재하며 통계적으로 유의미했지만, 가공되지 않은 수치가 시사했던 것보다는 훨씬 작았습니다. 이는 온라인 활동이 학생의 상태에 대한 유용한 정보를 담고 있기는 하지만, 단순히 클릭 수를 늘리는 것이 학생의 성적을 얼마나 향상시킬지에 대해 기관들이 과대평가하게 만들 수 있음을 나타냅니다.
연구진은 또한 이 조정된 관계가 서로 다른 유형의 학생이나 서로 다른 종류의 과제에 따라 다르게 나타나는지 살펴보았습니다. 그들은 인간 튜터가 채점하는 서술형 및 개방형 답변이 요구되는 과제가 컴퓨터가 채점하는 객관식 문제보다 이 연결 고리가 더 강하다는 것을 발견했습니다. 이는 작업의 유형이 중요하다는 점을 시사합니다. 즉, 디지털 활동은 빠른 자동 퀴즈보다는 에세이 방식의 과제에 필요한 깊은 사고와 더 밀접하게 연관되어 있을 수 있습니다. 또한, 이 연결 고리는 과거 성적이 낮았던 학생들에게 더 강하게 나타났습니다. 이 학습자들에게 온라인 활동은 현재의 성과를 나타내는 더 신뢰할 수 있는 신호처럼 보였습니다. 반면, 소외 계층 출신인지 또는 장애 여부에 따라 연결 고리에 뚜렷한 차이가 나타나지는 않았으나, 데이터가 미세한 차이를 완전히 배제할 만큼 정밀하지는 않았습니다.
이러한 결과에도 불구하고, 연구진은 활동이 성적을 유발한다고 단정 짓는 것에 대해 신중한 태도를 유지했습니다. 측정할 수 없는 숨겨진 요인을 테스트하기 위해 그들은 특정 검증을 수행했습니다. 현재의 온라인 활동이 현재 활동이 시작되기 전에 이미 완료된 이전 과제의 성적을 예측할 수 있는지 물었습니다. 논리적으로 미래의 클릭이 과거의 성적을 바꿀 수는 없습니다. 그러나 데이터에 따르면, 현재의 창에서 더 많이 클릭한 학생들이 이전 과제에서도 더 높은 점수를 받은 것으로 나타났습니다. 모든 조정을 거친 후에도 그러했습니다. 이 결과는 여전히 보이지 않는 힘이 작용하고 있음을 시사합니다. 아마도 어떤 학생들은 디지털 시스템 외부에서도 존재하는 더 높은 동기 부여나 더 나은 학습 습관을 가지고 있으며, 이것이 온라인 활동과 성적 모두를 이끌고 있을 수 있습니다. 이 때문에 연구진은 조정된 연결 고리가 실재하기는 하지만, 클릭을 더 많이 하도록 강제하는 개입이 자동으로 조정된 수치만큼의 성적 향상을 가져올 것이라는 보장은 아니라고 결론지었습니다.
이 연구는 대학이 학생을 지원하기 위해 데이터를 어떻게 사용해야 하는지에 대한 명확한 교훈을 줍니다. 학습자가 남기는 디지털 흔적은 가치 있지만, 그것은 학습을 켜고 끄는 단순한 스위치가 아닙니다. 활동과 성공 사이의 가공되지 않은 연관성은 강력하지만, 이는 학생이 누구인지와 이전에 무엇을 해왔는지에 의해 크게 영향을 받습니다. 교육자들이 이 수치를 통해 누가 도움이 필요한지 결정할 때, 이 숫자들이 인과관계가 아닌 상관관계의 이야기를 하고 있다는 점을 이해해야 합니다. 활동량이 적은 학생은 지원이 필요할 수 있지만, 근본적인 문제가 사전 지식의 부족이나 동기 부여의 부재에 있다면 단순히 더 많이 클릭하라고 말하는 것만으로는 문제를 해결하기 어려울 것입니다. 가장 효과적인 접근법은 이러한 행동 신호를 대화와 진단을 위한 촉매제로 사용하는 것이며, 활동을 학습 성과를 끌어올리기 위해 당길 수 있는 레버가 아니라 학생의 상태를 가리키는 표지판으로 인식하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.