📄 social_science

Beyond Clicks: Identifying an Engagement-Performance Paradox in Vocational College Online Learning Through Behavioral Profiling

직업전문대학생들을 대상으로 한 이 연구는 높은 플랫폼 활동이 학습 성공을 보장하지 않는다는 참여-성과 역설을 드러내는데, '표면적 참여자'들은 광범위한 클릭을 기록했음에도 가장 낮은 시험 점수를 받은 반면, '전략적 학습자'들은 훨씬 적은 상호작용만으로도 최상위 성과를 달성함으로써 참여의 양보다 질이 더 중요하다는 것을 입증하였다.

원저자: Cancan Zhao

게시일 2026-09-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cancan Zhao

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 교실에서는 분필 가루나 종소리가 아닌, 디지털 발자국을 통해 조용한 혁명이 일어나고 있습니다. 학생이 온라인 학습 시스템에 로그인하거나, 영상을 클릭하거나, 메시지를 게시할 때마다 플랫폼은 그 이벤트를 기록합니다. 교육자와 연구자들에게 이 데이터의 홍수는 매혹적인 약속을 제시합니다. 즉, 학생들이 무엇을 하는지 볼 수 있다면, 그들이 어떻게 배우고 있는지도 이해할 수 있다는 것입니다. 지배적인 가정은 단순하고 직관적이었습니다. 더 많은 활동이 곧 더 많은 학습을 의미한다는 것입니다. 만약 어떤 학생이 강의를 시청하고 과제를 클릭하며 몇 시간을 보낸다면, 그 학생은 몰입하고 있는 것이고, 몰입하고 있다면 성공하고 있을 것이라는 생각입니다. 이러한 아이디어는 많은 학교 시스템의 토대가 되었으며, 높은 클릭 수를 건강한 학생의 징후로, 낮은 활동량을 뒤처지는 학생의 경고 신호로 사용하고 있습니다.

하지만 이 논리는 취약한 전제에 기반하고 있습니다. 즉, 눈에 보이는 행동의 표면이 항상 보이지 않는 사고의 깊이와 일치하는 것은 아니라는 점입니다. 교육의 복잡한 세계, 특히 코딩이나 웹 디자인과 같은 실무 기술을 배우는 직업 교육의 경우, 학생이 하는 행동과 실제로 배우는 것 사이의 관계는 결코 그렇게 단순하지 않습니다. 연구자들은 오래전부터 학생이 바쁘기만 하고 생산적이지 않을 수 있으며, 조용하면서도 길을 잃지 않을 수 있다는 사실을 의심해 왔습니다. 질문은 여전히 남아 있습니다. 우리가 학습을 측정하기 위해 사용하는 디지털 도구들이 실제로 진실을 보는 데 도움을 주고 있는지, 아니면 단순히 소음을 세고 있는 것인지 말입니다.

중국 동부의 한 직업 전문 대학의 한 연구자는 218명의 학생이 수강하는 혼합형 웹 개발 과정의 디지털 삶을 면밀히 관찰함으로써 이 가정을 테스트하고자 했습니다. 이 과정은 전통적인 대면 수업과 온라인 모듈을 결합하여, 학생들이 얼마나 자주 로그인하는지부터 얼마나 많은 토론 게시물을 작성하는지에 이르기까지 풍부한 데이터 스트림을 생성했습니다. 연구자는 모든 학생을 평균치로 취급하는 대신, 실제 행동 패턴에 따라 학생들을 그룹화하는 방법을 사용했습니다. 그들은 여섯 가지 특정 행동을 살펴보았습니다: 과제 완료 횟수, 영상 시청 시간, 챕터 열람 횟수, 로그인 횟수, 토론 게시물 수, 그리고 오프라인 수업 출석 횟수입니다. 이러한 패턴을 분석함으로써, 그들은 학생들이 '낮은 참여'에서 '높은 참여'로 이어지는 단순한 선형 구조에 속하지 않는다는 것을 발견했습니다. 대신, 각기 다른 방식으로 과정에 상호작용하는 네 개의 뚜렷한 그룹이 나타났습니다.

첫 번째 그룹인 '깊은 몰입형(Deep Engagers)'은 모델 학생에게 기대되는 모습 그대로 행동했습니다. 그들은 거의 모든 과제를 완료했고, 1,100분 이상의 교육 영상을 시청했으며, 거의 모든 수업에 출석했습니다. 또한 온라인 토론에도 활발히 참여했습니다. 당연하게도, 이 학생들은 평균 85.7점을 기록하며 가장 높은 시험 점수를 받았습니다. 두 번째 그룹인 '전략적 학습자(Strategic Learners)'는 학급의 약 3분의 1을 차지하는 가장 큰 그룹이었습니다. 이 학생들은 놀라울 정도로 효율적이었습니다. 그들은 깊은 몰입형보다 훨씬 적은 영상을 시청하고 더 적은 과제를 완료했으며, 로그인 횟수도 약 3분의 1 수준에 불과했습니다. 그럼에도 불구하고 그들은 정기적으로 수업에 출석하고 토론에 적극적으로 참여했습니다. 결과는 놀라웠습니다. 그들의 시험 점수는 평균 83.5점으로 깊은 몰입형과 통계적으로 동일했으며, 이는 그들이 훨씬 적은 플랫폼 활동으로도 최상위권의 결과를 얻었음을 증명했습니다.

세 번째 그룹인 '수동적 추종자(Passive Followers)'는 예상 가능한 형태의 비참여 양상을 보였습니다. 그들은 로그인을 드물게 했고, 영상을 거의 시청하지 않았으며, 수업에도 절반 미만으로 출석했습니다. 그들의 시험 점수는 이러한 참여 부족을 반영하여 평균 62.5점을 기록했습니다. 하지만 네 번째 그룹은 '활동이 곧 학습'이라는 일반적인 가정이 가진 가장 결정적인 결함을 드러냈습니다. '표면적 몰입형(Surface Engagers)'이라 명명된 이 그룹은 기대를 완전히 저버리는 방식으로 행동했습니다. 그들은 빈번하게 로그인했고, 거의 900분의 영상을 시청했으며, 과제의 거의 90%를 완료했습니다. 모든 플랫폼 활동 지표로 볼 때, 그들은 고성능 학생처럼 보였으며 깊은 몰입형 다음으로 높은 순위를 차지했습니다. 디지털 기록상으로는 매우 바쁜 상태였습니다.

그러나 최종 성적이 집계되었을 때, 표면적 몰입형은 모든 그룹 중 가장 낮은 점수인 평균 47.8점을 기록했습니다. 그들은 플랫폼을 거의 건드리지도 않은 수동적 추종자들보다도 낮은 성적을 냈습니다. 이는 역설을 만들어냈습니다. 시스템상에서 가장 활발해 보였던 학생들이 실제로는 가장 적게 배우고 있었던 것입니다. 연구자는 차이가 학생들이 플랫폼에서 보낸 시간이 아니라, 그 시간을 어떻게 보냈는지에 있다는 것을 발견했습니다. 표면적 몰입형은 고립된 상태에서 활동했습니다. 그들은 영상을 보고 연습 문제를 클릭했지만, 수업에 참석하거나 토론에 참여하는 일은 거의 없었습니다. 반면, 전략적 학습자와 깊은 몰입형은 모두 상호작용적인 참여를 우선시했습니다. 데이터는 단순히 플랫폼에 존재하는 것만으로는 충분하지 않으며, 구체적으로 타인과 대화하고 직접 현장에 나타나는 '상호작용의 질'이 성공을 이끄는 핵심이라는 것을 보여주었습니다.

이를 확인하기 위해, 연구자는 두 가지 주요 행동 유형을 별개의 요인으로 처리하는 통계 분석을 실시했습니다. 분석 결과, 토론 참여와 수업 출석을 고려한 후에는 순수한 플랫폼 활동량이 오히려 낮은 시험 점수를 예측한다는 사실이 밝혀졌습니다. 이는 일부 학생들에게 높은 활동량이 어려움을 겪고 있다는 신호이거나, 혹은 "내용을 진정으로 이해하지 못한 채 점수를 따기 위해 과제를 완수하는 전략"의 징후일 수 있음을 시사합니다. 이 연구는 클릭 수를 세는 것이 학습을 측정하는 열등한 방법이라고 결론짓습니다. 협업과 피드백을 통해 실무 기술을 쌓아가는 직업 교육에서, 가장 중요한 행동은 단순히 디지털 소음을 생성하는 것이 아니라 타인과 연결되는 행동입니다. 가장 많이 배운 학생들은 반드시 온라인에서 시간을 가장 많이 보낸 학생들이 아니라, 그 시간을 동료 및 강사와 연결되는 데 사용한 학생들이었습니다.

기술 요약: 클릭을 넘어: 행동 프로파일링을 통한 직업 전문 대학 온라인 학습의 참여-성과 역설 식별

문제 제기
학습 분석학은 학생의 참여도를 특징짓기 위해 디지털 흔적 데이터(digital trace data)에 점점 더 의존하고 있다. 그러나 이러한 관행의 상당 부분에는 높은 플랫폼 활동량(예: 로그인 빈도, 비디오 시청 횟수)이 더 깊은 학습과 직결된다는 지속적인 가정이 깔려 있다. 본 연구는 학생 구성이 이질적이고 커리큘럼이 온라인 모듈과 실습 훈련이 혼합된 형태인 직업 교육 맥락에서 이 가정의 타당성에 의문을 제기한다. 다루고자 하는 핵심 문제는 '클릭과 결과(clicks and consequences)'의 오류이다. 즉, 총체적인 활동 지표가 인지적 깊이를 반영하지 못한 채 참여의 가시성만을 포착함으로써, 오해의 소지가 있는 교육적 통찰과 위험 평가를 초래할 수 있다는 점이다.

연구 방법론
본 연구는 중국 동부의 한 직업 전문 대학에서 16주간 진행된 블렌디드 웹 개발 과정에 등록한 2년 차 학생 218명(평균 연령 19.4세)의 데이터를 사용하여 사람 중심 접근법(person-centered approach)을 채택하였다.

데이터 수술: 해당 기관의 Moodle 기반 학습 관리 시스템(LMS)으로부터 한 학기 동안 여섯 가지 행동 지표를 추출하였다:
1. 과제 완료율 (제출된 연습 문제의 백분율).
2. 비디오 시청 시간 (누적 분 단위).
3. 챕터 접속 빈도.
4. 로그인 빈도.
5. 토론 게시판 게시글 (원문 게시글 및 답글).
6. 출석률 (대면 세션).
분석 전략:
1. 차원 축소: 여섯 가지 표준화된 지표에 대해 와리맥스(varimax) 회전을 적용한 주성분 분석(PCA)을 실시하였다. 표본 적합도는 KMO(.82) 및 Bartlett의 구형성 검정( $\chi^2(15) = 1124.8, p < .001$ )을 통해 확인되었다.
2. 군집 분석: 생성된 성분 점수에 대해 K-평균 군집 분석(K-means clustering)을 수행하였다. 최적의 군집 수( $K=4$ )는 엘보우 방법(elbow method), 평균 실루엣 계수(0.692), 갭 통계량(gap statistic, 0.971)을 통해 결정되었다. 군집 안정성은 500회 반복 부트스트랩 재표본 추출을 통해 검증되었으며, 평균 자카드 유사도 지수는 0.99에서 1.00 사이로 나타났다.
3. 타당성 검증: 학업 성취도(기말 시험 및 누적 과제 점수)를 외부 기준점으로 취급하였으며, 순환 논증을 피하기 위해 군집화 과정에서는 제외하였다.
4. 통계 검정: 행동 지표와 성과 결과 간의 비교를 위해 Welch의 ANOVA와 Games-Howell 사후 검정을 사용하였다. 다중 회귀 분석을 통해 PCA 차원이 시험 점수에 미치는 독립적 기여도를 분석하였다.

주요 결과
분석 결과 두 개의 직교 차원이 도출되었다: 플랫폼 참여 강도(변량의 55.8%; 과제 완료, 비디오 시청 시간, 챕터 접속, 로그인이 주동 요인)와 상호작용 참여(변량의 32.2%; 토론 게시글 및 출석이 주동 요인). 네 가지의 뚜렷한 행동 프로파일이 나타났다:

심층 참여자 (Deep Engagers, 27.1%): 두 차원 모두에서 높은 점수를 보였다. 이들은 가장 높은 시험 점수( $M=85.7$ )를 기록했다.
전략적 학습자 (Strategic Learners, 33.9%): 플랫폼 참여도는 중간 수준이나 상호작용 참여도는 높았다. 심층 참여자의 약 66%의 과제만 완료하고 비디오 콘텐츠의 약 37%만 시청했음에도 불구하고, 이들의 시험 점수( $M=83.5$ )는 심층 참여자와 통계적으로 차이가 없었다( $p=.626$ ).
수동적 추종자 (Passive Followers, 22.9%): 두 차원 모두 낮은 점수를 보였다. 낮은 참여도와 낮은 시험 점수( $M=62.5$ )를 나타냈다.
표면적 참여자 (Surface Engagers, 16.1%): 참여-성과 역설. 이 그룹은 두 번째로 높은 플랫폼 참여 강도(과제 완료 $M=88.5\%$ , 비디오 시청 시간 $M=885.3$ 분)를 보였으나, 상호작용 참여도(출석 $M=42.1\%$ , 토론 게시글 $M=3.0$ )는 가장 낮았다. 결정적으로, 이들은 모든 그룹 중 가장 낮은 시험 점수( $M=47.8$ )를 기록했으며, 최소한의 참여를 보인 수동적 추종자보다도 유의미하게 낮은 성과를 보였다( $p < .001$ ).

회귀 분석 결과
다중 회귀 분석 결과, 상호작용 참여를 통제한 후 플랫폼 참여 강도가 시험 성과를 부정적으로 예측함을 확인하였다 ( $B = -0.48, p < .001$ ). 반대로, 상호작용 참여는 강력한 정적 예측 변수였다 ( $B = 13.32, p < .001$ ). 이러한 억제 효과(suppression effect)는 사회적 또는 동기적 상호작용이 동반되지 않은 높은 플랫폼 활동은 단순히 도움이 되지 않는 수준을 넘어, 학업 성과 저하와 연관되어 있음을 시사한다.

의의 및 주장
본 논문은 "활동이 많을수록 학습이 잘 된다"는 가정이 직업 교육 온라인 학습 맥락에서는 근본적으로 잘못되었다고 주장한다.

지표의 재평가: 연구는 총체적인 활동 지표(로그인, 비디오 시청 시간 등)가 인지적 참여를 나타내는 불충분한 대리 지표라고 주장한다. 높은 활동량은 학생들이 이해 없이 기계적으로 과제를 완료하거나 탐색하는 '표면적' 행동을 은폐할 수 있으며, 저자는 이를 "참여-성과 역설"이라 명명하였다.
양보다 질: 연구 결과는 참여의 '양'(플랫폼 상호작용)보다 참여의 '질'(특히 토론 참여 및 대면 세션 출석)이 성공의 더 강력한 결정 요인임을 시사한다.
교육적 시사점: 저자는 양 위주의 지표에만 의존하는 학습 분석 대시보드가 '전략적 학습자'를 위기 학생으로 오인하거나, 활동적으로 보이지만 실제로는 학업에 어려움을 겪고 있는 '표면적 참여자'를 감지하지 못할 수 있다고 경고한다. 따라서 생산적이지 않은 참여 행동을 조장하는 것을 피하기 위해, 직업 교육 교수법은 수동적 소비 지표보다 상호작용적이고 건설적이며 대화적인 활동을 우선시해야 한다고 제언한다.

한계점
저자는 본 연구가 단일 직업 전문 대학과 특정 학문 분야(웹 개발)를 대상으로 하고 있어 일반화에 한계가 있음을 인정한다. 또한, 횡단적 설계로 인해 낮은 성과가 (비효리적인) 높은 플랫폼 활동을 유발하는지에 대한 인과 관계를 규명할 수 없다. 아울러, LMS 로그는 관찰된 행동의 이면에 있는 인지 과정(예: 수동적 재시청 vs 능동적 학습)에 대한 통찰을 제공하지 못하는 행동적 표면만을 포착한다는 한계가 있다.

유사한 논문