Is Log-Traced Engagement Enough? Extending Reading Analytics With Trait-Level Flow and Reading Strategy Metrics
이 연구는 학습 분석에서 로그 기반의 참여도 지표만으로는 부족하며, 유입 (Flow) 과 독서 전략과 같은 개인적 특성과 행동적 지표를 통합해야 학습 성과를 더 잘 설명하고 공정한 개입을 설계할 수 있음을 100 명의 공대생을 대상으로 한 실증 분석을 통해 입증했습니다.
과거의 학습 분석 (Learning Analytics) 은 학생들의 디지털 교재 사용 기록 (로그) 을 분석할 때, 마치 **"요리사가 얼마나 오랫동안 주방에 있었는지"**만 재는 것과 같았습니다.
로그 데이터: 책장을 넘긴 횟수, 페이지에 머문 시간, 하이라이트를 친 횟수 등.
문제점: 주방에 3 시간 동안 앉아 있다고 해서 무조건 맛있는 요리를 만드는 건 아닙니다. 그 학생은 단순히 책장을 넘기기만 했을 수도 있고 (피상적인 학습), 정말 집중해서 내용을 소화했을 수도 있습니다. 즉, '행동 (시간)'만으로는 '실력 (성적)'을 제대로 설명할 수 없다는 것입니다.
🧭 2. 새로운 발견 1: '내면의 나침반' (DEC, 몰입 성향)
연구자들은 학생들의 **'몰입 성향 (DEC: Deep Effortless Concentration)'**을 측정했습니다. 이는 마치 어떤 사람이 등산을 할 때 자연스럽게 숨을 고르고 발걸음을 맞추는 타고난 성향과 같습니다.
발견: 이 '타고난 몰입 성향'이 높은 학생들은, 로그상으로는 덜 활동적으로 보일지라도 좋은 성적을 받았습니다. 반대로, 몰입 성향이 낮은 학생들은 아무리 열심히 (오래) 책을 읽어도 성적이 낮을 수 있었습니다.
비유: 몰입 성향이 높은 사람은 나침반이 잘 작동해서 길을 잃지 않고 빠르게 정상에 오릅니다. 성향이 낮은 사람은 나침반이 고장 났기 때문에, 같은 길을 가더라도 더 많은 에너지 (시간) 를 써야 합니다.
🥾 3. 새로운 발견 2: '등산 스타일' (읽기 전략)
그런데 단순히 성향만 중요한 게 아닙니다. 학생들의 **읽는 방식 (전략)**도 중요했습니다. 연구자들은 로그 데이터를 분석해 학생들의 '등산 스타일'을 4 가지로 나누었습니다.
예시:
스킴머 (Skimmer): 빠르게 지나치지만 중요한 곳만 짚고 가는 스타일.
디테일러 (Detailer): 한 페이지에 오래 머물며 꼼꼼히 읽는 스타일.
점프러 (Jumper): 앞뒤로 뛰어다니며 필요한 정보만 찾아보는 스타일.
핵심: 같은 '오래 읽는 시간'이라도, 어떤 스타일로 읽었느냐에 따라 성적이 달라졌습니다. 예를 들어, 단순히 오래 앉아 있는 것 (스킴머) 보다는, 중요한 부분에서 멈추고 생각하거나 (디테일러), 필요한 곳으로 빠르게 이동하는 (점프러) 전략이 더 효과적이었습니다.
🤝 4. 시너지 효과: "나침반 + 스타일"의 조합
가장 중요한 결론은 이 두 가지가 서로 영향을 준다는 점입니다.
상황: 몰입 성향이 낮은 학생 (나침반이 고장 난 등산객) 은 전략을 바꿔야 합니다.
만약 이 학생이 "빠르게 훑어보는 (스킴)" 전략을 쓴다면 성적이 매우 나빠집니다.
하지만 이 학생이 "천천히 꼼꼼히 읽는 (디테일)" 전략을 쓰면, 몰입 성향이 높은 학생 못지않게 좋은 성적을 얻을 수 있습니다.
결론: "무조건 많이 읽으세요"라는 조언은 틀렸습니다. **"당신의 성향에 맞는 읽는 방법을 찾으세요"**가 올바른 조언입니다.
💡 5. 이 연구가 우리에게 주는 메시지
이 논문은 교육자와 학생들에게 다음과 같은 메시지를 줍니다.
단순한 '시간'은 속일 수 있다: 학생이 교재에 5 시간 동안 접속했다고 해서 무조건 열심히 공부한 건 아닙니다.
맞춤형 지도가 필요하다: 학생마다 타고난 집중력 (성향) 이 다릅니다. 몰입 성향이 낮은 학생에게는 "더 오래 앉아 있으라"고 하기보다, "이런 식으로 (전략) 읽으면 더 잘될 거야"라고 도와주는 것이 훨씬 효과적입니다.
공정한 교육: 모든 학생에게 똑같은 기준 (예: 같은 시간 공부하기) 을 적용하면 불공정할 수 있습니다. 각자의 성향과 스타일에 맞춰 지원을 해야 진정한 학습이 일어납니다.
한 줄 요약:
"학생의 성적을 예측하려면, 얼마나 오래 (로그) 앉았는지보다, 어떻게 (전략) 읽었는지와 **누구 (성향)**가 읽었는지를 함께 봐야 합니다. 마치 등산할 때 '걸음걸이'와 '나침반'을 모두 고려해야 정상에 잘 오를 수 있는 것과 같습니다."
1. 연구 배경 및 문제 제기 (Problem)
현재의 한계: 학습 분석 (Learning Analytics, LA) 분야에서 학생의 '참여도 (Engagement)'는 주로 전자책 로그 (e-book logs) 에서 추출된 행동 지표 (체류 시간, 클릭 횟수 등) 를 통해 측정됩니다. 그러나 참여도는 행동적, 인지적, 정서적 차원을 모두 포함하는 다차원적 구성개념임에도 불구하고, 로그 기반 지표는 행동적 차원만 포착할 뿐 학습자의 내적 인지 - 정서 상태 (affective-cognitive states) 를 반영하지 못합니다.
핵심 문제: 로그상에서 활발하게 활동하는 학생이 실제로는 인지적으로 참여하지 않았을 수 있으며, 반대로 로그상 참여도가 낮아도 전략적 읽기나 높은 집중력으로 인해 좋은 성적을 얻을 수 있습니다. 따라서 로그 데이터만으로는 학습 결과를 설명하는 데 한계가 있으며, 이를 보완할 수 있는 새로운 지표가 필요합니다.
2. 연구 방법론 (Methodology)
데이터 수집:
대상: 일본 규슈대학교 공학부 '디지털 신호 처리 (DSP)' 및 '프로그래밍 이론 (PT)' 수강생 총 100 명 (양쪽 데이터가 모두 수집된 최종 샘플).
자료원:
설문조사: 특성 수준의 흐름 (Trait-level Flow) 인 'Deep Effortless Concentration (DEC, 깊은 노력 없는 집중)'과 'Mind Wandering (마음 방황)'을 측정하는 척도 (DECI, DECE, MW-S, MW-D) 를 사전에 실시.
로그 데이터: BookRoll 시스템에서 수집된 전자책 상호작용 로그 (페이지 이동, 하이라이트, 메모, 시간 간격 등) 를 활용.
측정 지표 개발:
전통적 참여도 지표 (Engagement Indicator): Boticki et al. 의 방법을 차용하여 총 이벤트 수, 체류 시간, 하이라이트/메모 수 등을 종합한 백분위 점수.
읽기 전략 시퀀스 지표 (Reading Sequence Metrics): 로그 이벤트를 시간 순서대로 시퀀스로 변환하여 이론적 기반을 가진 7 가지 메트릭 추출:
N_Jumps: 페이지 점프 횟수 (메타인지 조절 및 스키밍/스캐닝 전략 반영).
N_Stops: 6 분 이상의 긴 정지 횟수 (인지 과부하 또는 성찰 반영).
N_Responsive: 비내비게이션 이벤트 (하이라이트, 메모 등) 횟수.
Sequential: 순차적 내비게이션 비율.
Stickiness, Quickness, Stableness: 장/단/중간 시간 간격의 비율 (깊은 학습 vs 표면적 학습 접근법 반영).
분석 기법:
상관분석 (Pearson correlation) 을 통해 변수 간 관계 파악.
단계적 회귀분석 (Stepwise Regression) 을 통해 성적을 예측하는 데 각 지표가 기여하는 설명력 (R2) 분석.
조절 효과 (Moderation) 분석을 통해 DEC 가 행동 지표와 성적 간의 관계를 어떻게 변형시키는지 검증.
군집 분석 (Hierarchical Clustering) 을 통해 학생들의 읽기 전략 유형 분류.
3. 주요 기여 (Key Contributions)
특성 수준 흐름 (Trait-level Flow, DEC) 의 통합: 학습 로그 분석에 처음으로 개인의 성향 (DEC) 을 통합하여, 로그 기반 행동 지표와 독립적이지만 학습 성과에 중요한 영향을 미치는 요인을 규명했습니다.
이론 기반 시퀀스 메트릭 제안: 기존 EDM(교육 데이터 마이닝) 의 블랙박스 모델 (임베딩 벡터 등) 을 대체하여, 학습 이론 (메타인지 전략, 학습 접근법) 에 기반한 해석 가능한 시퀀스 메트릭을 제안했습니다.
맥락화된 참여도 해석: 로그 데이터의 해석이 '일률적 (one-size-fits-all)'이지 않고, 학습자의 개인적 성향 (DEC) 과 읽기 전략에 따라 달라져야 함을 실증적으로 증명했습니다.
4. 연구 결과 (Results)
DEC 와 참여도의 독립성: 로그 기반 참여도 지표와 DEC(내적/외적) 사이에는 유의미한 상관관계가 없었습니다. 이는 로그가 행동만 포착하고, DEC 는 내적 집중 성향을 포착하여 서로 다른 차원의 정보를 제공함을 의미합니다.
학습 성과 예측력 향상:
기존 로그 참여도 지표만으로는 성적을 약 25.5% (R2) 설명 가능.
DEC 추가 시: 설명력이 7.8% 증가 (총 33.3%).
읽기 전략 메트릭 추가 시: 설명력이 추가적으로 8.2% 증가.
최종 모델: 로그 참여도, DEC, 읽기 전략을 모두 포함할 때 **총 46.8% (R2)**의 성적 변이를 설명하며, 기존 모델 대비 21.3% 의 추가 설명력을 확보했습니다.
조절 효과 (Moderation Effect):
DEC 와 참여도의 상호작용: 높은 DEC 를 가진 학생들은 로그상 참여도가 낮아도 좋은 성적을 얻을 수 있는 반면, 낮은 DEC 학생들은 높은 참여도가 필수적입니다.
DEC 와 읽기 전략의 상호작용: 학생의 읽기 전략 군집 (군집화 분석 결과) 에 따라 DEC 가 성적에 미치는 영향력이 다릅니다. 예를 들어, '스키밍'이나 '고정된 페이지 읽기' 성향을 가진 학생들에게는 DEC 의 영향력이 더 크게 작용했습니다.
5. 의의 및 시사점 (Significance)
학습 분석 패러다임의 전환: 단순한 행동 추적 (로그 분석) 을 넘어, 학습자의 **인지 - 정서 상태 (DEC)**와 **메타인지 전략 (읽기 전략)**을 결합한 통합적 분석의 필요성을 제시했습니다.
개인화된 개입 (Personalized Interventions) 의 가능성:
낮은 DEC 학생: 높은 참여도 (시간 투자) 를 유도하거나, 전략적 읽기 (점프, 하이라이트 등) 를 장려하는 개입이 필요합니다.
높은 DEC 학생: 로그상 참여도가 낮더라도 실제 학습이 이루어지고 있을 수 있으므로, 불필요한 개입을 피하고 전략적 지원을 제공할 수 있습니다.
실용적 해석 가능성: 복잡한 머신러닝 모델 대신 이론 기반의 해석 가능한 메트릭을 사용하여, 교육자가 학생의 학습 상태를 직관적으로 이해하고 맞춤형 피드백을 줄 수 있는 기반을 마련했습니다.
결론적으로, 이 연구는 로그 기반 참여도 지표만으로는 학습의 질을 판단하기에 부족하며, 학습자의 개인적 성향과 읽기 전략을 함께 고려해야 보다 공정하고 정확한 학습 분석 및 지원이 가능함을 입증했습니다.