Understanding Self-Regulated Learning Behavior Among High and Low Dropout Risk Students During CS1: Combining Trace Logs, Dropout Prediction and Self-Reports

"Understanding Self-Regulated Learning Behavior Among High and Low Dropout Risk Students During CS1: Combining Trace Logs, Dropout Prediction and Self-Reports" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

초급 프로그래밍 과정 (CS1) 은 높은 중퇴율과 초보 학습자에게 큰 어려움을 안겨주는 특징으로 인해 컴퓨터 과학 교육의 치명적인 병목 현상이 됩니다. 예측 학습 분석은 높은 정확도로 위험군 학생을 식별할 수 있지만, 이러한 모델들은 종종 **설명 가능성 (explainability)**이 부족합니다. 교육자들은 왜 특정 학생이 중퇴할 것으로 예측되는지, 혹은 그들의 구체적인 학습 행동이 어떻게 그 위험에 기여하는지 이해하는 데 어려움을 겪습니다.

현재 연구는 종종 고득점자와 저득점자의 과정 후 비교에 의존하거나 시간적 세분성이 부족한 자기 보고서를 사용합니다. 다음과 같은 방법이 필요합니다:

• 실시간 행동 데이터 (추적 로그) 와 예측 중퇴 모델을 연결하는 것.
• 일시적인 어려움과 중퇴로 이어지는 되돌릴 수 없는 경로를 구분하는 것.
• 이러한 행동을 해석하기 위해 자기조절학습 (SRL) 이론을 통합하는 것.

2. 방법론

이 연구는 자기조절학습 (SRL) 이론 (특히 Winne & Hadwin 의 전술 - 전략 프레임워크) 에 기반하여 정량적 학습 분석과 정성적 자기 보고서를 결합한 혼합 방법론을 사용했습니다.

2.1 데이터 수집

• 맥락: 2023 년 가을학기 요반스쿨라 대학교 (University of Jyväskylä) 에서 진행된 6 학점 CS1 과정으로, 321 명의 학생이 등록했습니다.
• 참여자: 47 명의 동의한 학생이 추적 로그를 제공했으며, 이 중 29 명이 과정 종료 후 자기 보고서 설문지를 작성했습니다.
• 데이터 출처:
  • 추적 로그: 가상 학습 환경 (VLE) 에서 수집된 86,738 개의 원시 이벤트로, 교재 사용, 강의, 과제 제출 (초급, 핵심, 기본, 보너스, 고수), 조교 (TA) 세션, 그리고 모범 답안 검토 등이 포함됩니다.
  • 성과 데이터: 주간 과제 점수, 시험 점수, 최종 성적.
  • 자기 보고서: 학습 습관, 어려움, 자원 사용에 관한 개방형 질문.

2.2 데이터 분석 파이프라인

저자들은 원시 로그를 해석 가능한 학습 프로파일로 변환하기 위해 5 단계 파이프라인을 개발했습니다:

1. 로그 전처리: 원시 이벤트는 (예상 과제 완료 시간 기반) 25 분 절단 임계값을 사용하여 학생 세션으로 그룹화되었습니다. 단일 이벤트로 구성된 세션은 노이즈를 필터링하기 위해 제거되었습니다.
2. 학습 전술 발견:
   • 세션은 이벤트 빈도 벡터 (82 개의 고유 이벤트 코드) 로 변환되었습니다.
   • $k$-medoids 클러스터링 ($\ell_1$ 거리 사용) 이 적용되어 12 개의 고유한 학습 전술 (예: "교재에 집중하기", "핵심 과제 시도하기", "이전 주 검토하기") 을 식별했습니다.
3. 학습 전략 수립:
   • 세션은 해당 전술 코드로 재ラ벨링되었습니다.
   • 11 주 과정에 걸친 전략의 진화를 포착하기 위해 로그는 주간 하위 로그로 분할되었습니다.
   • 전술의 주간 시퀀스가 학습 전략을 구성합니다.
4. 학습 전략 특성화 (위험군 분류):
   • (과제 성과 기반) 사전 훈련된 로지스틱 회귀 중퇴 예측 모델이 각 학생 - 주에 적용되어 중퇴 확률 ($p_{drop}$) 을 생성했습니다.
   • 전략은 고위험 ($p_{drop} > 0.5$) 또는 저위험 ($p_{drop} \leq 0.5$) 으로 라벨링되었습니다.
   • 클러스터링: 각 위험군 내의 전략은 전술 전환의 1 차 마르코프 모델 (FOMM) 에 대한 기대 최대화 (EM) 알고리즘을 사용하여 클러스터링되었습니다.
   • 해석: 클러스터는 휴리스틱 네트워크 (Heuristic Nets) (프로세스 마이닝) 와 SHAP 워터폴 플롯 (예측 특성 설명용) 을 사용하여 시각화되어 고유한 전략 유형을 정의했습니다.
5. 학생 특성화:
   • 학생들은 전체 과정에서 사용한 전략 유형의 빈도에 따라 클러스터링되었습니다 (병합 클러스터링).
   • Brunner-Munzel 검정이 성적, 중퇴 예측, 자기 보고 의견에 관한 클러스터 간 통계적 비교에 사용되었습니다.
   • 자기 보고서의 정성적 내용 분석은 정량적 클러스터를 검증하고 맥락화하는 데 사용되었습니다.

3. 주요 기여

• 방법론적 통합: 단순 분류를 넘어 왜 학생이 위험한지 설명하기 위해 프로세스 마이닝, 예측 모델링, 자기 보고서를 결합한 새로운 파이프라인.
• 세분화된 전략 분류 체계: 위험 수준에 따라 분류된 12 개의 고유한 주간 학습 전략 유형 식별:
  • 3 가지 저위험 전략: 과제 지향적 (성과 중심), 이해 추구 (자원 중시), 자원 중심 (과제보다 교재).
  • 9 가지 고위험 전략: 회복 가능한 어려움 (예: "느린 시작", "예제와 함께 시도") 에서 치명적인 실패 모드 (예: "뒤처짐, 어려움을 너무 늦게 인식", "필수 과제에만 위험하게 집중") 까지 다양함.
• 종단적 프로파일링: 한 학기 전체에 걸쳐 학생들이 이러한 전략들을 어떻게 탐색했는지에 기반한 5 가지 학생 학습 프로파일 유형 정의.
• 삼각측량: 자기 보고서가 추적 로그 데이터의 모호성을 어떻게 해결하는지 입증 (예: "위험한" 전략을 사용했음에도 불구하고 합격한 학생의 이유 설명).

4. 주요 결과

4.1 중퇴 위험이 낮은 행동 (RQ1)

중퇴 위험이 낮은 학생들은 일반적으로 세 가지 주요 주간 전략을 보였습니다:

1. 과제 지향적: 필수 및 기본 과제를 효율적으로 완료하는 데 집중.
2. 이해 추구: 과제를 시도하기 전에 강의 및 보충 자료를 통해 깊은 이해를 우선시.
3. 자원 중심: 즉각적인 과제 완료보다는 교재와 모범 답안에 상당한 시간을 할애.

• 프로파일: 이러한 행동은 상황에 따라 전략을 조정하는 **"적응적 이해 추구자"**와 **"적극적 과제 중심 학습자"**와 같은 프로파일과 상관관계가 있었습니다.

4.2 중퇴 위험이 높은 행동 (RQ2)

고위험 학생들은 9 가지 고유한 전략을 보였습니다. 중요하게도, 이 연구는 일시적 위험과 치명적 위험을 구분했습니다:

• 회복 가능한 위험: "느린 시작"이나 "이해에 어려움"과 같은 전략은 결국 회복하여 합격한 학생들이 종종 사용했습니다.
• 치명적 위험: 모범 답안을 보고 과제를 수행하지 않는 **"뒤처짐, 어려움을 너무 늦게 인식"**과 **"필수 과제에만 위험하게 집중"**과 같은 전략은 중퇴한 학생들과 강력하게 연관되었습니다.
• 통찰: 중퇴한 학생들은 보통 떠나는 1~2 주 전에 고위험 전략으로 회귀했으며, 종종 특정 어려운 주제가 소개된 후였습니다.

4.3 학생 프로파일 및 자기 보고서 (RQ3)

이 연구는 5 가지 학생 프로파일을 식별했습니다:

1. 적응적 이해 추구자 (N=20): 주간 주제에 따라 전략을 조정; 다양한 자원에 높은 참여.
2. 성실한 교재 순응자 (N=14): 제안된 일정을 엄격히 준수; 조교 및 동료 그룹에 높은 의존.
3. 적극적 과제 중심 학습자 (N=5): 일관되게 저위험 전략 사용; 높은 과제 완료율.
4. 끝까지 인내한 학생 (N=1): 고위험 전략 (최소한의 과제 수행) 을 사용했으나 예외적인 시험 성적으로 최상위 점수를 받아 합격한 이상치. 자기 보고서는 이 학생이 시간 관리에는 약했으나 정보 검색 능력이 뛰어났음을 드러냈습니다.
5. 과정 중퇴자 (N=7): 모두 중간 시점까지 중퇴. 퇴학 직전 몇 주 동안 exclusively 고위험 전략만 사용했습니다.

검증: 자기 보고서는 정량적 결과를 확인했습니다. 예를 들어, "적응적" 그룹은 개인적인 사정으로 일정을 조정했다고 보고했고, "성실한" 그룹은 외부 도움에 크게 의존했다고 보고했습니다. 단일 "인내" 이상치의 자기 보고서는 추적 로그만으로는 실패로 오인될 수 있는 시험 중심의 독특한 경로를 설명했습니다.

5. 중요성 및 실용적 함의

• 표적 개입: 이 연구는 TAs 와 강사가 누가 위험한지뿐만 아니라 어떤 구체적인 행동이 위험을 유발하는지 식별할 수 있는 프레임워크를 제공합니다. 예를 들어, "모범 답안에 늦게 의존하는" 학생은 "느린 시작"을 하는 학생 (예: 시간 관리 코칭) 과는 다른 개입 (예: 과제 완료 강제) 이 필요합니다.
• 조기 경고 시스템: 주간 전략 유형을 중퇴 확률과 연결함으로써 교육자들은 사후 분석이 아닌 과정 중에 개입할 수 있습니다.
• 종합적 관점: 추적 로그와 자기 보고서의 결합은 오해를 방지합니다. 로그상에서 "위험해 보이는" 학생은 단순히 다른 (그러나 효과적인) 전략을 가진 "인내" 학습자일 수 있으며, 이는 불필요하거나 잘못된 방향의 개입을 방지합니다.
• 확장성: 이 파이프라인은 기존 VLE 데이터와 표준 기계 학습 모델을 사용하므로, 침습적인 새로운 데이터 수집 방법 없이도 대규모 CS1 코호트에 적용 가능합니다.

결론적으로, 이 논문은 학습 전략 유형이 원시 활동 횟수보다 더 예측적이고 설명력이 있음을 보여줍니다. 행동을 구체적인 위험 프로파일로 분류함으로써, 이 연구는 시기적절하고 행동별 지원을 통해 CS1 중퇴율을 줄이기 위한 실행 가능한 로드맵을 제시합니다.