기술 요약: OULAD 데이터셋을 활용한 학생 성과 예측을 위한 딥러닝 연구

문제 정의

본 연구는 가상 학습 환경(VLE) 로그의 시계열 행동 데이터를 사용하여 학생의 성과(구체적으로는 과목 합격/불합격 상태 및 공식 중도 탈락 여부)를 예측하는 과제를 다룹다. 정적인 인구통계학적 특성과 이전 성적은 등록 시점에는 효과적이지만, 코스가 시작된 이후 발생하는 이탈 현상을 포착하는 데는 한계가 있다. 본 연구는 다음 두 가지 주요 질문을 조사한다:

1. 시계열 시퀀스(특히 BiLSTM)를 활용하는 딥러닝 모델이 전통적인 머신러닝 베이스라인(예: 그래디언트 부스팅)보다 이러한 성과를 예측하는 데 더 우수한 성능을 보이는가?
2. 합격/불합격과 중도 탈락을 공동으로 모델링하는 멀티태스크 학습(MTL)이 단일 태스크 학습(STL)에 비해 예측 정확도를 향상시키는가? (두 결과 간의 상관관계 $r \approx 0.61$을 고려할 때)

검증하고자 하는 핵심 가설은 학업 실패와 중도 탈락 사이의 중간 정도의 상관관계가 공유된 인코더가 활용할 수 있는 공통의 행동적 전조를 의미하는지, 아니면 두 결과의 서로 다른 행동적 선행 요인이 교차 태스크 전이를 제한하는지 여부이다.

방법론

데이터셋 및 전처리

본 연구는 OULAD(Open University Learning Analytics Dataset)를 활용하였으며, 활동량이 부족한 학생(2~6주 차 VLE 클릭 수가 5회 미만인 경우)을 필터링한 후 7개 모듈에 걸친 26,717명의 학생에게 집중하였다.

• 시계열 윈도우: 학생의 궤적은 등록 후 8일째부터 시작되는 14일 단위 윈도우 내의 일별 상호작용 요약 시퀀스로 표현되었다. 이 윈도우 크기는 가용 샘플과 시간적 맥락 사이의 균형을 맞추기 위해 선택되었다.
• 특성 공학(Feature Engineering): 각 날짜는 총 클릭 횟수(로그 변환 적용), 이동 통계량(3일간의 평균 및 표준 편차), 활동 유형 분포, 그리고 추세와 모멘텀을 포착하기 위한 시간적 도함수를 포함하는 12차원 벡터로 인코딩되었다.
• 데이터 분할: 데이터 누수를 방기하기 위해 학생 단위 분할을 사용하였다: 훈련 70%, 검증 10%, 테스트 20%. 이는 약 75,737개의 훈련 윈도우를 생성하였다.

모델 아키텍처

저자들은 서로 다른 랜덤 시드에 대해 10번의 실험 실행을 통해 여러 아키텍처를 비교하였다:

1. 딥러닝 변형:
   • 단일 태스크 LSTM (STL): 합격/불합격과 중도 탈락을 위해 독립적으로 훈련된 별도의 BiLSTM 인코더.
   • 교차 어텐션이 없는 멀티태스크 학습 (MTL): 두 개의 태스크별 예측 헤드로 연결되는 공유 BiLSTM 인코더 (방향당 64개 은닉 유닛).
   • 교차 어텐션이 있는 멀티태스크 학습 (MTL): 최종 예측 전 태스크 헤드가 서로의 표현에 주의를 기울일 수 있도록 교차 어텐션 레이어가 포함된 MTL 아키텍처.
   • 인코더 세부 사항: BiLSTM은 14단계 시퀀스를 처리하며, 이후 레이어 정규화, 완전 연결 레이어(32개 유닛, ReLU), 드롭아웃(0.3), 그리고 선형 출력 레이어를 거친다.
2. 베이스라인 방법:
   • 전통적인 머신러닝 모델(Random Forest, XGBoost, LightGBM, Logistic Regression)은 표준 학습 분석 관행을 나타내기 위해 모든 시간 단계를 결합한 168차원 입력의 평탄화된 특성 벡터를 사용하여 훈련되었다.

훈련 및 평가

• 최적화: AdamW(학습률 0.001, 가중치 감쇠 0.01)를 사용하였으며, 코사인 어닐링(cosine annealing)과 조기 종료를 적용하였다.
• 손실 함수: 클래스 불균형 문제를 해결하기 위해 역빈도 가중치(Inverse frequency weighting)를 적용하였다. MTL의 경우, 전체 손실은 학업 및 탈락 손실의 동일 가중치 합이다.
• 평가 지표: 매크로 평균 F1 점수를 주요 지표로 사용하였다.
• 통계 분석: 쌍체 t-검정 외에도, 저자들은 성능 차이가 실질적으로 무시할 수 있는 수준인지 결정하기 위해 경계값($\delta$) 0.02를 가진 등가성 검정(equivalence testing)을 위한 일측 양방향 검정(TOST)을 채택하였다.

주요 결과

1. 딥러닝 vs. 전통적 베이스라인

BiLSTM 기반 모델은 그래디언트 부스팅 베이스라인보다 통계적으로 유의미하지만 완만한 개선을 보여주었다.

• 성능: 최적의 단일 태스크 LSTM은 F1 점수 0.597 ± 0.006을 달성하여, LightGBM(0.584)보다 2.2% 높은 성능을 보였다 ($t=7.26, p < 0.001, d=0.73$).
• 시사점: 시계열 모델링은 집계된 특성이 놓치는 행동 역동성(예: 감소하는 참여 추세)을 포착하지만, 절대적인 이득은 작다.

2. 멀티태스크 학습 vs. 단일 태스크 학습

태스크 간 상관관계가 이점을 줄 것이라는 예상과 달리, MTL은 단일 태스크 훈련에 비해 아무런 이점도 제공하지 못했다.

• 등가성: 모든 딥러닝 변형(STL, 어텐션 없는 MTL, 어텐션 있는 MTL)은 통계적으로 동등한 F1 점수를 달성하였다.
  • MTL (어텐션 없음): 0.600 ± 0.004
  • MTL (어텐션 포함): 0.598 ± 0.003
  • STL: 0.597 ± 0.006
• 통계적 근거: TOST 등가성 검정 결과, 쌍별 차이가 $[-0.008, 0.003]$ 신뢰 구간 안에 완전히 포함됨을 확인하였다 ($p < 0.001$). 교차 어텐션 메커니즘은 복잡성을 더했으나 성능 향상은 없었다.
• 중도 탈락 예측: MTL은 중도 탈락 예측에서도 개선을 이루지 못했다 (F1 ~0.489 vs. STL의 0.476). 이는 중도 탈락의 행동적 신호가 학업 실패와는 구별됨을 시사한다.

3. 특성 중요도 및 행동적 예측 인자

(평탄화된 데이터에 대한 Random Forest를 통한) 특성 중요도 분석 결과는 다음과 같다:

• 누적 참여도: 가장 강력한 예측 인자(중요도 34.6%)로, 간헐적인 폭발적 참여보다 지속적인 참여가 더 중요하다는 것을 나타낸다.
• 일관성: 이동 통계량(추세 및 변동성)이 약 29%를 기여하였으며, 이는 안정적인 참여 패턴이 진단적임을 강조한다.
• 결정적 시기: 14일 윈도우 중 11~14일 차의 특성이 중요도의 45%를 차지하였으며, 이는 평가 마감일 근처의 참여 패턴이 최종 결과에 가장 예측력이 높음을 시사한다.

4. 민감도 분석

중도 탈락 학생을 "불합격" 범주에서 제외했을 때(합격 vs 불합격만 예측) F1 점수 감소는 0.6%로 미미하였으며, 이는 레이블 중첩이 결과를 인위적으로 부풀리지 않았음을 확인시켜 준다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 시계열 모델링의 경험적 검증: BiLSTM이 학생 성과 예측을 위해 집계된 특성보다 시계열 시퀀스를 사용하는 것이 통계적으로 신뢰할 수 있는(비록 2.2%의 완만한) 개선을 제공한다는 증거를 제시함으로써, 시계열 모델링의 유용성을 입증하였다.
2. 교육 분야에서의 멀티태스크 학습의 한계: 본 연구는 태스크 간의 중간 정도의 상관관계($r=0.61$)가 MTL의 이점으로 이어질 것이라는 가정을 반박한다. 저자들은 합격/불합격과 중도 탈락이 서로 상관되어 있지만, 부분적으로 구별되는 행동적 선행 요인(예: 낮은 성적으로 지속하는 학생 vs 완전히 이탈하는 학생)에 의존한다고 주장한다. 결과적으로, 공유된 인코더가 두 패턴을 효과적으로 모두 포착할 수 없으며, 데이터가 풍부할 때는 단일 태스크 모델로도 충분하다.
3. 행동적 통찰: 결과는 지속적이고 꾸준한 참여(총량보다는)가 성공의 가장 강력한 예측 인자임을 식별함으로써 자기결정론(SDT)을 뒷받려 한다. 또한, 참여 패턴이 진단적 가치를 갖는 "결정적 시기"를 식별하였다.

저자들은 시계열 딥러닝이 점진적인 이득을 제공하기는 하지만, 이 문맥에서는 멀티태스크 학습의 추가된 복잡성이 정당화되지 않으며, 특히 훈련 데이터가 풍부할 때 더욱 그러하다고 결론짓는다. 이 연구 결과는 실무자들이 단순한 활동량보다는 참여의 일관성과 추세를 모니터링하는 것을 우선시해야 하지만, 구현 시에는 더 단순한 단일 태스크 모델에 의존할 수 있음을 시사한다.