Context-Aware Prediction of Student Quiz Performance with Multimodal Textbook Features

기술 요약: 멀티모달 교과서 특징을 활용한 맥락 인지적 학생 퀴즈 성과 예측

문제 정의
교육 데이터 마이닝은 전통적으로 학생의 상호작용 이력과 이전 연습 문제 점수를 기반으로 학생의 성과를 예측하는 데 집중해 왔다. 그러나 이러한 접근 방식은 평가 콘텐츠가 예측 작업과 무관하거나 정적인 상태라고 가정한다. 실제로 단원 종료 퀴즈(end-of-chapter quizzes)의 난이도는 언어적 복잡성, 어휘 희귀도, 시각적 표현에 따라 크게 달라진다. 본 논문은 교과서 복습 문제에서 추출한 경량화된 콘텐츠 특화 특징(content-specific features)을 포함하는 것이, 이전 학생 성과만을 사용하는 것보다 학생의 퀴즈 점수를 예측하는 데 있어 성능을 개선할 수 있는지 조사한다. 본 연구는 두 가지 구별된 일반화 시나리오를 다룬다: 알려진 커리큘럼 내의 새로운 학생에 대한 점수 예측(Held-Out Student)과 완전히 새로운 커리큘럼 단원에 대한 점수 예측(Held-Out Chapter)이다.

방법론
본 연구는 CourseKata 플랫폼의 Statistics and Data Science: A Modeling Approach 교과서(ABC 및 ABCD 버전)를 사용하는 5개 대학 강의의 562개 클래스-학생 ID로부터 도출된 4,742개의 학생-단원 관측치 데이터셋을 활용한다. 타겟 변수는 단원 종료 퀴즈 점수(0–1로 스케일링됨)이다.

방법론은 4단계 파이프라인으로 구성된다:

1. 베이스라인 구축: 동일 단원 내에서 학생이 시도한 이전 연습 문제의 정답 비율 평균(avg_exercise_scores)을 사용하여 베이스라인 예측기를 설정한다.
2. 특징 추출:
   • 텍스트 특징: wordfreq를 사용하여 단원 복습 문제의 문구로부터 추출한다. 지표로는 평균 단어 길이, 평균 단어 희귀도(Zipf 빈도 기반), 복잡한 단어(낮은 Zipf 빈도)의 개수, 총 단어 수가 포함된다.
   • 이미지 특징: OpenCV를 사용하여 교과서 시각 자료로부터 추출한다. 지표에는 Canny 엣지 검출, Hough 선 세그먼트 개수, 외부 윤곽선(시각적 영역) 개수가 포함된다. 단원 수준의 특징은 이미지당 평균값과 총 이미지 개수로 집계된다.
3. 모델링: 본 연구는 네 가지 특징 세트를 비교한다: (1) Base (이전 성과만 사용), (2) Base + Image, (3) Base + Text, (4) Base + Image + Text. 특징 간의 상관관계를 처리하고 과적합을 방지하기 위해 릿지 회귀(Ridge regression)를 사용하며, 규제 강도는 교차 검증을 통해 선택된다.
4. 평가:
   • RQ1 (Held-Out Student): 특정 학생의 모든 단원을 동일한 폴드에 유지하는 5-폴드 그룹 교차 검증을 수행한다. 이는 알려진 콘텐츠에 대해 새로운 학생에게 일반화되는 능력을 테스트한다.
   • RQ2 (Held-Out Chapter): 8개 단원에서 학습하고 9번째 단원에서 테스트하는 Leave-chapter-out 검증을 수행한다. 이는 미지의 커리큘럼 콘텐츠에 대해 일반화되는 능력을 테스트한다.

주요 결과

• Held-Out Student 예측 (RQ1): 콘텐츠 특징을 추가하면 예측 정확도가 유의미하게 향상된다. 전체 멀티모달 모델(Base + Text + Image)은 $R^2$ 0.4338과 MSE 0.02270을 달성하였으며, 이는 베이스라인($R^2$ = 0.3775, MSE = 0.02496) 대비 MSE가 9.1% 상대적으로 감소했음을 나타낸다. 텍스트와 이미지 특징 모두 이 개선에 기여하며, 텍스트 특징(8.9% 감소)이 이미지 특징(2.9% 감소)보다 개별적인 영향력이 약간 더 큰 것으로 나타났다.
• Held-Out Chapter 예측 (RQ2): 결과는 특징 유형에 따라 갈린다.
  • 텍스트 특징: 텍스트 특징을 포함하면 베이스라인 대비 MSE가 8.7% 감소($R^2$ = 0.4119)하며 성능이 향상된다. 이는 언어적 특징이 전이 가능한(transferable) 평가 난이도 신호를 포착함을 시사한다.
  • 이미지 특징: 이미지 특징을 포함한 모델은 베이스라인보다 성능이 저하된다. Base + Image 모델은 MSE를 15.5% 증가시키며, 전체 멀티모달 모델은 음수의 $R^2$(-0.1776)와 82.9%의 막대한 MSE 증가를 초래한다.
• 특징 중요도: 릿지 모델의 표준화 계수 분석에 따르면, 단어 수와 복잡한 단어 수가 콘텐츠 특징 중 가장 큰 가중치를 가지며, 그 뒤를 이전 연습 문제 점수가 잇는다. 이미지 특징(선 개수, 영역 개수)은 더 작은 가중치를 가진다.

의의 및 주장
본 논문은 평가 콘텐츠가 학생의 과거 성과와 구별되는 예측 신호를 포함하고 있다고 주장한다.

• 맥락 인지(Context-Awareness): 알려진 커리큘럼이 포함된 운영 환경에서, 텍스트와 시각적 특징을 통합한 맥락 인지 모델은 과거 성과에만 의존하는 것보다 더 정확한 학생 성과 예측을 제공한다.
• 언어적 신호의 전이 가능성: 본 연구는 언어적 특징(예: 어휘 희귀도, 단어 수)이 서로 다른 단원 간에도 일반화되는 평가 난이도에 관한 정보를 포착한다는 것을 입증하며, 이는 새로운 콘텐츠에 대한 성과를 예측하는 데 가치가 있음을 보여준다.
• 현재 시각적 특징의 한계: 본 논문은 현재의 이미지 특징(엣지 개수, 윤곽선 개수)이 유용하기에는 너무 거칠다고 명시적으로 언급한다. 저자들은 이러한 특징들이 시각적 관계의 의미론적 복잡성(예: 복잡한 통계 그래픽과 단순한 표를 구분하는 것)을 인코딩하는 데 실패하며, 따라서 시각적 복잡성을 효과적으로 모델링하기 위해서는 보다 의미론적인 표현(예: 차트 유형, 시각-언어 임베딩)이 필요하다고 주장한다.

결론
본 연구는 학생 모델링이 평가 콘텐츠를 예측 문제의 필수적인 부분으로 취급해야 한다고 결론짓는다. 경량 텍스트 특징은 새로운 학생 및 새로운 단원 예측 모두를 성공적으로 향상시키는 반면, 현재의 단순한 이미지 특징은 아직 미지의 커리큘럼으로 일반화하는 데 유용한 이점을 제공하지 못한다. 저자들은 이러한 결과가 질문 난이도에 대한 인과적 추정치가 아니라 예측적 역할에 대한 기술적(descriptive) 결과임을 강조한다.