Multidimensional Exploration of Influencing Factors of College Students' Academic Performance: An Empirical Study Based on 18 Machine Learning Algorithms

기술 요약: 대학생 학업 성취도 영향 요인에 대한 다차원적 탐색

문제 제기
학업 성취도는 개인적 특성, 가정 환경, 그리고 학교 교육의 상호작용에 의해 형성되는 복합적인 결과물이다. 기존 문헌들이 이러한 차원들을 광범위하게 탐구해 왔으나, 여전히 상당한 한계가 존재한다. 전통적인 연구들은 주로 고전적인 통계 방법(예: 회귀 분석)이나 단일 머신러닝 알고리즘에 의존하며, 이는 여러 요인 간의 복잡하고 비선형적인 상관관계를 포착하는 데 어려움을 겪는다. 또한, 많은 머신러닝 모델의 '블랙박스' 특성은 해석 가능성을 저해하여, 교육 관리자들이 모델의 출력값을 신뢰하거나 타겟팅된 개입 전략을 수립하는 것을 어렵게 만든다. 따라서 높은 정확도로 학업 성취도를 예측할 뿐만 아니라, 실질적인 교육적 개입을 지원하기 위해 영향 요인의 기저 메커니즘을 설명할 수 있는 프레임워크가 절실히 필요하다.

연구 방법론
본 연구는 UCI(University of California, Irvine) 데이터셋에서 추출한 145명의 대학생(공학부 및 교육과학부) 데이터를 사용하여 종합적인 경험적 접근 방식을 채택하였다. 연구는 개인 정보, 가정 배경, 교육 상태를 아우르는 30개의 지표를 통합하였다.

1. 데이터 전처리: 초기 다중 클래스의 복잡성을 해결하기 위해 타겟 변수인 "GRADE"를 이진 분류 작업(낙제 0, 통과 1)으로 변환하였다. 심각한 클래스 불균형(통과 대 낙제 비율 약 17:1)을 완화하기 위해, SMOTE(Synthetic Minority Oversampling Technique)를 적용하여 소수 클래스에 대한 합성 샘플을 생성하였다.
2. 모델 비교: 본 연구는 Naive Bayes, Gradient Boosting Machine, XGBoost, 로지스틱 회귀, 신경망, 가우시안 프로세스, Bagging Decision Trees, LightGBM 및 다양한 선형 판별 및 회귀 모델을 포함한 18개의 머신러닝 알고리즘을 체계적으로 평가하였다.
3. 평가 지표: 모델 성능은 정확도(Accuracy), AUC, Kappa, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(PPV), 음성 예측도(NPV), 정밀도(Precision), 재현율(Recall) 및 F1-score를 사용하여 평가되었다. 견고성을 보장하기 위해 5-겹(5-fold), 10회 교차 검증 전략이 활용되었다.
4. 해석 가능성: 최적의 성능을 보인 LightGBM 모델은 SHAP(Shapley Additive exPlanations) 프레임워크를 통해 추가 분석되었다. 이 방법은 각 특성이 모델 예측에 기여하는 바를 정량화하여, 특성의 중요도와 방향성에 대한 심층적인 탐색을 가능하게 한다.
5. 애플리케이션 개발: 모델 예측과 특성 해석을 시각화하여 교육자들이 실무에서 활용할 수 있도록 Shiny 프레임워크를 사용하여 온라인 예측 시스템을 개발하였다.

주요 결과

• 모델 성능: 테스트된 18개 알고리즘 중 LightGBM 알고리즘이 최적의 결과를 달了다. LightGBM은 정확도 0.985, AUC 표준편차 0(높은 안정성 의미), Kappa 0.951, 민감도 0.949, 특이도 1, F1-score 0.974를 기록했다. Bagging Decision Trees와 XGBoost 역시 우수한 성능을 보였으나, LightGBM은 분류 및 회귀 나무(정확도 0.896)나 로지스틱 회귀(더 높은 AUC 표준편차를 보임)와 같은 전통적인 모델보다 일관되게 뛰어난 성능을 보였다.
• 특성 중요도: SHAP 분석 결과, 개인적 요인과 학교 교육 요인이 학업 성취도의 주요 동인인 반면, 가정 요인(예: 부모의 교육 수준, 직업 상태)은 상대적으로 약한 영향을 미치는 것으로 나타났다.
• 주요 유의 변수: 가장 영향력 있는 변수는 다음과 같다:
  • 개인 차원: 성별, 연령, 파트너 유무(HasPartner), 아르바이트 여부.
  • 학습 행동: 수업 경청 상태(ClassListening).
  • 기대치: 졸업 시 예상 누적 평점(ExpectedGradCGPA).
• 구체적 발견:
  • 파트너가 없는 학생이 파트너가 있는 학생보다 더 나은 성과 예측치를 보였다.
  • 22~25세 사이의 학생이 가장 좋은 성과 예측을 보였으며, 이는 최적의 학습 집중 기간임을 시사한다.
  • 높은 졸업 예상 성적은 부정적인 예측 효과와 관련이 있었는데, 이는 아마도 불안감 때문인 것으로 보인다.
  • 아르바이트는 긍정적인 예측 효과를 보였으며, 이는 시간 관리 능력 향상 및 지식의 실무 적용과 연관될 가능성이 있다.

핵심 기여

1. 영향 차원의 정교화: 본 연구는 영향력의 위계를 명확히 하여, 대학 맥락에서는 가정 요인보다 개인 및 학교 교육 요인이 지배적임을 검증하였다. 또한 광범위한 범주가 아닌 구체적이고 실행 가능한 지표(예: 수업 경청, 관계 상태)를 식별하였다.
2. 방법론적 최적화: 18개의 알고리즘을 비교하고 SHAP 해석을 통합함으로써, 전통적인 머신러닝의 '블랙박스' 한계를 극복하였다. 단일 알고리즘 접근법을 비교 프레임워크로 대체하여 높은 예측 정확도와 해석 가능성을 모두 확보하였다.
3. 실무 지향적 개입 전략: 거시적 차원의 제언을 넘어, SHAP 통찰에 기반한 구체적이고 데이터 중심적인 개입 전략을 제시하였다. 여기에는 실패 불안을 완화하고, 연애관을 지도하며, 평생 학습 개념을 확립하고, 산학 협력을 통해 실무 능력을 배양하는 전략 등이 포함된다.

의의
본 논문은 연구가 교육 관리자들에게 "데이터 기반"의 정량적 의사결정 근거를 제공한다고 주장한다. "모델 선택"에서 "요인 분석", 그리고 "개입 실행"에 이르는 폐쇄 루프(closed loop)를 구축함으로써, 본 연구는 교육 데이터 과학을 적용하는 실질적인 패러다임을 제시한다. 개발된 온라인 Shiny 애플리케이션은 교육자의 기술적 장벽을 낮추어, 그들이 직관적으로 학업 리스크를 식별하고 맞춤형 지능형 개입 프로그램을 설계할 수 있도록 돕는다. 궁극적으로 본 연구는 복잡한 예측 모델링과 실행 가능한 교육 정책 사이의 간극을 메움으로써, 대학생의 학업 성취도와 고등 교육의 전반적인 질을 향상시키는 것을 목표로 한다.