A Multi-level Analysis of Factors Associated with Student Performance: A Machine Learning Approach to the SAEB Microdata

기술 요약: 학생 성취도와 관련된 요인에 대한 다층적 분석

문제 정의
브라질 기초 교육의 결정 요인을 식별하는 것은 국가의 광범한 사회경제적 이질성으로 인해 복잡한 과제입니다. 전통적인 통계적 접근 방식은 개인의 특성, 교사 프로필, 학교 인프라 및 관리 관행 사이의 비선형적이고 다층적인 상호작용을 포착하는 데 어려움을 겪는 경우가 많습니다. 교육 데이터 마이닝(EDM)이 패턴 인식 도구를 제공하기는 하지만, 공평한 공공 정책 수립을 위해 가장 포괄적인 국가 기초 교육 데이터셋(SAEB)에 체계적인 다층 머신러닝 접근 방식을 적용하는 데에는 여전히 격차가 존재합니다. 핵심적인 문제는 고립된 개별 요인과 학생 성취를 주도하는 체계적인 학교 수준의 결정 요인을 구분하는 것입니다.

연구 방법론
본 연구는 INEP에서 실시한 기초 교육 평가 시스템(SAEB)의 마이크로데이터를 사용하여 구조화된 데이터 마이닝 파이프라인을 채택했습니다. 방법론은 네 가지 뚜렷한 단계로 특징지어집니다:

1. 다층 데이터 통합: 연구진은 학교 및 학급 식별자를 통해 네 가지 별도의 데이터 소스를 결합하여 계층적 데이터셋을 구축했습니다:

   • 학생: 사회경제적 프로필 및 숙달도 점수(수학 및 국어).
   • 교사: 전문적 배경, 교수법 및 학교 분위지에 대한 인식.
   • 학교: 사회경제적 수준 및 교사 교육율을 포함한 집계 지표.
   • 교장: 관리 프로필, 경력 및 지역사회 참여 관행.
     최종 데이터셋은 6,482,168개의 유효한 학생 기록(9학년 및 고등학교)으로 구성되었습니다.

2. 전처리 및 특성 선택:

   • 데이터 정제에는 결측치에 대한 리스트와이즈 삭제(listwise deletion)와 문자열 기반 백분율의 실수형 변환이 포함되었습니다.
   • 범주형 변수는 원-핫 인코딩(One-Hot Encoding)을 사용하여 인코딩되었고, 특성은 StandardScaler를 통해 표준화되었습니다.
   • 초기 98개 특성 세트에 보루타(Boruta) 알고리즘을 적용하여 통계적으로 관련 있는 예측 변수를 확인하였으며, 44개의 특성을 확정했습니다. 최종적으로 통계적 유의성과 교육 정책적 이론의 관련성을 바탕으로 17개의 특성 서브셋을 선택했습니다.

3. 모델링 및 평가:

   • 본 연구는 종합 숙달도 점수를 기준으로 학생이 "평균 이상"인지 "평균 이하"인지를 예측하는 이진 분류 문제로 프레임을 설정했습니다.
   • 네 가지 트리 기반 앙상블 알고리즘을 비교했습니다: 랜덤 포레스트(Random Forest), XGBoost, LightGBM, CatBoost.
   • 모델은 80/20 훈련-테스트 분할로 학습되었습니다. 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score, 그리고 ROC 곡선 아래 면적(AUC-ROC)을 사용하여 평가되었습니다.

4. 설명 가능한 AI (XAI):

   • "블랙박스"식 예측을 넘어설기 위해, 연구는 최적의 성능을 보인 모델에 **SHAP (SHapley Additive exPlanations)**을 적용했습니다. 이를 통해 전역적 특성 중요도 분석과 개별 예측에 대한 지역적 해석이 모두 가능했습니다.

주요 기여
본 논문은 교육 데이터 마이닝 및 공공 정책 분석 분야에 네 가지 주요 기여를 합니다:

1. 새로운 다층 모델: 네 가지 별도의 데이터 레이어(학생, 교사, 학교, 교장)를 체계적으로 통합하는 예측 모델의 설계 및 구현.
2. 엄격한 비교 평가: 네 가지 강력한 앙상블 모델을 종합적으로 벤치마킹하여, 이 특정 맥락에서 랜덤 포레스트 모델이 광범위한 하이퍼파라미터 튜닝 없이도 그래디언트 부스팅 변형 모델들(XGBoost, LightGBM, CatBoost)보다 우수한 성능을 보임을 입증함.
3. 체계적 특성 식별: 데이터 기반 분석을 통해 학교의 평균 사회경제적 수준이 개인의 특성이나 교사의 특성을 능가하는 지배적인 예측 변수임을 명확히 규명함.
4. 실행 가능한 정책 인사이트: 복잡한 모델 출력을 정책 입안자를 위한 증거 기반 인사이트로 변환하여, 학업 성취의 체계적 성격을 정량화하고 학교 간 격차를 줄이기 위한 표적 개입의 잠재력을 강조함.

결과

• 모델 성능: 랜덤 포리스트 분류기가 **정확도 90.17%**와 AUC 0.9669로 우수한 성능을 달 기록했습니다. 반면, 그래디언트 부스팅 모델들(XGBoost, LightGBM, CatBoost)은 기본 파라미터로 실행했을 때 유의미하게 낮은 정확도(62.48% ~ 64.17%)와 AUC 점수(0.67–0.69)를 나타냈습니다.
• 분류 균형: 랜덤 포레스트 모델은 두 클래스("평균 이상" 및 "평균 이하") 모두에서 균형 잡힌 성능을 보였으며, 정밀도와 재현율이 일관되게 0.90–0.92 수준을 유지하여 특정 그룹에 대한 편향이 없음을 보여주었습니다.
• 특성 중요도: SHAP 분석 결과 명확한 영향력의 위계가 드러났습니다:
  • 지배적 요인: 학교의 평균 사회경제적 수준이 단일 가장 강력한 예측 변수였습니다. 높은 사회경제적 수준(예: Nivel VI)은 "평균 이상" 예측과 강한 상관관계를 보였습니다.
  • 이차적 요인: 적절한 교육을 받은 교사의 비율 및 학생 참여율과 같은 제도적 변수들이 높은 영향력을 미쳤습니다.
  • 개인적 요인: 부모의 교육 수준, 침실 수와 같은 학생 수준의 변수들도 유의미했지만, 그 영향력은 더 넓은 학교 생태계에 비해 이차적이었습니다.
  • 교사/교장 변수: 개별 교사의 경력과 교장의 재임 기간은 관련이 있었으나, 집계된 학교 수준의 지표보다는 덜 지배적이었습니다.

의의 및 주장
본 논문은 브라질 기초 교육의 학업 성취가 고립된 개인적 개입의 결과가 아니라, 학교의 생태계와 깊이 연결된 체계적 현상이라고 주장합니다. 연구는 학교의 사회경제적 맥락에 대한 강력한 예측력이 개별 학생 구제에만 집중하기보다 학교 간의 격차를 해결하는 정책의 필요성을 입증한다고 논증합니다.

설명 가능한 AI를 활용함으로써, 저자들은 자신들의 모델이 "일률적인(one-size-fits-all)" 접근 방식에서 표적화된 증거 기반 개입으로 교육 정책을 전환할 수 있는 진단 도구 역할을 할 수 있다고 단언합니다. 구체적으로, 연구 결과는 교육적 형평성을 촉진하기 위해 자원 배분(재정, 숙련된 교사, 인프라)이 사회경제적 프로필이 낮은 학교를 향해 집중되어야 함을 시사합니다. 연구는 개인적 특성도 중요하지만, 이들이 학교라는 집단적 맥락에 의해 깊이 영향을 받는다는 결론을 내리며, 이는 사회적 재생 및 문화 자본에 관한 사회학적 이론과 일치합니다.

저자들은 인과관계에 대해서는 신중한 태도를 유지하며, 본 모델이 결정론적 인과관계보다는 통계적 연관성을 식별한다는 점을 강조합니다. 또한 결측치 처리를 위한 리스트와이즈 삭제 사용 및 횡단적 분석의 특성과 같은 한계를 인정하며, 향후 연구에서 종단적 데이터와 고급 대체 기법(imputation techniques)을 통합할 수 있음을 시사했습니다.