📊 통계학

Which disadvantaged students beat the odds in STEM? A design-consistent, fairness-audited machine learning study of 143,573 adolescents in 79 PISA 2022 education systems

본 연구는 79개 교육 체계에 걸친 143,573명의 소외 계층 청소년의 PISA 2022 데이터를 활용하여 설계 일관성 및 공정성 감사를 거친 머신러닝 접근법을 적용함으로써, 수학적 자기효능감이 STEM 회복탄력성의 가장 강력한 보편적 예측 변수임을 밝혀내는 동시에, 예측 모델이 여학생과 농촌 지역 학생들에 대해 상당한 전이 가능성 한계와 체계적 편향을 보인다는 점을 규명하며, 이는 맥락 특화적이고 형평성을 갖춘 선별 전략의 필요성을 강조한다.

원저자: Omar Allohibi

게시일 2026-09-22

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Omar Allohibi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매년 전 세계 수백만 명의 15세 학생들이 수학과 과학에 대한 이해도를 측정하는 표준화된 시험을 치릅니다. 수십 년 동안 연구자들은 이 결과에 대해 단순하면서도 끈질긴 진실을 알고 있었습니다. 학생의 가정 자산이 성적을 예측하는 가장 강력한 요인 중 하나라는 사실입니다. 가난한 배경의 아이들은 낮은 점수를 받는 경향이 있는 반면, 부유한 가정의 아이들은 높은 점수를 받는 경ol이 있습니다. 이러한 격차는 매우 중요한데, 왜냐하면 이 과목들의 숙달도가 과학, 기술, 공학, 수학(STEM) 분야의 경력으로 가는 관문이기 때문입니다. 하지만 이야기가 완전히 결정론적인 것만은 아닙니다. 이 시험에 참여하는 모든 국가에는 역경을 극했을 뿐만 아니라 기대를 뛰어넘는, 즉 하위 25% 가구 출신의 학생들도 존재합니다. 그들은 수학과 과학 모두에서 높은 점수를 기록하며, 불리한 환경이 성공을 불가능하게 만드는 것은 아님을 증명합니다. 이 학생들은 흔히 "학업적 회복탄력성(academically resilient)"이 있다고 불립니다. 교육자와 정책 입안자들을 오랫동안 고민하게 만든 질문은 단순히 이 학생들이 누구인가가 아니라, 무엇이 그들을 성공하게 만드는가 하는 것입니다. 그것은 학생 자신의 자신감일까요? 교사의 지원일까요? 아니면 학교에서 이용 가능한 자원일까요?

오랫동안 이 질문에 답하는 것은 전통적인 통계 방식에 의존해 왔으나, 이는 학생의 삶에 영향을 미치는 복잡한 요인들의 얽힌 실타래를 풀어내는 데 종종 어려움을 겪었습니다. 최근 연구자들은 방대한 양의 데이터에서 패턴을 찾아낼 수 있는 컴퓨터 프로그램의 일종인 머신러닝을 사용하여 답을 찾기 시작했습니다. 그러나 이러한 초기 시도 중 상당수는 데이터가 수집된 구체적인 방식을 무시하는 지름길을 택했습니다. 그들은 데이터를 정교하게 설계된 설문조사로 다루기보다 단순한 이름 목록처럼 취급했으며, 결과가 다른 국가에서도 유효할지 확인하지 않은 채 자신들이 모델을 구축하는 데 사용한 데이터로만 모델을 테스트하곤 했습니다. 타이바 대학교의 오마르 알로히(Omar Allohibi)가 이끄는 2026년에 발표된 새로운 연구는 이러한 문제들을 해결하고자 합니다. 79개 교육 체계에 걸친 143,573명의 소외 계층 청소년 데이터를 분석함으로써, 그들은 어떤 학생이 역경을 극복할지를 예측하기 위한 머신러닝 모델을 구축했습니다. 결정적으로, 그들은 설문의 설계를 존중하도록 극도로 주의를 기울여 모델을 구축했고, 모델이 본 적 없는 국가들을 대상으로 테스트했으며, 모델이 서로 다른 학생 집단을 공정하게 다루는지 확인했습니다.

연구는 정확히 무엇이 "역경을 극복하는 것"인지 정의하는 것으로 시작되었습니다. 연구진은 각 국가의 사회경제적 수준 하위 25%에 속하는 학생들에게만 집중했습니다. 그런 다음 수학과 과학 모두에서 특정 수준의 숙달도에 도달한 학생들을 찾았는데, 이 기준은 심화 학습을 할 준비가 되었음을 시사할 만큼 높은 수준이었습니다. 연구진은 전 세계적으로 이 소외 계층 학생 중 단 12.5%만이 이 높은 기준을 충족한다는 것을 발견했습니다. 이 비율은 국가마다 매우 다양했는데, 어떤 교육 체계에서는 0.1% 미만이었던 반면 싱가포르에서는 62%에 달했습니다. 이러한 변동성은 학생이 번창할 수 있는지 여부에 학교 시스템의 환경 자체가 엄청난 역할을 한다는 것을 시사했습니다.

연구진이 어떤 학생들이 회복탄력성을 가질지 예측하도록 머신러닝 모델을 훈련시켰을 때, 모델은 놀라운 정확도로 수행되었습니다. 모델은 해당 국가의 평균 성적을 바탕으로 한 단순한 추측보다 훨씬 더 잘 어려움을 겪는 학생과 번창하는 학생을 구분해 냈습니다. 모델이 찾아낸 가장 강력한 예측 변수는 학교의 자원이나 가족의 소득 수준이 아니라, 수학을 할 수 있다는 학생 자신의 믿음이었습니다. '자기 효능감(self-efficacy)'이라고 알려진 이 느낌은 79개국 모두에서 가장 강력한 단일 요인이었습니다. 수학 문제를 풀 수 있다고 믿는 학생들은 상당한 불리한 상황에 처해 있더라도 성공할 가능성이 훨씬 높았습니다. 가정 내 컴퓨터 접근성이나 스트레스를 견디는 능력과 같은 다른 요인들도 중요한 역할을 했습니다. 흥-미롭게도, 모델은 학교 밖에서 유급 직업을 가진 학생들이 공부할 시간이 적기 때문에 회복탄력성을 가질 가능성이 낮다는 점도 발견했습니다.

그러나 이 연구는 이러한 모델들이 흔-히 사용되는 방식에 있어 결정적인 한계를 드러냈습니다. 여러 국가의 데이터로 훈련된 모델을 가져와 단 하나의 보이지 않는 국가의 결과를 예측하려고 했을 때, 그 정확도는 현저히 떨어졌습니다. 모델이 여전히 유용하기는 했지만, 글로벌 수치가 시사하는 것만큼 신뢰할 만하지는 않았습니다. 더욱 중요한 점은, 한 국가에서 가장 중요했던 특정 요인들이 다른 국가에서 중요한 요인들과는 다른 경우가 많았다는 것입니다. 유일한 예외는 자신의 수학 능력을 믿는 마음이었는데, 이것은 어디에서나 최고의 예측 변수로 남았습니다. 이 발견은 모든 문화와 교육 체계에 적용되는 단 하나의 보편적인 "핵심 요소" 목록이 존재한다는 생각에 도전합니다. 대신, 자신감이 성공을 위한 보편적인 엔진인 것은 맞지만, 다른 뒷받받침하는 요인들은 지역적 맥락에 크게 의존한다는 것을 시사합니다.

그들은 또한 모델이 모든 학생을 평등하게 대우하는지 확인하기 위해 공정성 감사를 실시했습니다. 연구진은 모델이 평균적으로는 정확하지만, 서로 다른 집단에 대해 서로 다른 종류의 실수를 저지른다는 것을 발견했습니다. 모델은 회복탄력성이 있는 소녀를 회복탄력성이 있는 소년보다 식별해 낼 확률이 현저히 낮았습니다. 또한 도시 지역 학생들에 비해 농촌 지역에 거주하는 회복탄력성 있는 학생들을 찾아낼 확률도 훨씬 낮았습니다. 모델의 입력값에서 성별을 제거하자 소녀들에 대한 격차가 사라졌는데, 이는 모델이 소녀들에게 불리하게 작용하는 지름길로 성별을 학습했음을 시사합니다. 그러나 농촌 지역 위치를 모델에서 제거해도 농촌 학생들에 대한 격차는 해결되지 않았습니다. 이는 농촌 학생들의 문제가 모델의 편향이 아니라, 오히려 농촌 지역의 전반적인 조건이 성공을 예측하기 더 어렵게 만든다는 사실 때문임을 나타냈습니다.

연구는 머신러닝이 학업적 회복탄력성의 요인을 이해하는 데 도움을 줄 수 있지만, 이 도구들을 어떻게 사용하는지에 대해 주의해야 한다고 결론짓습니다. 가장 중요한 교훈은 수학을 배울 수 있다는 자신의 능력에 대한 확신이 소외 계층 학생들이 성공할 수 있도록 돕는 강력하고 보편적인 힘이라는 점입니다. 그러나 단 하나의 글로벌 모델에 의존하여 모든 국가의 모든 학생을 위한 결정을 내리는 것은 위험합니다. 성공을 이끄는 요인은 곳곳마다 다르며, 한 곳에서 잘 작동하는 모델이 다른 곳에서는 빗나갈 수도 있습니다. 나아가, 만약 이 도구들이 학생들을 지원 프로그램에 선발하기 위해 사용된다면, 소녀들이나 농촌 공동체의 학생들을 체계적으로 간과하지 않도록 주의 깊게 점검되어야 합니다. 데이터의 복잡성을 존중하고 모델이 실제로 사용될 실제 환경에서 테스트함으로써, 연구자들은 교육의 격차를 의도치 않게 넓히는 대신 진정으로 형평성을 돕는 도구를 구축할 수 있습니다.

기술 요약: STEM 회복탄력성을 위한 설계 일관성 및 공정성 감사가 적용된 머신러닝

문제 제기
사회경제적으로 불리한 환경에 처해 있음에도 수학과 과학에서 숙달도(proficiency)를 달est하는 학생들("STEM 회복탄력적 학생")은 결핍이 반드시 실패로 이어지는 것은 아님을 보여준다. 그러나 PISA와 같은 국제 대규모 평가(ILSA) 데이터를 활용한 기존의 머신러닝(ML) 연구들은 네 가지 결정적인 방법론적 격차를 안고 있다:

설계 불일치(Design Inconsistency): 대부분의 연구가 ILSA의 복잡한 조사 설계(층화 추출, 학생 가중치, 가능한 값(plausible values), 학교 클러스터링)를 무시하며, 이는 편향된 추정치와 데이터 누출(data leakage)로 인한 과장된 정확도를 초래한다.
일반화 문제(Generalizability Issues): 모델들이 일반적으로 풀링된 데이터의 인플러스텝(in-distribution) 분할에서만 검증되며, 예측 계층 구조가 보지 못한 교육 체계에서도 유지되는지를 테스트하지 못한다.
오류의 형평성 간과(Equity-of-Errors Blindness): 선행 연구 중에는 예측 오류가 하위 그룹(예: 성별, 농어촌/도시) 간에 균등하게 분포되어 있는지 감사하여, 특정 인구통계학적 집단의 회복탄력적 학생을 체계적으로 과소 식별할 위험을 점검한 사례가 없다.
정의 민감도(Definition Sensitivity): 많은 연구가 단일한 운영적 정의에 의존하지만, 결과의 정의 방식에 따라 결론이 크게 달라질 수 있다는 증거가 존재한다.

본 연구는 79개 교육 체계의 143,573명의 불리한 환경의 청소년을 대상으로 PISA 2022 데이터를 사용하여, 설계 일관성과 공정성 감사가 적용된 ML 파이프라인을 통해 STEM 회복탄력성(수학 및 과학 모두 레벨 3 이상 도달)을 예측함으로써 이러한 격차를 해결한다.

방법론
본 연구는 엄격하고 설계 일관적인 머신러닝 파이프라인을 채택하였다:

데이터 및 샘플링: 분석 샘사는 각 체계 내에서 최하위 사회경제적 사분위수(ESCS)에 속하는 학생들로 구성되었다. 코스타리카는 ESCS 데이터 결측으로 인해 제외되었다.
결과 정의: 회복탄력성은 수학과 과학 모두에서 레벨 3 이상에 도달하는 것으로 정의하였다. PISA의 측정 모델을 존중하기 위해, 결과값은 모든 10개의 가능한 값(PV)에 대해 평균을 내지 않고 각각 별도로 구축되었다.
예측 변수: 브론펜브레너(Bronfenbrenner)의 생태학적 프레임워크를 기반으로, 개인 차원의 특성(예: 자기 효능감, 불안), 미시체계 요인(예: 가족/교사 지지, 괴롭힘), 그리고 맥락(예: 학교 자원, 위치)을 포괄하는 53개의 예측 변수를 선정하였다.
설계 일관적 추정:
- 가중치: 체계 간 동등한 대표성을 보장하기 위해 풀링된 분석에는 상원식(Senate-style) 가중치를 사용하였고, 체계 내 통계에는 최종 학생 가중치를 사용하였다.
- 가능한 값(Plausible Values): 전체 파이프라인(적합, 예측, 평가)은 10개의 PV 각각에 대해 한 번씩 총 10회 실행되었으며, 다중 대치(multiple imputation)를 위해 루빈의 법칙(Rubin's rules)을 사용하여 통합되었다.
- 클러스터링: 훈련 세트와 테스트 세트 간의 정보 누출을 방지하기 위해 학교 단위로 그룹화된 교차 검증(GroupKFold)을 실시하였다.
모델: 로지스틱 회귀, 릿지 로지스틱 회귀, 랜덤 포레스트, 히스토그램 그래디언트 부스팅, 그리고 LightGBM(주요 모델)의 다섯 가지 분류기를 비교하였다. 하이퍼파라미터는 중첩 교차 검증(nested cross-validation)을 통해 튜닝되었다.
검증 전략:
- 내부 검증: 학교 단위로 그룹화된 5-겹 교차 검증(5-fold cross-validation).
- 전이 가능성(Transportability): 보지 못한 체계를 예측하는 국가 단위 8-겹 교차 검증 및 엄격한 Leave-One-Country-Out (LOCO) 스팟 체크.
- 공정성 감사: 유병률 매칭 임계값(prevalence-matched threshold)에서 성별, 이민 배경, 모국어, 도시/농촌 여부에 따른 오류율 패리티(error-rate parity)를 평가하였다. 속성 기반의 차이를 구분하기 위해 "속성 블라인드(attribute-blind)" 모델(보호 속성을 제거한 모델)을 테스트하였다.
해석: 특성 중요도를 순위화하고 비선형성을 분석하기 위해 TreeSHAP을 사용하였다.

주요 결과

예측 가능성: STEM 회복탄력성은 설문 데이터로부터 매우 높은 예측력을 보인다. 주요 LightGBM 모델은 0.912의 AUC(95% CI: 0.909–0.914)와 우수한 교정 성능(기울기 = 0.996)을 달성하였다.
기준 성능: 체계의 기저율(base rates)만을 사용한 모델의 AUC는 0.801이었으며, 이는 지리적 요인만으로도 변량의 상당 부분을 설명할 수 있음을 나타낸다. 풀링된 모델의 내부 판별력은 평균 0.854였다.
보호 요인: 수학 자기 효능감은 모든 가능한 값과 결과 정의에 걸쳐 압도적으로 1위를 차지하며 가장 강력한 예측 변수로 나타났다. 그 외 주요 예측 변수로는 해당 사분위 내 사회경제적 심도, 가정 내 ICT 자원, 스트레스 저항력 등이 있었다.
전이 가능성: 모델은 보지 못한 체계로 전이될 때 불완전하게 작동하였다. 중앙값 홀드아웃 AUC는 0.847(범위: 0.598 ~ 0.993)로 하락하였다. 또한, 보호 요인의 계층 구조는 샘플링 노이즈 벤치마크( $\tau$ = 0.45)와 비교했을 때 보지 못한 체계에서 크게 갈라졌으며(중앙값 켄달의 $\tau$ = 0.30), 이는 보호 요인이 보편적이기보다는 맥락에 따라 달라짐을 시사한다(자기 효능감은 예외적으로 보편적이었다).
공정성 격차: 하위 그룹별 AUC는 높고 교정은 정확했으나, 오류율은 불균등했다:
- 성별: 회복탄력적인 여학생은 남학생보다 6.2 퍼센트 포인트 적게 식별되었다(TPR 59.4% vs 65.6%). 이 격차는 **속성 기반(attribute-driven)**이었다; 모델에서 성별을 제거하자 격차가 사라졌다.
- 농어촌/도시: 회복탄력적인 농촌 학생은 도시 학생보다 12.1 퍼센트 포인트 적게 식별되었다(TPR 53.9% vs 66.1%). 이 격차는 속성 블라인드 모델에서도 지속되었으며, 이는 이 격차가 **기저율 및 공변량 기반(base-rate and covariate-driven)**임을 나타내며, 특성 제거가 아닌 임계값 정책 조정을 필요로 함을 의미한다.
설계 민감도: 이 특정 응용 사례에서 가중치를 무시하거나 무작위 분할을 사용하는 것이 AUC에 미치는 영향은 미미했다. 그러나 결과 정의를 변경하는 것이 AUC와 상위 예측 요인을 변화시키는 데 가장 큰 영향을 미쳤다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장한다:

실질적 기여: 불리한 환경의 청소년의 이중 영역(dual-domain) STEM 회복탄력성에 수반되는 요인들에 대해 최초의 전 지구적이고 설계 일관적인 지도를 제공한다. 본 연구는 보편적 요인(자기 효능감)과 맥락 의존적 요인 사이의 긴장을 정량화하며, 단일한 "글로벌" 회복탄력성 계층 구조라는 개념에 도전한다.
방법론적 기여: 조사 설계(가중치, PV, 클러스터링)를 준수하고 전이 검증 및 공정성 감사를 포함하는 ILSA 데이터용 ML의 템플릿을 확립한다. 설계 지름길(가중치 무시 등)이 일부 맥락에서는 추정치에 큰 변화를 주지 않을 수 있지만, 그것이 추정 대상(estimand)을 변화시키고 데이터의 복잡한 구조를 간과하게 만든다는 점을 입증한다.
정책 및 실무: "글로벌" 모델을 지역 체계에 무비판적으로 적용하는 것에 대해 경고한다. 예측 정확도와 요인 중요도가 체계마다 크게 다를 수 있기 때문이다. 또한, 단일 임계값 스크리닝 도구가 회복탄력적인 여학생과 농촌 학생을 체계적으로 놓칠 수 있음을 강조한다. 저자는 이러한 모델이 형평성에 기여하기 위해서는 반드시 현지에서 검증되고, 하위 그룹 오류에 대한 감사를 거쳐야 하며, 인과적 증거가 아닌 상관적 증거로 해석되어야 한다고 주장한다.

본 연구는 ML이 STEM 교육의 형평성을 위해 기여할 수 있지만, 기존의 불평등을 강화하지 않으려면 엄격한 설계 일관적 추정, 전이 테스트, 그리고 공정성 감사가 필요하다고 결론짓는다.

유사한 논문