📄 social_science

From Assessment to Action: An Evidence-To-Reform Translation Framework applied to PISA 2022 data from Uzbekistan

본 연구는 우즈베키스탄의 PISA 2022 데이터를 적용하여 교사 자격 및 학교 분위기와 같은 주요 학교 수준의 제약 요인을 식별하고, 이러한 조사 결과를 우선순위가 지정되고 모니터링되는 개혁 전략으로 전환함으로써 평가 데이터와 정책 실행 사이의 간극을 메우기 위한 증거-개혁 전환 프레임워크(ERTF)를 소개한다.

원저자: Indira Khadjieva

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Indira Khadjieva

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

교육을 전 세계적인 거대 과학 박람회라고 상상해 보십시오. 각국은 학생들이 배운 것을 뽐내기 위해 학생들을 데려옵니다. 수십 년 동안 심사위원들은 정부에게 학생들이 어디에서 어려움을 겪고 있는지 정확히 알려주는 상세한 점수가 담긴 성적표를 전달해 왔습니다. 하지만 여기에 까다로운 문제가 있습니다. 문제를 알고 있다는 것은 쉽지만, 그것을 해결하는 것은 어렵다는 점입니다. 이는 마치 자동차 엔진에서 이상한 소리가 난다는 말을 듣는 것과 같습니다. 무언가 잘못되었다는 것은 알지만, 매뉴얼은 엔진 오일을 점검해야 할지, 스파크 플러로를 확인해야 할지, 아니면 타이어를 점검해야 할지, 혹은 차를 다시 잘 달리게 하기 위해 무엇을 먼저 고쳐야 하는지는 알려주지 않습니다. 이 논문은 바로 그 '아는 것과 실행하는 것' 사이의 간극을 다룹니다. 이 논문은 차갑고 딱딱한 시험 점수를 국가의 학교들을 위한 명확하고 단계적인 수리 매뉴얼로 바꾸는 새로운 방법을 소개하며, 이를 통해 투입된 돈과 노력이 단순히 외관을 닦는 것이 아니라 실제로 엔진을 고치는 데 쓰이도록 보장합니다.

이 연구는 최근 2022년 글로벌 "국제 학생 평가 프로그램(PISA)"에서 첫 번째 큰 시험을 치른 우즈베키스탄에 초점을 맞추고 있습니다. 연구진은 단순히 최종 점수만을 본 것이 아니라, **증거 기반 개혁 번역 프레임워크(Evidence-to-Reform Translation Translation Framework, ERTF)**라는 특별한 의사결정 도구를 구축했습니다. 이 프레임워크를 고성능 필터라고 생각하십시오. 이 필터는 테스트의 방대한 데이터를 가져와 일련의 검토 과정을 거쳐, 어떤 문제가 실제 문제인지, 어떤 문제가 정부에 의해 실제로 해결될 수 있는지, 그리고 어떤 문제가 가장 어려움을 겪는 학생들에게 도움이 될지를 판별합니다.

연구진이 이 필터를 우즈베키스탄의 수학 점수에 적용했을 때, 몇 가지 놀라운 사실을 발견했습니다. 첫째, 학생 점수의 차이 중 약 **22.9%**는 학생의 가정 환경이 아닌 학교 자체에서 기인했다는 것을 발견했습니다. 이는 학교 환경이 매우 중요한 퍼즐 조각임을 의미합니다. 가장 큰 문제는 무엇이었을까요? 바로 부적절한 자격을 갖춘 교직원이었습니다. 교사들이 준비되어 있지 않다고 교장들이 답한 학교들의 수학 점수는 교사들이 준비된 학교보다 약 11.42점 낮았습니다. 하지만 여기서 반전이 있습니다. 이 문제는 농촌 학교에서는 거의 보이지 않았지만, 도시 학교에서는 그 불이익이 약 4배 더 크게 나타나는 등 도시 학교에서 매우 심각한 문제였습니다.

논문은 또한 다양한 유형의 학생들이 어떻게 영향을 받는지도 살펴보았습니다. 교사가 경청하고 학생들이 소속감을 느끼는 지원적인 학교 분위기는 마치 안전망과 같습니다. 이는 상위권 학생들보다 어려움을 겪는 학생들(가장 '취약한' 학생들)을 훨씬 더 많이 끌어올려 줍니다. 실제로 최하위권 학생들에게 있어 교사의 지원과 소속감은 그들이 따라잡을 수 있게 돕는 가장 강력한 도구입니다. 반대로, 가족의 부(사회경제적 지위)는 이미 잘하고 있는 학생들을 더욱 높이 밀어 올리는 역할을 합니다.

이 논문에서 가장 중요하게 배제한 것 중 하나는 단순히 '자격증을 가진' 교사를 보유하는 것이 마법 같은 해결책이라는 생각입니다. 데이터에 따르면 교사가 자격증을 가지고 있다는 사실은 학생들의 점수 향상을 예측하지 못했습니다. 사실, 이 부분에 대한 데이터 수집 방식이 너무나 엉망이었기 때문에 연구진은 분석에서 해당 질문을 아예 제외해야 했습니다. 또한, 농촌 학교가 도시 학교보다 단순히 "더 나쁘다"는 일반적인 믿음은 근거 없는 것임을 밝혀냈습니다. 농촌 학생들의 열악한 환경을 고려하고 나니, 성적 격차는 사라졌습니다. 문제는 학교가 아니라 학생들의 환경이었습니다.

그렇다면 시스템을 고치기 위해 무엇을 해야 할까요? 논문은 모든 것을 한꺼번에 고치려고 노력하는 대신, 우즈베키스탄이 두 가지 핵심 사항에 집중해야 한다고 제안합니다. 첫째, 교사 양성을 개선해야 하지만, 교사의 자격 부족이 학생들에게 가장 큰 피해를 주고 있는 도시 지역부터 시작해야 합니다. 둘째, 학교를 환영받는 장소로 만드는 데 투자해야 합니다. 이것이 현재 뒤처지고 있는 학생들을 돕는 가장 빠른 방법이기 때문입니다. 연구진은 또한 향방을 추적하기 위해 9가지 구체적인 목표를 담은 "모니터링 대시보드"를 구축하여, 개혁이 단순히 선반 위에 놓여 있는 것이 아니라 실제로 효과를 거둘 수 있도록 했습니다.

요약하자면, 이 논문은 교육을 고치기 위해 수정구슬이 필요한 것이 아니라, 좋은 지도가 필요하다는 것을 증명합니다. 스마트하고 단계적인 프레임워크를 사용함으로써, 정부는 추측을 멈추고 증거에 기반하여 행동할 수 있으며, 모든 비용 지출이 가장 도움이 필요한 학생들에게 전달되도록 보장할 수 있습니다.

기술 요약: 평가에서 실행으로: 우즈베키스탄의 PISA 2022 데이터를 적용한 증거 기반 개혁 전환 프레임워크

문제 제기
국제 대규모 학습 평가(PISA 등)는 학생 성취의 결정 요인에 관한 광범위한 실증적 증거를 생성해 왔다. 그러나 지속적인 "증거-실행(evidence-to-action)" 간극이 존재한다. 정부는 교사 질, 학교 분위기, 사회경제적 불평등에 관한 통계적 결과물을 보유하고 있음에도 불구하고, 이러한 발견을 우선순위가 정해지고 실행 가능하며 지속적으로 모니터링할 수 있는 개혁 전략으로 전환하는 구조화된 방법론이 부족하다. 이러한 과제는 우즈베키스탄과 같이 PISA에 처음 참여하는 저중소득 국가들에게 더욱 절실하며, 이들은 기존의 제도적 제약 및 예산 주기 내에서 생소한 데이터를 해석해야 하는 상황에 놓여 있다. 본 논문은 식별된 여러 결정 요인 중 어떤 것에 정책적 우선순위를 부여할 것인지, 그리고 그 우선순위를 어떻게 측정 가능한 지표로 표현할 것인지에 대한 구체적인 어려움을 다룬다.

방법론
본 연구는 고급 계량 경제 분석과 구조화된 정책 전환 과정을 결합한 순차적 설명 설계(sequential explanatory design)를 채택한다.

데이터 출처: 분석에는 우즈베키스탄의 첫 참여 데이터인 PISA 2022 데이터를 활용한다. 분석 샘형은 모든 모델 변수에 대해 완전한 데이터 가용성을 기준으로 선택된 196개 학교의 학생 4,851명(전체 국가 표본 7,293명의 부분 집합)이다.
계량 경제 모델:
- 위계 선형 모델링 (HLM): 학생이 학교 내에 중첩된 구조를 고려하기 위해 2수준 HLM을 사용하였다. 연구는 먼저 내집단 상관계수(ICC)를 계산하기 위해 영 모델(null model)을 추정하였다. 이후 모델에는 학생 수준 예측 변수(ESCS, 성별, 자기 효능감, 교사 지원, 소속감, 훈육 분위기)와 학교 수준 예측 변수(교직원 자격, 인력 부족, 자격 인증, 위치, 학생-교사 비율, 학교 평균 ESCS)가 포함되었다.
- 분위 회귀 (Quantile Regression): 결정 요인의 효과가 성취도 분포에 따라 달라지는지 조사하기 위해 5개의 조건부 분위수(10, 25, 50, 75, 90번째)에서 동시 분위 회귀(100회 부트스트랩 반복을 사용한 sqreg)를 적용하였다.
- 강건성 검정: 수학 성취도의 10가지 가능한 값 전체에 대해 분석을 수행하였다. 또한 읽기 및 과학 결과를 대체하고, 표본 확장을 위해 자기 효능감을 제외하며, 다중공선성을 확인하는 방식으로 강건성을 추가 테스트하였다.
증거-개혁 전환 프레임워크 (ERTF): 핵심적인 방법론적 기여는 7단계의 의사결정 지원 프로세스인 ERTF이다:
1. 증거 생성 및 계량 경제 분석.
2. 증거 평가: 발견된 결과는 타당성 검증(변수가 의도한 개념을 측정하는지 확인)을 거치며, 통계적 강건성(가능한 값 및 모델 간의 일관성), 효과 크기, 형평성 관련성(소외 계층 학생에게 미치는 이점), 구현 가능성이라는 네 가지 기준에 따라 평가된다.
3. 정책 우선순위 설정.
4. 개혁 설계.

모니터링 체계 구축 (지표, 기준선, 목표 정의).
1. 적응적 정책 학습 (미래의 평가 주기를 사용하여 정책 수정).

주요 결과

학교 수준 분산: 영 모델의 ICC는 0.229로 나타났으며, 이는 수학 성취도 분산의 약 23%가 학교 간 차이에 기인함을 의미한다. 이는 학교 수준의 조건이 중요한, 실행 가능한 결정 요인임을 확인시켜 준다.
교사 자격: "부적절한 자격을 갖춘 교직원"(자격 요건이 수업을 저해하는지에 대한 교장 보고 척도)이 주요한 학교 수준의 제약 요인으로 나타났다. 이는 성취도 저하와 유의미한 상관관계가 있었으며( $\beta = -11.42$ , 10개 가능한 값 중 8개에서 유의함), 결정적으로 도시 지역 학교에서의 페널티( $\beta = -19.57$ )가 농촌 지역 학교( $\beta$ 는 통계적으로 검출되지 않음)보다 약 4배 더 크게 나타났다.
교사 자격 인증: 공식적인 교사 자격 인증률은 어떤 명세에서도 성취도와 유의미한 연관성을 보이지 않았다. 연구는 해당 인증 변수가 양봉 분포(학교들이 0% 또는 100% 인증에 밀집됨)로 인해 타당성 검증을 통과하지 못했음을 지적하며, 이는 효과의 부재라기보다 교장들의 일관되지 않은 해석 문제임을 시사한다.
학교 분위기 및 형평성: 분위 회귀 분석 결과, 교사 지원과 소속감이 성취도에 미치는 가장 큰 정(+)의 상관관계는 성취도가 낮은 학생들(낮은 분위수)에게서 나타났다. 반면, 사회경제적 격차는 상위 분포로 갈수록 가팔라지는데, 이는 가족 배경이 하위권 학생보다 상위권 학생을 구분 짓는 데 더 큰 영향을 미침을 의미한다.
농촌-도시 격차: 학교 수준의 평균 사회경제적 구성 요인을 통제하자, 겉으로 드러났던 농촌의 성취도 결핍( $\beta = -13.52$ )은 완전히 사라졌다( $\beta = -1.21$ , 유의하지 않음). 즉, 농촌 격차는 제도적 문제가 아니라 구성적 문제(열악한 학생 유입에 기인)이다.
인력 부족: 직관과는 달리, 인력 부족과 학생-교사 비율은 다수준 모델에서 성취도의 유의미한 예측 변수가 아니었다.

주요 기여

방법론적 혁신 (ERTF): 본 논문은 통계적 증거를 개혁 우선순위로 전환하기 위한 구조화된 프레임워크를 도입한다. 광범적인 권고로 끝나는 일반적인 PISA 연구와 달리, ERTF는 증거를 정책적 지위로 격상시키기 전 강건성, 규모, 형평성, 실행 가능성 기준에 따라 명시적으로 평가한다.
우즈베키스탄에 대한 실증적 특수성: 본 연구는 조성 통제(compositional controls)를 포함하여 우즈베키스탄의 PISA 2022 데이터를 HLM과 분위 회귀를 결 결합하여 분석한 최초의 연구이다. 이는 교사 수량이나 공식 인증이 아닌, '교사 자격의 적절성'이 핵심적인 제약 요인임을 식별해 냈다.
개혁의 운영화: 본 연구는 실증적 발견을 PISA 2022 기준선과 2030 목표를 포함한 구체적인 "9개 지표 모니터링 체계"로 전환한다. 또한, 새로운 제도를 제안하기보다 기존의 입법 도구(예: 대통령령 제 DP-79호)와 이러한 우선순위를 정렬시킨다.
타당성 스크리닝: 프레임워크에 포함된 "타당성 게이트"는 교사 자격 인증 척도를 현재 형태로는 사용할 수 없음을 식별하였으며, 이를 통해 측정 실패를 단순한 통계적 무효 결과가 아닌, 지표 재구축이라는 구체적인 개혁 우선순위로 전환하였다.

의의 및 주장
본 논문은 세 가지 학술 영역에 기여한다고 주장한다:

교육 효과성 연구: 결정 요인의 식별을 넘어, 그 발견을 개혁 우선순위로 전환하는 방법론까지 확장함으로써 기여한다.
증거 기반 거버넌스: 임의적인 전문가 판단에 대한 의존도를 낮추는 투명하고 재현 가능한 의사결정 절차를 제공한다. 이는 "무엇이 중요한지 아는 것"과 "무엇을 해야 할지 아는 것" 사이의 간극을 메운다.
실행 과학: 적응적 학습과 모니터링을 개혁 주기의 구조적 구성 요소로 포함함으로써, 평가를 단순한 최종 장이 아닌 지속적 개선의 엔진으로 위치시킨다.

본 연구는 ERTF가 다른 맥락(TIMSS, PIRLS, 국가 단위 평가)에도 전이 가능하다고 결론지으며, 우즈베키스탄을 위한 최대의 개혁 수익은 새로운 이니셔티브를 도입하는 것이 아니라 기존의 명령(특히 도시 지역 교사 자격 및 저성취 학생을 위한 학교 분위기 강화)을 심화하여 이행하는 데 있다고 본다. 본 논문은 횡단적 설계로 인해 인과 관계를 주장할 수 없으며, 분석 샘플에서 최하위 학생들을 제외했기에 형평성 관련 결과가 보수적인 추정치임을 겸허히 밝히고 있다.

유사한 논문