Instructional Quality and PISA Mathematics Trajectories, 2012–2022: Frequentist and Bayesian Conditional Latent Growth Curve Analysis

기술 요약: 교수 학습의 질과 PISA 수학 성취도 궤적, 2012–2022

문제 제기
본 연구는 "지식 경제" 프레임워크와 교육 정책에 관한 두 가지 구별되면서도 분석적으로 연결된 질문을 다룬다. 첫째, 교육의 질, 연구개발(R&D) 투자, 노동 시장 참여라는 국가적 개선이 시간이 흐름에 따라 상호 강화된다는 "공동 움직임 가설(co-movement hypothesis)"의 타당성을 조사한다. 횡단적 데이터에서는 이들 축(pillar) 사이의 상관관계가 일관되게 나타나지만, 한 축에서 개선된 국가가 다른 축에서도 동시에 개선되는지를 종단적으로 검증한 연구는 미비하다. 둘째, 본 연구는 교수 학습의 질(구체적으로 교사 지원 및 훈육 환경)에 대한 국가적 추세가 10년간의 학생 학습 성과(PISA 수학 점수) 궤적을 예측하는지 조사한다. 이는 교수 학습의 질과 성취도 사이의 주기 내(within-cycle) 연관성은 잘 문서화되어 있으나, 국가 수준에서 주기 간(across cycles) 예측력이 존재하는지는 알려지지 않았다는 문헌상의 공백을 메우고자 한다.

연구 방법론
본 연구는 52개국을 대상으로 4번의 PISA 주기(2012, 2015, 2018, 2022) 데이터를 사용하는 이차적 국가 간 종단 설계(secondary cross-national longitudinal design)를 채택하였다.

• 데이터 출처: 본 연구는 PISA 수학 점수(learningtower R 패키지 활용), 세계은행 개발 지표(GDP 대비 R&D 지출 비율), 그리고 ILO ILOSTAT 데이터(생산 가능 연령 인구 대비 고용 비율)를 통합하였다. 교수 학습의 질 변수인 교사 지원 지수(TEACHSUP)와 훈육 환경 지수(DISCLIM)는 PISA 학생 설문지를 통해 도출되었다.
• 표준화: 모든 결과 변수는 2012년 웨이브를 기준으로 z-점수 표준화를 수행하였다. 시간은 2012년 이후의 미터법적 연도로 코딩되었다.
• 분석 프레임워크:
  • 주 분석: PISA 수학, R&D, 고용의 성장 파라미터를 동시에 추정하기 위해 brms와 rstan을 이용한 베이지안 병렬 잠재 성장 곡선 모델(Latent Growth Curve Model, LGCM)을 구현하였다. 이 접근 방식은 도메인 간 절편 및 기울기 상관관계를 추정할 수 있게 한다. 소규모 클러스터 크기(N=52개국)에 따른 추정치의 정규화를 위해 약한 정보적 사전 분포(weakly informative priors)를 사용하였다.
  • 조건부 분석: 교수 학습의 질 변수(2012년 TEACHSUP 수준, 2012–2022년 TEACHSUP 변화량, 2022년 DISCLIM)가 PISA 수학 변화율을 조절하는지 테스트하기 위해 일련의 조건부 성장 모델(빈도주의 혼합 효과 모델(lme4) 및 베이지안 대응 모델(brms))을 실시하였다.
• 진단: 수렴 여부는 $\hat{R}$ 통계량과 유효 표본 크기를 통해 평가하였다. 모델 적합도는 LOO-CV(베이지안) 및 AIC(빈도주의)를 통해 평가하였다.

주요 결과

1. 발산하는 궤적과 디커플링(Decoupling): 세 영역의 모집단 평균 기울기는 유의미하게 발산하였다. PISA 수학 점수는 하락한 반면($\beta = -0.025$/년), R&D 지출($\beta = +0.020$/년)과 생산 가능 연령 고용($\beta = +0.064$/년)은 증가하였다.
2. 공동 움직임의 부재: 도메인 간 절편 상관관계는 양(+)의 값을 가지며 신뢰할 수 있는 수준이었으나(고성과 국가들이 모든 영역에서 높은 수준에서 시작함을 의미), 모든 도메인 간 기울기 상관관계는 0에 가깝고 신뢰할 수 없는 수준이었다. 이는 지난 10년 동안 교육, R&D, 고용의 성장률이 독립적으로 진화했음을 나타내며, "공동 움직임 가설"보다는 "디커플링(탈동조화) 가설"을 뒷받침한다.
3. 교수 학습의 질 예측 요인: 조건부 모델 분석 결과, 2012년의 교사 지원 수준, 10년간의 교사 지원 변화량, 또는 2022년의 훈육 환경 모두 PISA 수학 변화율을 유의미하게 조절하지 못했다. 상호작용 항은 작았으며($\beta$ 범위: 0.003–0.006), 95% 신뢰/신용 구간이 0을 통과하였다.
4. 터키 사례: 터키는 독특한 프로필을 보여주는 사례로 제시되었다. 터키는 표본 내에서 가장 큰 폭의 인지된 교사 지원 감소를 경험했음에도 불구하고, PISA 수학 점수가 유의미하게 향상(+32.51점)되었다. 이는 국가 수준에서 PISA 궤적이 교사 지원 추세와 독립적임을 더욱 강조한다.

주요 기여

• 방법론적 기여: 본 연구는 국가 간 지식 경제의 공동 움직임을 모델링하는 데 있어 베이지안 병렬 LGCM의 유용성을 입증하였다. 또한, 소규모 클러스터 구조 방정식 모델에서 흔히 발생하는 수렴 실패 및 경계 추정 문제에 대해 약한 정보적 사전 분포를 사용한 베이지안 추정이 어떻게 강건성을 제공하는지 보여준다.
• 실증적 기여: 본 연구는 지식 경제의 핵심 축(pillar) 가설에 대한 최초의 종단적 테스트를 제공하며, 이 축들이 횡단적으로는 군집을 이루지만 종단적으로는 디커플링된다는 점을 발견하였다. 이는 이러한 축들을 결합한 종합 지수가 국가 발전 궤적의 유효한 요약 정보를 제공한다는 가정을 반박한다.
• 재현성: 저자들은 PISA, 세계은행, ILO 데이터를 통합한 분석 스크립트와 처리된 데이터셋을 포함하여 완전히 재현 가능한 파이프라인을 제공한다.

의의 및 주장
본 논문은 지식 경제의 핵심 축들이 갖는 구조적 독립성이 종합 순위(예: 글로벌 경쟁력 지수)가 정책 설계에 중요한 시간적 이질성을 은폐할 수 있음을 시사한다고 주장한다. 정책 입안자들이 종합 지수에 의존할 경우, 한 국가가 특정 영역(예: R&D)에서는 개선되면서도 다른 영역(예: 교육)에서는 정체되거나 하락할 수 있다는 사실을 놓칠 수 있다.

교수 학습의 질과 관련하여, 본 연구는 학생이 인지하는 교사 지원의 국가적 추세가 10년간의 PISA 궤적을 예측하지 못한다고 결론 내린다. 저자들은 이러한 무효 결과(null finding)의 원인을 다음과 같이 설명한다:

1. 시간적 불일치: TEACHSUP은 현재 교사에 대한 특정 코호트의 인식을 측정하므로, 서로 다른 코호트의 10년 단위 결과 추세와 일치하지 않는다.
2. 참조 집단 효과: 고성과 시스템일수록 교사를 낮게 평가하는 학생들이 많아, 부정적인 횡단적 상관관계를 만들어 종단적 해석을 복잡하게 만든다.
3. 집계 편향: 국가 수준의 평균치는 교수 학습의 효과가 실제로 작동하는 국가 내 변동성을 가릴 수 있다.

본 연구는 교육 프로그램 개발자들에게 PISA의 교사 지원 추세 데이터를 시스템 전체의 교수 학습 질 개혁에 대한 직접적인 대리 지표로 사용하는 것에 대해 주의를 촉구한다. 즉, 인지된 지원의 감소가 반드시 교수 학습의 질 저하나 개혁의 실패를 의미하는 것은 아니다. 대신, 본 연구의 결과는 교육, 연구, 고용을 관장하는 정책 레버들이 서로 다른 시간 척도와 별개의 제도적 경로를 통해 작동하고 있음을 시사한다.