Student Dispositions and Instructional Practices as Predictors of Science Achievement: A Multilevel Analysis of PISA 2022 Data from Kosovo

기술 요약: 코소보의 과학 성취도 예측 요인으로서의 학생 성향 및 교수 학습 관행

문제 제기
본 연구는 PISA 2022 과학 점수 평균이 353.57점으로 OECD 평균보다 약 146점 낮은 코소보 교육 시스템의 지속적인 저성취 문제를 다룬다. 기존 연구들은 학생 수준의 동기 부여 요인과 학교 수준의 교수 학습 관행을 각각 별도로 조사해 왔으나, 특히 저성취 국가이자 분쟁 후 교육 환경에서 이들의 결합된 영향력을 단일한 분석 틀 내에서 분석한 연구는 드물다. 본 연구는 학생 수준의 성향적 자원(호기기심 및 창의성)과 학교 수준의 교수 학습 관행(적응형 교수법 및 피드백)이 코소보의 과학 성취도를 어느 정도 예측하는지, 그리고 학교 수준의 관행이 학생 성향과 성취도 사이의 관계를 조절하는지 규명하고자 한다.

연구 방법론
본 연구는 PISA 2022 코소보 평가 데이터를 사용하여 교차 단면적, 2수준 위계 선형 모델링(다층 모델) 설계를 채택하였다.

• 표본: 분석 표본은 100개 학교에 속한 4,891명의 학생으로 구성된다. 이 표본은 교사 데이터를 학교 수준으로 집계(학교당 최소 3명의 교사 필요)하고, 다중 대체를 통해 학생 성향 변수의 결측치를 처리한 후 추출된 전체 PISA 2022 코소보 데이터셋(229개 학교, 6,027명 학생)에서 도출되었다.
• 결과 변수: 과학 성취도는 측정 불확실성을 고려하기 위해 PISA에서 생성한 10개의 타당한 값(plausible values)을 사용하여 측정되었다.
• 예측 변수:
  • 1수준 (학생): 호기심(탐구하려는 내재적 동기)과 창의성(창의적 기회에 대한 인식), 그리고 인구통계학적 통제 변수인 사회경제적 지위(ESCS), 성별, 이주민 상태.
  • 2수준 (학교): 적응형 교수법(다양한 요구에 맞춘 교수법 조정)과 피드백 관행(피드백의 빈도 및 질)에 대한 교사 보고의 집계치.
• 분석 접근법: 모집단의 대표성을 확보하기 위해 학생 수준(W_FSTUWT)과 학교 수준(W_SCHGRNRABWT) 가중치를 모두 포함한 가중 다층 모델을 추정하기 위해 R의 Weix 패키지를 활용하였다. 결과의 타당한 값 구조를 처리하기 위해 mixPV 래퍼 함수를 사용하여 10개의 모든 타당한 값에 대해 모델을 개별적으로 추정하고 루빈의 법칙(Rubin's rules)을 사용하여 결과를 통합하였다. 회전식 부클릿 설계로 인해 발생한 호기심 및 창의성의 결측치는 예측 평균 매칭(predictive mean matching)을 이용한 mice 패키지를 사용하여 처리하였다.
• 모델 선택: 네 개의 순차적 모델이 추정되었다. 모델 선택은 이 맥락에서의 검정 통계량 풀링의 복잡성 때문에 우도비 검정(likelihood ratio tests)보다는 평균 AICbar 값을 기준으로 수행되었다.

주요 결과
최종 선정된 모델(Model 2)을 바탕으로 한 분석 결과는 다음과 같다:

• 집단 내 상관계수 (ICC): 무조건 모델(unconditional model) 결과 ICC는 .324로 나타났으며, 이는 과학 성취도 전체 분산의 32.4%가 학교 간 차이에 기인함을 의미하며, 다층 접근법의 타당성을 입증한다.
• 학생 수준 예측 변수:
  • 호기심은 과학 성취도의 가장 강력한 성향적 예측 변수였다 ($\beta = .084, p < .001$).
  • 창의성 또한 유의미한 정(+)의 효과를 보였으나 ($\beta = .046, p = .005$), 호기심보다 효과 크기가 작았다.
  • 사회경제적 지위(ESCS)와 성별(남성)은 유의미한 정(+)의 예측 변수였다. 이주민 상태는 유의미하지 않았다.
• 학교 수준 예측 변수:
  • 적응형 교수법은 모델 전체에서 가장 강력한 예측 변수로 나타났으며 ($\beta = .192, p = .005$), 학교 간 분산의 19.1%를 설명했다. 적응형 교수법이 1 표준편차 증가할 때 과학 성취도는 32.67점 상승했다.
  • 피드백 관행은 적응형 교수법을 통제한 후 유의미한 예측 변수가 아니었다 ($\beta = -.022, p = .755$).
• 교차 수준 상호작용: 학생 성향과 교수 학습 관행 간의 상호작용(호기심 $\times$ 적응형 교수법; 창의성 $\times$ 피드백)은 통계적으로 유의미하지 않았으며, 이는 호기심과 창의성의 이점이 교수 환경과 관계없이 학교 전반에 걸쳐 비교적 균일하다는 것을 시사한다.
• 설명된 분산: 최종 모델은 과학 성취도의 학교 내 분산의 2.7%, 학교 간 분산의 19.1%, 그리고 전체 분산의 8.0%를 설명하였다.

의의 및 기여
본 논문은 문헌 및 정책 담론에 세 가지 주요 기여를 한다고 주장한다:

1. 맥락적 확장: 지속적으로 저성취를 보이는 비서구적 교육 맥락에서 호기심과 창의성을 과학 성취의 유의미한 예측 변수로 확립함으로써, 주로 고성취 서구 시스템에 집중되었던 기존 연구를 확장한다.
2. 교수 학습적 레버리지: 적응형 교수법이 개인의 성향보다 학교 간 성취도 불평등을 줄이는 데 더 강력한 동력임을 확인하였다. 적응형 교수법이 학생 수준의 요인보다 훨씬 더 많은 분산을 설명한다는 결과는 교수 품질을 개선하는 것이 코소보의 체계적 개선을 위한 핵심 경로임을 시사한다.
3. 방법론적 엄밀성: 본 연구는 다층 PISA 분석에서 적절한 타당한 값 처리와 2수준 가중 적용의 방법론적 중요성을 입증한다. 저자들은 잘못된 분석 접근 방식이 ICC 추정치와 표준 오차에 상당한 차이를 초래할 수 있으며, 이는 정책 관련 추론의 정확성에 직접적인 영향을 미친다고 언급한다.

한계 및 주장의 신중함
저자들은 결론을 제한하는 몇 가지 한계점을 명시하였다:

• 인과 추론: 횡단적 설계로 인해 인과 관계를 추론할 수 없으며, 관계는 상관관계에 기초한다.
• 측정 제약: 학교 수준의 가중치는 학교 설문지가 아닌 교사 설문지 파일에서 도출되었다. 또한, 적응형 교수법과 피드백 관행 사이의 중간 정도의 상관관계($r = .65$)는 잠재적 다중공선성을 시사하며, 이는 피드백의 독립적 효과를 분리하는 것을 어렵게 만든다.
• 설명되지 않은 분산: 모델은 전체 분산의 8.0%만을 설명한다. 이전 학업 성취도, 인지 능력, 그리고 코소보의 분리 수업(split-shift) 시스템과 같이 수업 시간을 제한하는 구조적 특징과 같은 미측정 요인들이 설명되지 않은 상당 부분의 분산을 차지할 가능성이 높다.
• 일반화 가능성: 교차 수준 상호작용이 유의미하지 않은 것은 코소보 학교들의 교수 학습 관행이 상대적으로 균질하여 조절 효과를 탐지하는 능력이 제한되었기 때문일 수 있다.

따 따라서 저자들은 본 연구의 결과를 확정적인 인과 기제로 제시하기보다는 "실행 가능한 지침"과 "레버리지 포인트"를 설정하는 것으로 규정하며, 향-종단적 연구와 구조적 학교 맥락 변수의 포함 필요성을 강조하며 신중한 태도를 취하고 있다.