Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022

기술 요약: PISA 2022에서의 측정 한계적 예측 추론 (Measurement-Bounded Predictive Inference)

문제 제기
PISA와 같은 국제 대규모 평가(ILSA) 데이터를 활용하는 연구들은 학생, 가족, 학교의 특성을 성취도와 연관 짓기 위해 점점 더 유연한 예측 모델을 채택하고 있다. 그러나 세 가지 구조적 특성이 이러한 연구의 해석을 복잡하게 만들며, 종종 간과되곤 한다:

1. 관측되지 않은 성취도: 학생의 성취도는 직접 관측되는 것이 아니라 사후 분포에서 추출된 "가능한 값(plausible values, PVs)"으로 표현된다. 결과적으로, 성취도 분산의 일부는 어떤 예측 변수로도 설명할 수 없는 측정 노이즈(measurement noise)이다.
2. 클러스터 샘플링: 학생들은 학교 클러스터 내에서 샘플링된다. 무작위 학생 단위 데이터 분할은 모델이 평가 샘집에 다시 나타나는 학교 수준의 구조를 학습하게 하여, 성능 추정치를 인위적으로 부풀린다.
3. 비교 불가능한 신호: 보고된 예측 정확도와 예측 변수 순위는 학습 가능한 신호의 양이 일정하다고 가정하고 교육 체제 간에 비교되는 경우가 많으나, 이는 측정 정밀도가 도메인과 체제에 따라 다르다는 점을 간과한다.

측정 불확실성이 연관성을 약화시킨다는 원리(Spearman, 1904)와 특정 맥락(예: 뇌-행동 예측, 자동 에세이 채점)에서 도출된 노이즈 상한선은 확립되어 있으나, 이러한 요인들이 ILSA 데이터베이스 내의 다양한 도메인과 교육 체제 전반에서 도달 가능한 정확도와 예측 변수 순위의 안정성을 어떻게 지배하는지는 아직 규명되지 않았다.

방법론
본 연구는 수학, 읽기, 과학에 대해 80개 교육 체제를, 창의적 사고(creative thinking)에 대해 63개 체제를 포함하는 PISA 2022 국제 데이터베이스를 활용한다.

• 측정 정밀도 상한 ($\rho$): 저자는 모든 체제의 모든 도메인에 대해 도달 가능한 예측 성능의 상한을 추정한다. 이 상한은 학생 내에서 반복 측정된 것으로 취급된 10개의 공개된 가능한 값(PVs)의 집단 내 상관계수(ICC)로 정의된다. 이 추정량은 학생 평균의 분산이 잔여 측정 노이즈($1/M$이 아닌 0이 아님)에 의해 팽창된다는 점을 고려하여 유한 추출 보정(finite-draw correction)을 적용한다.
  $$\rho = \frac{\text{Var}(\mu)}{\text{Var}(\mu) + E(\sigma^2)}$$
  여기서 $\mu$는 사후 평균이고 $\sigma^2$은 사후 분산이다.
• 검증 아키텍처: 학교 수준의 구조가 누출되는 것을 방기하기 위해, 모든 주요 추정치는 **학교 분리형 5-겹 교차 검증(school-disjoint five-fold cross-validation)**을 사용한다. 전체 학교가 폴드(fold)에 할당되어, 특정 학교가 훈련과 평가 모두에 기여하지 않도록 보장한다. 이는 인플레이션을 정량화하기 위해 일반적인 무작위 학생 단위 분할과 대조된다.
• 모델: 동일한 폴드에 대해 두 모델을 병렬로 적합시켰다: 가중 리지 회귀(선형 베이스라인)와 가중 히스토그램 기반 그래디언트 부스팅 회귀 모델이다. 비교 가능성을 확보하기 위해 하이퍼파라미터는 모든 체제와 도메인에 대해 고정되었다.
• 안정성 분석: 파이프라인은 10개의 가능한 값 각각에 대해 한 번씩 재적합되었다. 예측 변수의 중요도는 가중 순열 중요도(weighted permutation importance)를 통해 평가되었다. 안정성은 10번의 재적합에 대한 평균 쌍 켄달 순위 상관계수(mean pairwise Kendall rank correlation)와 상위 5개 예측 변수의 자카드 겹침(Jaccard overlap)을 사용하여 측정되었다.
• 불안정성의 귀인: 측정 노이즈와 순열 중요도 추정기 자체에 의한 불안정성을 구분하기 위해, 저자는 세 가지 조건을 비교하는 영 가설 설계(null design)를 사용했다: (1) 고정된 추정기 시드 내에서 변하는 PVs, (2) 변하는 추정기 시드 내에서 고정된 PV, (3) 둘 다 고정된 경우.
• 쌍을 이룬 체제 내 설계: 측정 정밀도의 효과를 격리하기 위해, 본 연구는 학생, 학교, 예측 변수 및 폴드를 동일하게 유지하면서 도메인을 체제 내에서 쌍으로 묶었다. 오직 측정된 구성 개념(및 그에 따른 $\rho$)만이 변화하였다.

주요 기여

1. 개인 수준 정밀도의 추정: 본 연구는 모든 참여 체제의 모든 도메인에 대해 개별적인 측정 정밀도 상한($\rho$)을 제공하며, 이 개인 수준 통계량이 발표된 집단 통계적 신뢰도와는 구별됨을 입증한다(상관계수 $r=0.195$로 약하게 상관됨).
2. 비비교성 입증: 저자는 $\rho$가 체제와 도메인 간에 유의미하게 변하며(0.654에서 0.933 사이), 동일한 학생 내에서도 도메인 간 상관관계가 낮음을 보여준다. 따라서 측정 상한을 참조하지 않고는 도메인이나 체제 간에 원시 예측 성능을 비교할 수 없다.
3. 단계적 관계: 쌍을 이룬 설계를 통해, 본 연구는 도달 가능한 정확도와 예측 변수 순위의 안정성 모두가 측정 상한에 따라 단계적으로 규모가 변함을 입증한다. 두 도메인 간의 상한 차이가 0에 가까워질수록, 하위 성능과 순위 안정성의 차이도 0에 가까워진다.
4. 분할 인플레이션의 정량화: 본 연구는 클러스터링된 데이터에서 무작위 학생 단위 분할이 초래하는 성능 인플레이션을 정량화하며, 샘플링된 학교의 수가 성능 인플레이션을 결정하는 매개변수임을 밝힌다.

결과

• 상한 변동성: 측정 정밀도 상한은 창의적 사고(0.6540.894), 읽기(0.7660.915), 과학(0.7900.916), 수학(0.8110.933) 순으로 나타났다. 수학(0.900) > 과학(0.871) > 읽기(0.857) > 창의적 사고(0.802) 순으로 중앙값 상한이 형성되었다.
• 직교성: 창의적 사고와 수학 모두를 평가한 63개 체제 내에서 상한은 약하게 상관되었다($r=0.148$). 이는 한 도메인의 측정 품질이 다른 도메인의 품질을 잘 가이드하지 못함을 의미한다.
• 도달 가능한 정확도: 외곽 폴드 $R^2$(out-of-fold $R^2$)는 모든 도메인에서 $\rho$와 양의 상관관계를 보였다. 쌍 분석에서 상한의 차이($\Delta\rho$)가 클수록 $R^2$, 순위 안정성(Kendall's $\tau$), 예측 변수 목록의 겹침(Jaccard)의 차이도 컸다. 가장 큰 차이(수학 vs 창의적 사고, $\Delta\rho \approx 0.088$)에서 $R^2$의 차이는 매우 유의미했다($p < 10^{-10}$). 가장 작은 차이(과학 vs 읽기, $\Delta\rho \approx 0.008$)에서는 차이가 거의 없었으며 흔히 비유의적이었다.
• 순위 불안정성: 가장 정밀도가 낮은 도메인(창의적 사고)의 경우, 동일한 데이터의 서로 다른 가능한 값 사이에서 상위 5개 예측 변수 목록 중 40% 이상이 변경되었다. 이러한 불안정성은 순열 추정기 자체가 아닌 측정 노이즈에 기인한 것임이 확인되었다.
• 분할 인플레이션: 무작위 학생 단위 분할은 606개 분석 중 604개에서 성능을 부풀렸다. 인플레이션의 크기는 샘플링된 학교 수에 의해 결정되었다(Spearman $r \approx -0.4$). 극단적인 경우, $R^2$가 0.002(학교 분리형)에서 0.361(무작위 분할)로 폭등하는 사례도 있었다.
• 탐색적 발견: 측정 정밀도(노이즈 대비 신호 비율)는 평가받는 학생 수가 많아질수록 감소하는 경향을 보였는데, 특히 개방형 응답의 인간 코딩이 필요한 도메인(창의적 사고)에서 그러했다. 다만, 이 관계는 대규모 체제와 일반적인 체제 간의 대비에 의해 주도된 측면이 있다.

의의 및 주장
본 논문은 ILSA 데이터베이스로부터의 예측 성능은 측정 상한을 참조하지 않고서는 도메인이나 체제 간에 비교될 수 없다고 주장한다. 상한이 0.65인 체제에서 $R^2=0.45$를 달성한 모델은 상한이 0.93인 체제에서 동일한 $R^2$를 달성한 모델보다 훨씬 더 많은 신호를 포착한 것이다.

저자는 다음과 같이 주장한다:

1. 단일 가능한 값으로부터의 예측 변수 순위는 넓은 분포의 단지 하나의 실현(realization)일 뿐이다. 정밀도가 낮은 도메인에서 단일 순위는 불안정하며, 상위 예측 변수의 상당 부분이 가능한 값들 사이에서 바뀐다.
2. "노이즈 상한"은 평가 설계 및 운영 실행의 지배적 속성이지 상수가 아니다. 이는 도달 가능한 최대 정확도와 설명 변수의 안정성을 모두 결정한다.
3. 두 가지 상반된 편향이 존재한다: 측정 노이즈는 도달 가능한 성능을 저하시키는 반면, 배경 변수를 조건화한 가능한 값들은 겉보기 연관성을 부풀린다. 현재 응용 문헌에서는 이 두 가지가 모두 인지되지 않고 있다.

실무적 권고
저자는 연구자들을 위해 두 가지 완만하고 저비용인 조정을 제안한다:

1. 상한을 보고하라: 예측 성능 지표와 함께 해당 도 o메인 및 체제에 대한 측정 정밀도 상한($\rho$)을 보고해야 한다. 성능은 이 상한의 비율($R^2/\rho$)로 표현되어야 유효한 체제 간 비교가 가능하다.
2. 안정성 통계치를 보고하라: 예측 변수 순위를 보고할 때, 연구자들은 모든 가능한 값에 대해 모델을 적합시키고 순위 상관계수나 자카드 겹침과 같은 안정성 통계치를 순위와 함께 보고해야 한다. 단일 추출값으로부터 얻은 단일 순위는 중요한 예측 변수의 분포를 특징짓기에 불충분하다.

본 논문은 분석 역량이 모든 곳에서 균일하지 않음을 결론짓는다. 측정이 덜 정밀한 곳에서는 더 적게 배울 수 있고, 결론 또한 덜 안정적이다. 정밀도는 설계 및 운영의 속성이므로, 평가 프로그램이 잠재적으로 개선할 수 있는 변수이다.