Propensity score adjustment when errors in achievement measures inform treatment assignment

기술 요약: 성취도 측정의 오차가 처치 할당에 영향을 미치는 경우의 성향 점수 조정

문제 제기
본 논문은 특정 인구통계학적 하위 집단의 성취도 격차에 의해 처치 할당이 결정되는 텍사스 추가 수업 일수(ADSY) 이니셔티브와 같은 학교 단위 개입을 평가할 때 발생하는 구체적인 과제를 다룹로다. 많은 학교에서 이러한 하위 집단(예: 특정 인종/민족 그룹)은 규모가 작아, 연말 시험 점수가 학생들의 '진정한' 평균 점수를 나타내는 노이즈가 섞인 측정치가 되는 경우가 많습니다.

고전 검사 이론(Classical Test Theory)에 따르면, 관측된 점수($W$)는 진정한 점수($X$)와 무작위 오차($\epsilon$)의 합입니다. 처치 할당 메커니즘($T$)은 관측된 점수($W$)에 의해 결정되지만, 저자들은 타당한 인과 추론을 위해서는 성향 점수(PS)가 이상적으로는 관측된 점수가 아닌 관측되지 않은 진정한 점수($X$)를 기준으로 균형을 이루어야 한다고 주장합니다. 관측된 점수($W$)를 이용한 표준 성향 점수 추정은 측정 오차가 '차별적(differential)'일 때, 즉 $W$와 $T$가 $X$를 조건으로 독립적이지 않을 때 진정한 점수($X$)에 대한 균형을 맞추는 데 실패합니다. 이는 할당 메커니즘이 단순히 $X$가 아니라 노이즈가 섞인 $W$에 명시적으로 반응하기 때문에 발생합니다. 또한, 공공 보고 기준에 따라 매우 작은 집단의 평균값은 공개되지 않는데, 이는 해당 학교들에 대한 표준 성향 점수 추정을 방해하는 결측 데이터 문제를 야기합니다.

방법론
저자들은 관측된 점수($W$)가 아닌 하위 집단 평균 진정한 점수($X$)를 기준으로 균형을 맞추는 두 가지 성향 점수 추정 방법을 제안하며, 이를 위해 주 교육 기관에서 제공하는 외부 측정 오차 분산 추정치(조건부 표준 측정 오차, CSEM)를 활용합니다.

1. 회귀 교정(Regression Calibration, RC) 성향 점수:

   • 이 접근법은 오류가 있는 관측 점수($W$)를 경험적 베이즈(Empirical Bayes, EB) 예측치인 진정한 점수($\hat{X}$)로 대체합니다.
   • EB 예측치는 학교 간 변동성과 학교 내 하위 집단 간 변동성을 모두 고려하는 2단계 위계 선형 모델(HLM)로부터 도출됩니다.
   • HLM에서 무작위 효과를 식별하는 데 있어 외부 추정치인 측정 오차 분산($\Sigma_i$)이 핵심적인 역할을 합니다.
   • 이후 성향 점수 모델은 예측된 진정한 점수($\hat{X}$)와 오류가 없는 기타 공변량($Z$)에 대한 로지스틱 회귀 분석이 됩니다.

2. 최대 우도(Maximum Likelihood, ML) 성향 점수:

   • 이 접근법은 진정한 점수($X$)와 오류가 없는 공변량($Z$)을 조건으로 처치 할당($T$)과 관측 점수($W$)를 결합하여 모델링합니다.
   • 저자들은 $W$가 $X$가 $T$에 미치는 전체 효과를 포착한다고 가정하며($T \perp W | X, Z$), 즉 $W$가 '약한 대리 변수(weak surrogate)' 역할을 한다는 점을 인정합니다.
   • 목표 성향 점수인 $e(X, Z)$는 $T$와 $W$의 결합 분포에서 $W$를 적분하여 제거함으로써 얻어집니다.
   • 결과적인 적분(로지스틱-정규 적분)은 해석적으로 다루기 어렵기 때문에, 저자들은 적분을 정규 분포 함수의 위치-척도 혼합(location-scale mixture)으로 나타내는 Monahan 및 Stefanski(1992)의 빠른 근사법을 사용합니다.
   • 이 방법은 노이즈를 주변화(marginalizing)함으로써 $X$와 $Z$에 대해서만 조건화되는 성향 점수 추정치를 산출합니다.

주요 결과
저자들은 시뮬레이션 연구와 텍사스 ADSY 이니셔티브에 대한 적용을 통해 이 방법들을 평가했습니다.

• 시뮬레이션 연구:

  • 중첩(Overlap) 및 매칭: ML 및 RC 방법은 '나이브(naive)' 접근법(관측 점수 $W$에 대한 표준 로지스틱 회귀)에 비해 처치 집단과 통제 집단 사이의 중첩을 유의미하게 개선했습니다. 높은 측정 오차가 발생하기 쉬운 작은 하위 집단이 있는 시나리오에서, 나이브 접근법은 매칭 실패(양성성 위반)로 인해 분석에서 최대 21%의 처치 학교를 제외했으나, ML 접근법은 단 2%만을 제외했습니다.
  • 균형(Balance): ML 및 RC 추정치로 매칭했을 때, 나이브 추정치로 매칭했을 때보다 진정한 하위 집단 점수($X$)에 대해 더 나은 균형을 보였습니다.
  • 추정 오차: 결과적인 효과 추정치(처치 효과 평균, ATE been the treated)는 ML 또는 RC 성향 점수를 사용할 때 더 낮은 평균 제곱근 오차(RMSE)를 보였습니다. 특히 ML 추정치는 유리한 트레이드오프를 보여주었습니다. 특정 이질적 오차 시나리오에서는 약간의 편향(bias)을 보였으나, 분산(variance)을 상당히 낮춤으로써 전반적으로 우수한 RMSE를 달과냈습니다.

• 텍사스 ADSY 적용:

  • 이 방법들은 하위 집단 평균이 공개되지 않는 공립학교 데이터를 대상으로 적용되었습니다.
  • 나이브 접근법과 달리, RC 및 ML 방법은 결측 데이터를 임퓨테이션(imputation)할 필요 없이 EB 예측치와 오차 분산 추정치만을 사용하여 결측 데이터가 있는 학교에 대해서도 성향 점수 추정치를 생성할 수 있었습니다.
  • ML 성향 점수로 매칭했을 때 세 방법 중 진정한 점수에 대해 가장 좋은 균형(가장 낮은 평균 표준화 차이)을 달성했습니다.
  • 성향 점수 모델에 사용되지 않은 하위 집단(아시아계 및 백인 학생)에 대한 2019년 점수 플라세보 테스트 결과, 모든 방법에서 아시아계 학생에 대한 유의미한 불균형이 발견되었습니다. 이는 극도로 작은 하위 집단 규모(일부 사례에서 중앙값이 0명)에 기인한 것으로, 데이터가 희소할 때 균형을 맞추는 것의 한계를 보여줍니다.

의의 및 주장
본 논문은 제안된 방법들이 측정 오차가 포함된 성취도 지표에 의해 처치 할당이 결정되는 개입을 평가하는 데 실질적인 해결책을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다.

1. 차별적 측정 오차 해결: 제안된 방법들은 측정 오차가 처치 할당에 영향을 미친다는 점을 명시적으로 고려하여, 표준 회귀 교정이 요구하는 비차별적 오차 가정을 넘어섭니다.
2. 결측 데이터 처리: 이 접근법은 제한된 학생 수준의 데이터에 접근하지 않고도 EB 예측치와 오차 분산 추정치만을 사용하여, 하위 집단 평균이 공개되지 않는 학교에서도 성향 점수 추정을 가능하게 합니다.
3. 양성성(Positivity) 개선: 성향 점수 추정치의 변동성을 줄임으로써 처치 집단과 통제 집단 사이의 중첩을 개선하고, 이로 인해 분석에서 제외되는 처치 학교를 줄여 표본 크기와 정밀도를 보존합니다.
4. 편향-분산 트레이드오프: ML 추정치는 혼란 변수 편향과 양성성 위반으로 인한 편향 사이의 관계에서 매력적인 해결책을 제공하며, 측정 오차가 심한 상황에서 더 정밀한 효과 추정치를 제공합니다.

저자들은 자신들의 방법이 측정 오차를 무시하는 것보다 개선된 결과를 제공하지만, 외부의 측정 오차 추정치(CSEM)에 의존하며 ML 방법의 경우 오차 분포가 가우시안(Gaussian)이라고 가정한다는 점을 언급했습니다. 또한, 서로 다른 하위 집단이 서로 다른 측정 오차 분포를 가질 때 ML 추정치가 어떻게 작동하는지에 대한 향후 연구가 필요함을 인정했습니다.