Multilevel Regression Discontinuity Models with Latent Variables

1. 연구 배경 및 문제 제기 (Problem)

• 회귀불연속 설계 (RD) 의 한계: RD 는 무작위 배정이 불가능한 교육 연구 등에서 인과적 결론을 도출하는 강력한 방법론입니다. 그러나 기존 RD 분석은 관측된 변수 (예: 시험 점수) 를 '할당 변수 (Running Variable, RV)'로 사용하는데, 이는 실제 잠재 구성개념 (Latent Construct) 의 노이즈가 포함된 대리변수 (Proxy) 에 불과합니다.
• 단일 수준 모델의 제약: 기존 Morell et al. (2025) 의 잠재변수 RD 모델은 단일 수준 (Single-level) 구조에 국한되어 있었습니다. 그러나 교육 데이터는 학생이 교실이나 학교에 중첩된 다층 구조 (Multilevel Structure) 를 갖는 경우가 대부분입니다. 이를 무시하면 관측치의 독립성 가정이 위반되어 통계적 추론이 왜곡될 수 있습니다.
• 핵심 문제: 다층 구조를 가진 교육 데이터에서, 관측된 할당 변수 (Observed RV, ORV) 와 실제 잠재 할당 변수 (Latent RV, LRV) 간의 관계를 고려하면서도 계층적 구조를 반영하는 RD 모델이 부재했습니다.

2. 방법론 (Methodology)

이 연구는 잠재변수 RD 프레임워크를 다층 모델링과 통합하여 두 가지 주요 설계에 적용 가능한 모델을 제안합니다.

가. 측정 모델 (Measurement Model)

• 잠재 변수 정의: 각 개인 $i$와 군집 $j$에 대해 잠재 할당 변수 $\theta_{ij}$를 정의합니다. 이는 군집 수준의 LRV($\theta_j$) 와 개인 수준의 편차($\delta_{ij}$) 로 분해됩니다 ($\theta_{ij} = \theta_j + \delta_{ij}$).
• 측정 모형: 관측된 지표 (예: 문항 반응) $X_{ijk}$와 잠재 변수 간의 관계를 2-PL (Two-Parameter Logistic) 모형을 사용하여 정의합니다. 이는 IRT(문항반응이론) 기반의 측정 오차를 명시적으로 모델링합니다.

나. 구조 모델 (Structural Model)

연구는 두 가지 다층 RD 설계를 제안합니다.

1. 계층적 RD (Hierarchical RD, HRD):

   • 할당 방식: 군집 수준 (예: 학교 전체) 에서 처치가 배정됨.
   • 특징: 군집의 평균 관측 점수가 임계값을 기준으로 처치/통제군으로 배정됨.
   • 모델: 무작위 절편 (Random Intercept) 만을 포함하는 다층 선형 모델. 처치 효과와 LRV 간의 상호작용 항을 포함하여 이질적 효과를 추정합니다.

2. 다중 사이트 RD (Multisite RD, MRD):

   • 할당 방식: 개인 수준에서 처치가 배정되지만, 데이터가 군집 (학교) 내에 중첩됨.
   • 특징: 개인의 점수가 임계값을 기준으로 배정되나, 군집 내 상관관계를 고려해야 함.
   • 모델: 절편과 처치 효과 모두에 대해 무작위 효과 (Random Effects) 를 포함하는 다층 모델. 이는 군집 간 처치 효과의 변이를 추정할 수 있게 합니다.

다. 추정 알고리즘 (Estimation Algorithm)

• MH-RM 알고리즘: 메트로폴리스 - 헤이스팅스 - 로빈스 - 머노 (Metropolis-Hastings Robbins-Monro) 알고리즘을 사용하여 모수 추정을 수행합니다.
• 장점: 고차원 적분 (Numerical Integration) 을 피하고, 마코프 체인을 통해 결측 데이터 (잠재변수 및 무작위 효과) 를 확률적으로 대체 (Stochastic Imputation) 하여 계산 효율성을 극대화합니다. 이는 잠재변수가 많은 다층 모델에 적합합니다.

3. 주요 기여 및 기능 (Key Contributions)

1. 다층 잠재변수 RD 프레임워크 확장: 단일 수준이었던 기존 모델을 다층 구조로 확장하여, 교육 연구에서 흔히 발생하는 중첩 데이터 (학생 - 교실 - 학교) 에 RD 분석을 적용할 수 있는 기반을 마련했습니다.
2. 임계값 외 평균 처리 효과 (ATE) 외삽 (Extrapolation):
   • 기존 RD 는 임계값 (Cutoff) 에서만 국소 평균 처리 효과 (LATE) 를 추정합니다.
   • 본 모델은 측정 오차 (ORV 와 LRV 의 불완전한 대응) 를 고려하여, 임계값에서 벗어난 임의의 ORV 점수에서도 ATE 를 추정 (외삽) 할 수 있음을 보여줍니다. 이는 프로그램의 효과를 더 넓은 범위에서 평가할 수 있게 합니다.
3. 이질적 처리 효과 (Heterogeneous Treatment Effects) 정량화:
   • 동일한 관측 점수를 가진 집단 내에서도 잠재 능력에 따라 처리 효과가 다를 수 있음을 모델링합니다.
   • 사후 분포 (Posterior Distribution) 를 활용하여 ATE 의 분산과 분위수 (Quantile) 를 추정함으로써, 처리 효과의 이질성을 정량화할 수 있습니다.

4. 시뮬레이션 결과 (Results)

몬테카를로 시뮬레이션 (Cluster 수: 100, 300, 500; 군집 내 개인 수: 30) 을 통해 모델의 성능을 검증했습니다.

• 모수 회복 (Parameter Recovery):
  • HRD 모델: 군집 수 (J) 가 증가할수록 모수 추정치의 편향 (Bias) 과 RMSE 가 감소했습니다. 특히 군집 수가 500 일 때 ATE 의 95% 신뢰구간 피복률 (Coverage Rate) 이 이론적 수준에 근접했습니다.
  • MRD 모델: HRD 모델보다 모수 회복 정확도가 더 높았습니다. 이는 처치가 개인 수준에서 결정되어 더 많은 정보가 추정 과정에 활용되기 때문입니다.
• 외삽 성능: 임계값에서 벗어난 ORV 점수 (예: $c \pm 1, c \pm 2$) 에서도 ATE 를 정확하게 추정할 수 있었습니다. 다만, 임계값에서 멀어질수록 추정의 효율성 (RMSE 증가) 은 다소 감소하는 경향을 보였습니다.
• 이질성 추정: 모델은 동일한 ORV 점수를 가진 집단 내에서도 잠재 변수에 따른 처리 효과의 변이를 성공적으로 포착했습니다.

5. 의의 및 결론 (Significance)

• 교육 연구의 실용성 증대: 교육 데이터의 다층적 특성과 측정 오차를 동시에 고려할 수 있어, RD 분석의 적용 범위를 크게 확대했습니다.
• 정책 결정 지원: 임계값에 국한되지 않고 프로그램의 효과를 다양한 점수 구간에서 평가할 수 있게 하여, 임계값 조정이나 프로그램 대상 확대와 같은 정책적 의사결정에 유용한 근거를 제공합니다.
• 향후 연구 방향: 본 연구는 단일 차원 잠재 구조와 균형 잡힌 군집 크기를 가정했으나, 향후 다차원 측정 모형, 불균형 군집 크기, 공변량 (Covariates) 포함 등으로 모델을 확장할 수 있음을 제안했습니다.

요약하자면, 이 논문은 교육 데이터의 계층적 구조와 측정 오차를 동시에 해결하는 다층 잠재변수 RD 모델을 제안하고, 이를 통해 임계값 외의 영역에서도 신뢰할 수 있는 인과 효과 추정과 이질성 분석이 가능함을 실증적으로 입증했습니다.