A Bayesian Approach to Estimating Effect Sizes in Educational Research

1. 연구 문제 (Problem)

교육 연구, 특히 사전 - 사후 검사 (Pretest-Posttest) 설계에서 효과 크기 (Effect Size) 를 추정할 때 기존 통계 방법론이 가진 다음과 같은 한계점이 존재합니다.

• 단일 점 추정치와 불확실성: 기존 방법 (Cohen's d 등) 은 단일 점 추정치 (point estimate) 를 제공하며, 신뢰구간은 부트스트래핑 (bootstrapping) 에 의존하여 근사값일 뿐입니다.
• 다층 구조 (Multilevel Structure) 무시: 학생이 교실에 중첩 (nested) 되어 있는 교육 데이터의 특성을 반영하지 못합니다. 이로 인해 교실 간 변이 (between-class variance) 를 무시하게 되어 효과 크기를 과대평가하거나 교실별 차별적 효과 (differential effectiveness) 를 파악하지 못합니다.
• 이분산성 (Heteroscedasticity) 가정의 부재: 많은 연구가 집단 간 또는 시점 간 잔차 분산이 동일하다는 동분산 가정을 하지만, 실제 교육 데이터에서는 이분산성이 흔합니다.
• 상관관계 고려의 미흡: 짝지은 설계 (paired design) 에서 사전 - 사후 측정치 간의 상관관계를 적절히 반영하지 못하면 효과 크기 ($d_s$) 가 실제보다 과대평가될 수 있습니다.
• 표현의 모호성: 연구자들이 계산 방식이 다른 여러 'Cohen's d'를 구분 없이 지칭하여 결과의 재현성과 비교가 어렵습니다.

2. 방법론 (Methodology)

이 논문은 베이지안 통계 프레임워크를 기반으로 한 다층 모델 (Multilevel Model) 을 사용하여 위 문제들을 해결합니다.

• 도구 및 구현: R 패키지의 brms (Stan 기반 확률적 프로그래밍 언어) 를 사용하여 모델을 구현했습니다.
• 데이터: Edelsbrunner et al. (2024) 의 실제 교육 데이터 (1,377 명 학생, 62 개 교실, 통제군 vs 개입군) 를 활용했습니다.
• 모델링 접근법:
  1. 다층 구조 반영: 학생을 교실 (Class) 에 중첩시킨 랜덤 효과 (Random Intercepts and Slopes) 를 포함하여 교실 간 변이를 추정합니다.
  2. 이분산성 허용: 잔차 분산 ($\sigma$) 이 시간 (사전/사후) 과 조건 (통제/개입) 에 따라 다르게 변할 수 있도록 모델링합니다 (sigma ~ time * condition).
  3. 분포 가정: 정규분포 대신 이상치에 강건한 Student-t 분포를 사용하여 데이터의 왜도 (skewness) 를 처리합니다.
  4. 사전 분포 (Prior): 기본값인 부적절 평평한 사전분포 대신 정규 분포 사전분포를 사용하여 모델 수렴성을 개선하고 민감도 분석을 수행했습니다.
• 추정된 효과 크기 지표:
  • $d_s$ (Pooled/Within-group): 헤지스 (Hedges, 2007) 의 총 분산 (total variance) 공식을 베이지안 다층 모델에 적용. 모든 분산 성분 (잔차, 랜덤 효과 등) 을 포함.
  • $d_z$ (Paired): 측정치 간 상관관계를 보정한 효과 크기 (학습 이득의 표준편차로 나눔).
  • $d_n$ (Normalized): 정규화된 학습 이득 (Normalized Learning Gain) 기반 효과 크기.

3. 주요 기여 (Key Contributions)

1. 다층 구조를 고려한 효과 크기 추정 프레임워크 제시: 단순한 평균 효과 크기뿐만 아니라, **교실별 효과 크기의 표준편차 ($SD_{class}$)**를 추정하여 개입의 '차별적 효과성'을 시각화하고 정량화하는 방법을 제시했습니다.
2. 이분산성과 다층 구조의 통합: 기존 베이지안 효과 크기 연구 (Kruschke, 2013 등) 와 달리, 잔차 분산의 이질성과 다층 구조를 동시에 고려한 구체적인 구현 가이드를 제공합니다.
3. 명확한 지표 구분 및 권장 사항: 연구 설계 (Within-Class vs Between-Class, Paired vs Pooled) 에 따라 어떤 효과 크기 ($d_s, d_z, d_n$) 를 보고해야 하는지 구체적인 가이드라인 (Table 7) 을 제시합니다.
4. 전체 사후 분포 (Posterior Distribution) 제공: 점 추정치 대신 효과 크기의 전체 분포와 95% 신뢰구간 (CrI) 을 제공하여 불확실성을 더 정교하게 평가할 수 있게 합니다.

4. 결과 (Results)

실제 데이터 분석을 통해 다음과 같은 결과를 도출했습니다.

• 다층 모델의 중요성:
  • 다층 구조를 고려하지 않은 고전적 방법 (Classical $d$) 과 베이지안 다층 모델 ($d_s$) 의 추정치는 유사할 수 있으나, 다층 모델은 교실 간 변이를 포착합니다.
  • 예: 사후 검사 (Posttest) 에서 개입군의 평균 효과 크기는 양수였으나, 교실별 효과 크기의 표준편차 ($SD \approx 0.18$) 가 커서 일부 교실에서는 개입이 오히려 부정적인 효과를 보임 (음수 $d_s$) 을 발견했습니다. 이는 평균만 보면 놓칠 수 있는 중요한 정보입니다.
• 이분산성 모델의 적합도: 잔차 분산을 고정하지 않고 시간과 조건에 따라 다르게 설정한 모델이 데이터의 왜도 (skewness) 를 더 잘 설명하고 포스트 예측 검사 (Posterior Predictive Check) 에서 더 좋은 적합도를 보였습니다.
• $d_s$ vs $d_z$:
  • 짝지은 설계에서 상관관계를 보정한 $d_z$는 상관관계를 무시한 $d_s$보다 약간 작게 추정되었습니다 ($d_z < d_s$).
  • 베이지안 프레임워크에서는 $d_z$ 계산이 더 효율적이며, $t$-값과의 관계 ($t = \sqrt{n}d_z$) 를 통해 해석이 용이합니다.
• 수렴성 및 모델 비교: 다양한 사전 분포와 모델 사양을 비교한 결과 (LOO-CV), 모델이 사전 분포 선택에 민감하지 않았으며, 복잡한 다층 모델이 예측 정확도 측면에서 유의미한 이점을 제공했습니다.

5. 의의 및 시사점 (Significance)

• 교육 개입의 차별적 효과성 규명: 평균 효과 크기만 보고하는 것을 넘어, "어떤 교실 (또는 하위 집단) 에서 개입이 효과적인가?"를 통계적으로 규명할 수 있게 되었습니다. 이는 교육 정책 및 교수법 개발에 있어 더 정교한 의사결정을 지원합니다.
• 재현성 및 투명성 강화: 베이지안 접근법을 통해 효과 크기의 전체 분포와 불확실성을 공개함으로써, 연구 결과의 재현성을 높이고 과대평가된 효과 크기를 방지합니다.
• 실무자 가이드라인 제공: 복잡한 베이지안 다층 모델링을 교육 연구자가 실제로 적용할 수 있도록 brms 패키지를 활용한 구체적인 코드와 해석 가이드를 제공하여 방법론적 장벽을 낮췄습니다.
• 미래 연구 방향: 이 연구는 베이지안 다층 효과 크기 추정의 표준을 제시하며, 향후 결측치 처리, 바닥/천장 효과 (floor/ceiling effects) 연구, 그리고 시뮬레이션 연구를 통한 방법론적 검증의 기초가 됩니다.

결론적으로, 이 논문은 교육 연구에서 효과 크기를 추정할 때 다층 구조와 이분산성을 고려한 베이지안 접근법의 필수성을 강조하며, 평균 효과뿐만 아니라 집단 간 변이를 포함한 더 풍부하고 정확한 효과 크기 해석 체계를 제안합니다.