The dangers of using three-number summaries to estimate unknown standard deviations: sensitivity analyses and some possible improvements incorporating shape

기술 요약: 미지의 표준편차를 추정하기 위해 세 수치 요약(Three-Number Summaries)을 사용하는 것의 위험성

문제 제기
메타 분석에서 연구자들은 연속형 데이터를 평균과 표준편차(SD)가 아닌 분위수 요약(중앙값, 사분위수, 범위 등)으로 보고하는 사례를 자주 접한다. 다섯 수치 요약(최솟값, $Q_1$, 중앙값, $Q_3$, 최댓값)을 평균과 표준편차로 변환하는 방법은 존재하지만, 세 수치 요약(예: 중앙값과 사분위 범위, 또는 중앙값과 범위)의 변환은 여전히 문제가 된다. 저자들은 세 수치 요약이 기저 데이터의 형태를 제한하지 못하기 때문에, 알려지지 않은 표준편차를 신뢰성 있게 추정하기에는 정보가 불충분하다고 주장한다. 결과적으로, 특정 분포(일반적으로 정규분포)를 가정하여 표준편차를 도출하는 것은 심각한 추정 오류를 초반할 수 있으며, 이는 t-검정이나 코헨의 $d$(Cohen's $d$) 계산과 같은 후속 통계적 추론을 무효화할 가능성이 있다.

연구 방법론
본 논문은 기존 방법과 제안된 방법들을 평가하기 위해 이론적 분석, 시뮬레이션 연구, 그리고 실제 데이터 사례 연구를 결 함께 사용한다.

1. 기존 방법론 검토: 저자들은 다음을 포함한 인기 있는 변환 기법들을 분석한다:

   • Wan 등 (2014) 및 Luo 등 (2018): 기저의 정규성과 대칭성을 가정하는 폐쇄형 추정량(Closed-form estimators).
   • 분위수 추정(Quantile Estimation, QE) (McGrath 등, 2020a): 관측된 분위수와 이론적 분위수 사이의 제곱 오차 합(SSE)을 최소화함으로써 매개변수적 분포(정규, 로그 정규, 감마, 와이불, 베타 분포)를 적합시키는 방법.
   • Box-Cox 변환: 역량 변환(Power transformation)을 통해 데이터를 대칭화한 후 정규 기반 추정량을 적용하려는 시도.

2. 민감도 분석 프레임워크: 단일 방법 선택의 한계에 착안하여, 저자들은 적합도 유형의 민감도 분석을 제안한다. 이는 다음 과정을 포함한다:

   • 세 수치 요약에 대해 여러 후보 분포를 적합시킨다.
   • SSE를 계산하고 파라미터 붓스트랩(Parametric bootstrap)을 수행하여 p-값($\hat{p}_B$)을 생성한다.
   • 이 지표들을 사용하여 타당하지 않은 분포를 배제하고, 단일 점 추정치 대신 가능한 표준편차 추정치의 범위를 보고한다.

3. 개선된 제안 (QE-beta): 모집단 경계(최솟값 $L$ 및/또는 최댓값 $U$)가 알려진 경우(예: 연령 제한, 설문지 점수)를 다루기 위해, 저자들은 Scaled Beta (SB) 분포에 기반한 새로운 추정량을 도입한다.

   • SB 분포는 $[L, U]$ 구간에서 정의되며 높은 형태적 유연성(균등, 왜도, U자형, J자형)을 제공한다.
   • 이 방법은 세 수치 요약(또는 $L$만 알려진 경우 네 수치 요약)을 SB 분포의 이론적 분위수와 일치시킴으로써 베타 형태 매개변수($\alpha, \beta$)를 추정한다.

4. 시뮬레이션 설계:

   • 생성된 데이터: 시뮬레이션은 모집단 경계를 표본의 극단값으로 잘못 취급하는 기존 방법들을 대상으로 다양한 SB 분포(균등, U자형, 왜도, J자형)를 테스트하였다.
   • 실제 데이터: 현실적인 조건에서의 성능을 평가하기 위해 PHQ-9 우울증 데이터셋(경계 0–27)을 활용한 시뮬레이션을 수행하였다.

주요 결과

• 형태에 대한 민감도: 균등 분포나 베타 분포와 같은 대칭 분포의 경우에도, 세 수치 요약으로부터 표준편차를 추정하기 위해 정규성을 가정하면 큰 상대적 오차(범위 -35% ~ +50%)가 발생한다. 왜도된 분포의 경우 오차는 종종 더 심각하다.
• 대칭화의 실패: Box-Cox 변환은 대칭성을 달성할 수는 있지만 정규성을 보장하지는 않는다. 예를 들어, 파레토(Pareto) 데이터를 변환하면 균등 분포가 되는데, 이 경우 변환 후 정규성을 가정하면 상당한 표준편차 추정 오차가 발생한다.
• 추론에 미치는 영향: 본 논문은 (비정규 데이터에 대해 정규성을 가정함으로써 발생하는 흔한 결과인) 표준편차 과소 추정이 표준 오차를 인위적으로 줄여, 통계적 유의성을 부풀리고(제1종 오류) 오해의 소지가 있는 신뢰 구간을 생성함을 보여준다.
• QE-beta의 성능:
  • 모집단 경계($L, U$)가 알려진 경우, QE-beta 방법은 이러한 경계를 표본의 극단값으로 취급하는 기존 다섯 수치 요약 방법들(Wan, Shi, QE, BC)보다 일관되게 우수한 성능을 보인다.
  • 기존 방법들은 모집단 경계를 표본의 극단값으로 사용할 때 왜도된 분포에 대해 표준편차를 과대 추정하는 경향이 있는 반면, QE-beta는 안정적이다.
  • 하한($L$)만 알려진 경우에도(네 수치 요약), QE-beta는 표준적인 세 수치 요약 방법보다 더 정확한 추정치를 제공한다.

의의 및 권고 사항
본 논문은 세 수치 요약으로부터 표준편차를 추정하는 것이 분포 가정을 검증할 수 없다는 점에서 본질적으로 위험하다고 결론짓는다. 저자들은 모든 경우에 적용되는 단 하나의 "최선의" 추정기가 존재한다고 주장하는 것이 아니라, 다음과 같은 실무적 변화를 옹호한다:

1. 가능하다면 SD 변환을 피하라: 메타 분석 시, 저자들은 평균/표준편사로 변환하기보다 기존 방법들을 사용하여 중앙값을 직접 메타 분석할 것을 권장한다.
2. 필수적인 민감도 분석: 만약 표준편차 추정이 필요하다면, 연구자들은 여러 분포 형태에 걸친 민감도 분석을 수행해야 한다. 연구자들은 가능한 표준편차의 범위를 보고하고, 이러한 변동이 후속 추론에 어떤 영향을 미치는지 논의해야 한다.
3. 모집단 경계 활용: 연령, 테스트 점수와 같이 알려진 모집단 한계가 존재하는 경우, 연구자들은 제안된 QE-beta 접근법을 사용해야 한다. 이는 분포의 형태를 제한함으로써 추정 정확도를 크게 향상시킨다.
4. 도구 가용성: 연구자들이 이러한 민감도 분석을 용이하게 수행할 수 있도록 Shiny 웹 애플리케이션이 제공된다. 이를 통해 연구자들은 세 수치 요약을 입력하고 다양한 모델에 따른 표준편차 추정치의 분포를 탐색할 수 있다.

저자들은 자신의 작업이 결정적인 해결책을 제시하여 모든 추정 불확실성을 제거하는 것이 아니라, 현재 관행의 위험성을 강조하고 더 높은 투명성과 엄격함을 위한 프레임워크를 제공하는 데 목적이 있음을 강조한다.