E-Values For Multiplicity Control In Multiverse Analysis

기술 요약: 멀티버스 분석에서의 다중성 제어를 위한 e-값(E-values)

문제 정의
멀티버스 분석(Multiverse analysis)은 다양한 처치 정의, 다양한 결과 정의, 그리고 잠재적으로 다양한 하위 집단 사이의 연관성을 평가하기 위해 사용되는 탐색적 프레임워크이다. 이 논문은 여러 사양(specification)에 대한 이질성과 민감도를 탐지하는 데는 유용하지만, 멀티버스 분석을 공식적인 통계적 추론에 사용하는 문제에 대해 다룬다. 연구자들이 기술적 평가를 넘어 가설 검정으로 나아갈 때, 그들은 거대한 다중 비교 문제(multiple comparisons problem)에 직면하게 된다. 결과들을 단일 요약 지표(예: 사양 곡선 분석, Specification Curve Analysis)로 집계하는 표준적인 접근 방식은 효과가 이질적이거나 한계적 연관성과 조건부 연관성을 결합할 때 오해의 소지가 있을 수 있다. 반대로, 보정을 수행하지 않고 각 사양을 개별적으로 검정하는 것은 위양성률(false positive rates)을 높인다. 본 논문은 경험적 베이즈(empirical Bayes)나 q-값(q-value) 방법에서 흔히 요구되는 nuisance 파라미터의 추정 없이도, 테스트 간의 의존 구조와 상관없이 유효하며 공변량을 고려할 수 있는 FDR(False Discovery Rate) 제어 방법을 모색한다.

방법론
저자들은 일반화 선형 모델(GLM) 환경 내에서 **e-값(e-values)**에 기반한 프레임워크를 제안한다.

1. 통계적 프레임워크: 분석은 $L$개의 결과, $p_x$개의 처치, $p_z$개의 통제 공변량, 그리고 $p_g$개의 하위 집단을 모델링한다. 모델은 각 처치-결과 쌍에 대한 평균 처치 효과(ATE)를 추정하며, 상호작용 항을 통해 하위 집단별 효과를 허용한다. 저자들은 공변량의 부분 집합에 대해 평균을 내는 방식과 대조적으로, 엄격한 제1종 오류 제어를 보장하기 위해 모든 통제 공변량을 모델에 명시적으로 포함한다.
2. e-값 구축: 논문은 특정 처치가 효과가 0이라는 귀무가설을 검정하기 위해 세 가지 e-값 생성 전략을 평가한다:
   • 보편적 혼합 e-값(Universal Mixture E-values): 유니버설 추론(universal inference)에 기반하며, 임의적인 데이터 분할을 피하기 위해 Zellner의 단위 정보 사전 확률(unit information prior)을 활용한 분할 가능도(split-likelihood) 또는 하이브리드 빈도주의-베이즈 접근 방식을 사용한다.
   • 소프트-랭크 e-값(Soft-rank E-values): 순열 검정(permutation tests)에서 유도되며, 검정 통계량은 우도비(likelihood ratio)이다. 이는 모델 오설정(예: 비선형 공변량 효과)에 강건하지만 계산 집약적이다.
   • P-to-E 보정(P-to-E Calibration): 표준 p-값(우도비 검정에서 도래)을 특정 보정기(calibrator), 구체적으로는 혼합 보정기($E_{c1}$)와 역 제곱근 보정기($E_{c2}$)를 사용하여 e-값으로 변환한다.
3. 다중성 제어: 저자들은 $L \times p_x$개의 e-값 집합에 e-BH 절차(및 그 정교화된 폐쇄형 변형)를 적용한다. 이 절차는 테스트 간의 의존 구조와 관계없이 수준 $\alpha$에서 FDR 제어를 보장한다.

주요 기여 및 시뮬레이션 결과
본 논문은 사회 과학의 멀티버스 분석 차원을 모사하는 선형 및 로지스틱 회귀 설정에서의 시뮬레이션 연구를 통해 이러한 e-값 전략의 비교 분석을 기여한다.

• 제1종 오류 제어: 제안된 모든 e-값 전략은 지정된 유의 수준($\alpha = 0.01, 0.05$) 미만으로 제1종 오류율을 성공적으로 제어하였으며, 종종 보수적인 경향을 보였다.
• 통계적 검정력: 시뮬레이션은 e-값 전략 간의 유의미한 차이를 드러냈다.
  • P-to-E 보정 ($E_{c1}$ 및 $E_{c2}$): 이 방법들은 유니버셜 혼합 및 소프트-랭크 e-값보다 특히 표본 크기와 효과 크기가 중간 정도일 때 유의미하게 높은 검정력을 보였다. 혼합 보정기($E_{c1}$)가 진정한 대립 가설에 대해 더 강력한 증거를 축적함으로써 가장 강력한 것으로 나타났다.
  • 보편적 혼합 ($E_{um}$): 이 접근 방식은 매우 보수적인 것으로 나타났으며, 표본 크기나 효과 크기가 매우 크지 않으면 효과를 탐지하는 데 실패하는 경우가 많았다.
  • 소프트-랭크 ($E_{sr}$): 작은 $n$에서는 보정된 e-값보다 검정력이 낮았으나, 더 큰 표본 크기에서는 경쟁력을 갖추었으며 모델 오설정에 대한 강건성을 제공한다.
• 실제 적용: 본 방법론은 십 대의 기술 사용과 정신적 안녕 사이의 연관성을 조사하기 위해 밀레니엄 코호트 연구(MCS)에 적용되었다.
  • 사양 곡선 분석을 사용한 이전 분석들은 해당 연관성이 미미하다고 결론지었다.
  • 제안된 e-값 프레임워크는 0.05에서 FDR을 제어하며 4개의 특정 가설을 기각하였고, 높은 인터넷/소셜 미디어 사용과 우울 증상, 낮은 자존감, 그리고 또래 문제 사이의 유의미한 연관성을 식별하였다. 추정된 오즈비(odds ratios)는 2에서 4 사이로, 통계적 유의성과 함께 실질적인 관련성을 나타냈다.

의의 및 주장
본 논문은 e-값이 가설 검정이 필요할 때 멀티버스 분석의 유용한 보완책으로서 "보수적인 절차"라고 위치시킨다.

• 타당성: 강조된 주요 장점은 e-값이 테스트 간의 독립성이나 양의 의존성에 대한 가정을 요구하지 않으며, nuisance 파라미터(예: 참인 귀무가설의 비율)를 추정할 필요가 없는 유한 표본 FDR 제어를 제공한다는 점이다.
• 한계: 저자들은 e-값의 통계적 검정력에 대해 겸허한 입장을 취한다. 저자들은 q-값이나 경험적 베이즈와 같이 더 강한 가정을 가진 방법들과 비교할 때, 특히 작은 표본에서 e-값이 더 적은 유의미한 발견을 낼 수 있음을 인정한다.
• 권고 사항: 저자들은 이질적인 효과를 은폐할 수 있는 집계 요약 지표에 의존하기보다, 모든 사양에 대한 처치 효과를 각각 보고하고 다중성 제어를 적용할 것을 권장한다. 특히 기저 모델이 대략적으로 정확하다는 전제하에, 우수한 검정력을 가진 **혼합 p-to-e 보정($E_{c1}$)**을 구체적으로 추천한다. 만약 모델 오설정이 주요 우려 사항이라면, 검정력의 손실이 있더라도 강건한 대안으로서 소프트-랭크 e-값이 제안된다.

결론적으로, 본 논문은 e-값이 보수적인 특성으로 인해 발견되는 수에 제한을 줄 수 있지만, 복잡하고 고차원적인 멀티버스 분석의 지형에서 유효한 통계적 추론을 위한 엄격하고 가정이 적은 프레임워크를 제공한다고 주장한다.