Nobody Puts Bonferroni in a Corner

논문 개요

이 논문은 온라인 실험 (A/B 테스트) 환경에서 Bonferroni 보정 (Bonferroni correction) 이 일반적으로 인식되는 것보다 훨씬 더 유효하고 실용적인 선택지임을 주장합니다. 저자는 Bonferroni 가 단순함, 신뢰할 수 있는 신뢰구간 (CI) 제공, 결정 프레임워크에 따른 오차 통제, 그리고 표본 크기 계산의 용이성 측면에서 다른 복잡한 다중 검정 방법 (Holm, Hommel, Benjamini-Hochberg 등) 보다 우월하거나 최소한 동등한 성능을 보인다고 논증합니다.

1. 문제 제기 (The Problem)

• 다중 검정 문제: 여러 가설을 동시에 검정할 때 거짓 양성 (False Positive) 이 발생할 확률 (Family-Wise Error Rate, FWER) 이 급격히 증가합니다.
• 현실적 오해: 실무자들은 Bonferroni 보정을 "너무 보수적 (conservative)"이고 검정력 (Power) 이 낮아 비효율적이라고 간주하여, 더 강력해 보이는 Holm, Hommel, 또는 FDR(Fake Discovery Rate) 을 통제하는 Benjamini-Hochberg (BH) 방법 등을 선호하는 경향이 있습니다.
• 결과의 신뢰성 저하: FDR 방법은 유전체학 (수천 개의 가설) 에 적합하도록 설계되었으나, 제품 실험 환경에서는 대부분의 변경 사항이 효과가 없음 (Null hypothesis) 을 의미하는 경우가 많습니다 (약 70% 의 Null). 이러한 환경에서 FDR 은 허용된 거짓 발견 비율을 높여 실제 효과가 없는 변경 사항까지 배포 (Ship) 하게 만들 수 있어, 조직의 실험 플랫폼에 대한 신뢰를 훼손합니다.

2. 방법론 및 핵심 논거 (Methodology & Key Arguments)

저자는 Bonferroni 가 온라인 실험 워크플로우 (신뢰구간, 의사결정 로직, 표본 크기 계획, 순차 모니터링) 전반에서 가장 일관성 있고 구현 가능한 방법임을 네 가지 주요 논거로 뒷받침합니다.

가. 신뢰구간 (Confidence Intervals, CI) 의 일관성

• Bonferroni: 모든 지표에 대해 조건부 없이 (unconditional) 동시에 유효한 신뢰구간을 쉽게 생성할 수 있습니다.
• 대안 방법의 한계:
  • BH: 동시 신뢰구간을 생성하려면 FCR(False Coverage Rate) 프레임워크가 필요하며, 이는 선택된 가설에만 적용되는 조건부 구간입니다. 일반적인 플랫폼에서는 이를 구현하지 않아 오해를 불러일으킵니다.
  • Holm/Hommel: 기각된 가설에 대해 유의미한 수치적 하한/상한을 제공하는 신뢰구간을 제공하지 않거나 (Winner's Curse 문제), 두 면 검정 (two-sided) 에 적용이 어렵습니다.
• 의의: 엔지니어와 PM 은 효과 크기와 불확실성을 이해하기 위해 신뢰구간을 필요로 하며, Bonferroni 는 이를 가장 투명하게 제공합니다.

나. 의사결정 프레임워크와 보정 분모 (Decision Framework & Denominator)

• 지표의 비대칭적 역할:
  • 성공 지표 (Success Metrics): 하나라도 유의해야 배포 (Ship) 됩니다 (Union-Intersection 구조). 여기서 FWER 통제가 필요합니다.
  • 가드레일 지표 (Guardrail Metrics): 모두 비열등성 (Non-inferiority) 을 확인해야 배포됩니다 (Intersection-Union 구조). 여기서 거짓 양성이 발생하면 배포가 더 쉬워지지만, 이는 전체 배포 결정의 거짓 양성률을 높이지 않습니다. 오히려 거짓 음성 (False Negative) 이 실제 좋은 변경 사항을 막는 주원인입니다.
• 핵심 주장: Bonferroni 의 분모는 실험의 전체 지표 수가 아니라, 성공 지표의 수 (S) 만으로 설정해야 합니다. 가드레일 지표를 포함하면 불필요하게 보수적이 됩니다. Spotify 의 데이터에 따르면 성공 지표는 보통 2~3 개이고 가드레일은 10 개 이상인 경우가 많아, 올바른 프레임워크를 적용하면 Bonferroni 보정은 매우 완화됩니다.

다. 표본 크기 계산의 용이성 (Sample Size Tractability)

• Bonferroni 는 실험 전 (Pre-experiment) 에 검정력을 계산할 때 가장 간단합니다. 단순히 $\alpha$를 $S$로 나누어 조정된 유의수준 ($\alpha/S$) 을 사용하면 됩니다.
• 반면, BH 나 Hommel 은 미지의 Null 비율 ($\pi_0$) 이나 검정 통계량의 결합 분포에 의존하므로, 실험 설계 단계에서 정확한 표본 크기 계산을 수행하기 어렵습니다.

라. 순차 검정 (Sequential Testing) 과의 호환성

• 그룹 순차 검정 (Group Sequential Tests) 환경에서 Bonferroni 는 각 지표에 독립적인 $\alpha$ 예산을 할당하여 각 지표가 자체적인 지출 함수 (spending function) 를 따르게 하므로 구현이 용이합니다.
• 다른 방법들은 지표 간의 상관관계와 시간적 정보 분획 (information fraction) 의 복잡성으로 인해 순차 모니터링 적용이 어렵습니다.

3. 결과 (Results)

Spotify 의 'Confidence' 플랫폼에서 수행된 1,296 개의 실험 (1,840 개의 처리 - 대조군 비교) 과 시뮬레이션 연구를 통해 다음과 같은 결과를 도출했습니다.

• 시뮬레이션 결과:
  • 희소성 (Sparsity): 대부분의 제품 실험은 효과가 있는 지표가 매우 적은 (Sparse) 환경입니다. 비 Null 지표가 1 개뿐인 경우, Holm, Hommel, BH 와 Bonferroni 간의 검정력 차이는 거의 0에 수렴합니다.
  • 상관관계: 지표 간 상관관계가 높을수록 모든 방법의 검정력이 감소하며, Bonferroni 와 다른 방법 간의 격차는 줄어들거나 구조적 한계로 인해 차이가 미미해집니다.
• 실증 분석 (Spotify 데이터):
  • 가드레일 포함 여부의 영향:
    • 부정확한 가족 정의 (Naive Family): 모든 지표 (성공 + 가드레일) 를 보정 가족에 포함하면 Holm 과 Hommel 은 Bonferroni 와 거의 차이가 없습니다 (+0.5~0.6%p).
    • 정확한 가족 정의 (Success-only Family): 성공 지표만 포함하면 Holm 과 Hommel 은 Bonferroni 대비 배포율 (Ship Rate) 이 약 4.5~4.6%p 증가합니다.
  • 결론: Holm/Hommel 의 잠재적 이점은 올바른 의사결정 프레임워크 (성공 지표만 보정) 를 적용했을 때만 발현됩니다. 프레임워크가 잘못되면 Bonferroni 와 차이가 없습니다.
  • FDR vs FWER: BH 는 Bonferroni 보다 배포율이 높지만, 이는 FWER 통제 실패로 인한 거짓 양성 증가 때문이며, 실제 유의미한 효과 발견을 의미하지는 않습니다.

4. 주요 기여 (Key Contributions)

1. Bonferroni 의 재평가: Bonferroni 가 단순히 "구식" 방법이 아니라, 신뢰구간 일관성, 표본 크기 계산의 명확성, 순차 검정 호환성 측면에서 온라인 실험에 가장 적합한 FWER 통제 방법임을 증명했습니다.
2. 의사결정 프레임워크의 중요성 강조: 다중 검정 보정의 분모는 '전체 지표 수'가 아니라 '의사결정에 직접 관여하는 성공 지표 수'로 정의되어야 함을 이론적 및 실증적으로 입증했습니다. 이는 Bonferroni 의 보수성을 크게 완화시킵니다.
3. 실용적 가이드라인: 복잡한 방법론을 도입하기 전에, 실험 설계 단계에서 성공 지표와 가드레일 지표를 명확히 구분하고, 성공 지표의 수를 최소화하는 것이 통계적 보정 방법 선택보다 더 중요함을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰와 규모: 데이터 기반 조직에서 실험 결과의 신뢰성은 가장 중요한 자산입니다. Bonferroni 는 복잡한 조건 없이도 모든 단계에서 일관된 해석 (신뢰구간) 을 제공하여 조직 내 의사결정 신뢰도를 높입니다.
• 실무적 제안: 저자는 보정 방법을 피하라는 것이 아니라, Bonferroni 를 덜 두려워하라고 제안합니다.
  • 성공 지표의 수가 적고 명확하게 정의되어 있다면 (실제 대부분의 경우), Bonferroni 보정은 실질적으로 매우 mild(완화) 합니다.
  • 더 강력한 방법 (Holm, Hommel) 을 사용하더라도 올바른 의사결정 프레임워크 (성공 지표만 보정) 를 적용하지 않으면 Bonferroni 와 차이가 없으며, 신뢰구간 제공 측면에서는 Bonferroni 가 여전히 우위입니다.
• 최종 메시지: Bonferroni 는 온라인 실험의 복잡성 (신뢰구간, 표본 크기, 순차 모니터링) 을 가장 깔끔하게 해결하는 "단순하고 견고한" 방법론입니다.