📊 statistics

Bayesian Inference Procedures for A/B Testing: An Overview

이 논문은 많은 상용 플랫폼들이 보정되지 않은 방법들을 사용하는 반면, 사전 확률(priors)과 중단 규칙, 특히 베이즈 요인(Bayes factor) 중단 및 경험적 베이즈(empirical Bayes)를 적절히 선택하는 것이 거짓 양성률, 추정 오차, 후회(regret)와 같은 별개의 위험들을 제어하는 데 필수적임을 입증하며 베이즈 A/B 테스트 설정에 대한 체계적인 3단계 계층 구조를 제공한다.

원저자: Mårten Schultzberg, Mattias Frånberg

게시일 2026-08-14

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mårten Schultzberg, Mattias Frånberg

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. "이 새로운 단서가 실제로 사건을 해결한 것일까, 아니면 그저 운 좋은 추측이었을까?" 과학과 비즈니스의 세계에서 이것을 A/B 테스트라고 부릅니다. 이는 어떤 것의 두 가지 버전(예: 빨간 버튼 대 파란 버튼)을 비교하여 어느 것이 더 잘 작동하는지 확인하는 방법입니다. 하지만 여기서 까다로운 점이 있습니다. 실험이 진행되는 동안 결과를 계속 확인하면 무작위 소음(noise)에 속을 수 있다는 것입니다. 이는 동전 던지기를 할 때 연속으로 앞면이 세 번 나왔다고 해서 바로 멈추는 것과 같습니다. 당신은 동전이 마법 같다고 생각할 수도 있지만, 그것은 그저 운일 뿐입니다. 이것이 바로 "엿보기(peeking)"의 위험성입니다.

이를 해결하기 위해 과학자들은 **베이지안 추론(Bayesian inference)**을 사용합니다. 이는 새로운 데이터가 들어올 때마다 자신의 믿음을 업데이트하는 방법으로, 마치 영화를 보면서 장면이 바뀔 때마다 영화에 대한 의견을 수정하는 것과 비슷합니다. 하지만 이 방법에는 단 한 가지만 존재하는 것이 아닙니다. 어떤 방법은 직감에 의존하는 방식인 반면, 어떤 방법은 허위 경보를 피하기 위해 엄격한 규칙을 사용하는 방식입니다. 핵심적인 질문은, 어떤 방법이 실제로 우리를 잘못된 결정으로부터 안전하게 지켜주는지, 그리고 어떤 방법이 그저 안전한 '기분'만 내주는 것인지 하는 점입니다. 이 논문은 이러한 다양한 방법들의 혼란스러운 현실을 파고들어, 어떤 방법이 실제로 신뢰할 수 있고 어떤 방법이 그저 운에 의해 속아 넘어가기 쉬운 화려한 수단에 불과한지를 밝혀냅니다.

진실의 세 단계 (The Three Tiers of Truth)

저자인 스포티파이(Spotify)의 마르텐 슐츠베르그(Mårten Schultzberg)와 마티아스 프론베리(Mattias Frånberg)는 사람들이 흔히 "베이지안 A/B 테스트"를 마치 하나의 마법 같은 도구인 것처럼 이야기한다는 사실을 깨달았습니다. 그들은 이것이 사실 서로 다른 초능력(과 약점)을 가진 다양한 도구들의 가족이라는 것을 발견했습니다. 이를 이해하기 위해 그들은 이 도구들을 마치 난이도와 안전성이 세 단계로 나뉜 비디오 게임처럼 3단계 계층 구조로 정리했습니다.

레벨 1: "직감" 단계 (사후 확률 일관성 - Posterior Coherence)

당신이 단지 자신의 추측에 대해 확신을 느끼고 싶어 하는 게임을 하고 있다고 상상해 보세요. 데이터를 보고 "파란 버튼이 더 낫다고 95% 확신해!"라고 말하는 것입니다. 이것이 레벨 1입니다. 이는 수학적으로 일관적이며, 즉 당신의 믿음이 업데이트되는 과정이 내부적으로는 타당합니다. 하지만 여기에는 함정이 있습니다. 만약 당신이 결과를 계속 확인한다면, 이 방법은 허위 경보에 대해 아무런 보호 장치를 제공하지 못합니다.

논문에 따르면, 만약 당신이 "평평한 사전 분포(flat prior, 기본적으로 아무 의견이 없는 상태)"를 사용하고 단순히 95% 확신이 들 때마다 멈춘다면, 당신은 단순한 "엿보기 사용자(simple peeker)"와 똑같은 행동을 하는 것입니다. 이는 동전을 던질 때마다 매 초마다 확인하다가 앞면이 세 번 연속 나오자마자 멈추는 것과 같습니다. 논문의 시뮬레이션은 이 방법의 허위 양성률(false positive rate)이 약 30%(사람들이 보통 원하는 5%보다 훨씬 높음)에 달한다는 것을 확인해 줍니다. 기분은 좋겠지만, 매우 위험합니다. 설령 당신이 "의사결정론적(decision-theoretic)" 접근 방식(실수의 비용을 계산하는 방식)을 사용하더라도, 멈추기 위한 엄격한 규칙이 없다면 여전히 절반의 확률로 잘못된 기능을 배포하게 될 수 있습니다.

레벨 2: "방어적" 단계 (베이즈 인자 정지 - Bayes Factor Stopping)

이제 보안 요원을 추가해 봅시다. 레벨 2는 **베이즈 인자(Bayes Factor)**라는 것을 사용합니다. 이것을 "버전 B가 더 나은가"와 "버전 B가 A와 동일한가"를 비교하는 점수라고 생각하세요.

논문은 만약 적절한 사전 분포(합리적인 시작점)를 사용하고, 이 점수가 특정 선을 넘었을 때만 멈춘다면 **보장(guarantee)**을 얻을 수 있다고 밝힙了. 당신이 얼마나 자주 결과를 엿보든 상관없이, 허위 경보가 발생할 확률은 당신이 설정한 제한치(보통 5%) 미만으로 유지됩니다. 이는 매우 중요한 성과입니다. 저자들은 많은 실제 비즈니스 비용 모델에서 이 방법이 실험을 멈추기에 거의 최선의 방법임을 보여줍니다. 이는 마치 입구에서 신분증을 검사하는 문지기처럼, 오직 진정으로 실력이 있거나 운이 좋은 사람만이 통과하도록 보장하는 것과 같습니다.

흥미롭게도, 논문은 "베이지안"과 "빈도주의(Frequentist, 또 다른 주요 통계 학파)" 사이의 선택이 사람들이 생각하는 것만큼 중요하지 않을 수도 있다고 주장합니다. 만약 특정 비용 모델을 사용하여 베이지안 테스트를 설정한다면, 결과적으로 빈도주의 테스트와 똑같이 나타나는 경우가 많습니다. 수학적 원리는 다르지만, 결과는 종종 같습니다.

레벨 3: "마스터" 단계 (경험적 베이즈 - Empirical Bayes)

여기는 VIP 구역입니다. 레벨 3은 비밀 무기인 **역사(history)**를 추가합니다. "합리적인" 시작점이 무엇인지 추측하는 대신, 이 방법은 동일한 회사의 수백 가지 과거 실험 데이터를 살펴보고 효과가 보통 어느 정도인지 학습합니다.

당신이 요리사라고 상상해 보세요. 레벨 2에서는 요리책을 보고 소금을 얼마나 넣을지 추측합니다. 하지만 레벨 와 레벨 3에서는 지난 1년 동안 만든 모든 요리의 기록부를 살펴보고 고객들이 실제로 소금을 얼마나 좋아했는지 확인합니다. 이것이 경험적 베이즈(Empirical Bayes) 사전 분포입니다.

논문은 이 역사 기반의 사전 분포를 사용할 때 두 가지 놀라운 이점을 얻을 수 있다고 보여줍니다:

자동 교정: 이 방법은 한 번에 너무 많은 것을 확인하는 문제(다중성 문제)를 자연스럽게 해결합니다. 만약 10개의 버튼을 테스트하더라도, 허위 경보를 피하기 위해 추가적인 수학적 계산을 할 필요가 없습니다. 역사가 그 역할을 대신해주기 때문입니다.
보정된 수축(Calibrated Shrinkage): 이 방법은 극단적인 결과들을 현실적인 수준으로 끌어내립니다. 만약 어떤 테스트가 50%의 엄청난 개선을 보여주더라도, 당신의 과거 기록이 개선 폭이 아주 작았음을 나타낸다면, 이 방법은 "그것은 아마도 일시적인 현상일 것"이라고 판단하여 추정치를 낮춥니다. 이는 엄청난 승리라고 축하했지만 실제로는 노이즈였던 경우를 기념하게 되는 "승자의 저주(Winner's Curse)"를 방지합니다.

하지만 함정이 있습니다. 논문은 레벨 3의 마법이 오직 당신의 역사가 정직하고 대표성이 있을 때만 작동한다고 경고합니다.

만약 당신이 과거의 성공 사례만 보고 실패 사례를 무시한다면, 당신의 역사는 망가진 것이며 이 방법은 실패합니다.
만약 서로 다른 유형의 실험 데이터(예: 케이크 레시피와 자동차 엔진 테스트)를 섞는다면, 역사가 혼란에 빠져 보호 기능이 사라집니다.
이 방법이 안정적으로 작동하려면 약 200개 정도의 충분한 과거 실험 데이터가 필요합니다.

결론: 이름이 아니라 리스크의 문제입니다

저자들은 시뮬레이션을 통해 이 세 단계의 모델을 서로 비교하고, 표준 빈도주의 방법들과 비교했습니다. 결과는 다음과 같습니다:

레벨 1 (평평한 사전 분포 + 엿보기): 오류 제어 측면에서 재앙입니다. 단순한 엿보기와 마찬가지로 약 **30%**의 확률로 허위 양성을 만들어냅니다.
레벨 2 (베이즈 인자): 허위 양성을 낮은 수준(5% 미만)으로 유지하며 매우 유연합니다. 실험을 언제 끝낼지 미리 결정할 필요가 없습니다.
레벨 3 (경험적 베이즈): 역사가 훌륭할 경우, 모든 방법 중 가장 정확한 추정치(가장 낮은 오류)를 산출합니다. 또한 극단적인 추측을 현실로 끌어내리는 능력이 탁월합니다.
"기대 손실(Expected Loss)"의 함정: 어떤 사람들은 "우리가 얼마나 많은 돈을 잃을 수 있는가"를 기준으로 멈추려 합니다. 논문은 잘못된 기능을 배포하는 데 드는 비용이 0원인 경우에만 이 방법이 작동한다고 보여줍니다. 만약 잘못된 기능을 배포했을 때 발생하는 비용(코드 수정이나 사용자 불편 등)이 조금이라도 있다면, 이 방법은 잘못된 기능을 너무 자주 배포하게 됩니다.

논문은 결론적으로 "최선의" 방법이란 베이지안이냐 빈도주의냐의 문제가 아니라고 말합니다. 그것은 당신이 어떤 리스크를 제어하려고 하는가의 문제입니다.

만약 당신이 잘못된 주장을 하지 않는 것에 절대적으로 확신이 필요하다면, 레벨 2 또는 3이 필요합니다.
만약 충분한 역사를 가지고 있고 가장 정확한 숫자를 원한다면, 레벨 3이 왕입니다.
만약 충분한 역사가 없다면, 레벨 2를 고수하며 허위 경보를 피하기 위한 엄격한 규칙을 사용하십시오.

결국, 논문은 가장 중요한 단계가 화려한 통계적 명칭을 고르는 것이 아니라고 제언합니다. 그것은 바로 이렇게 묻는 것입니다. "내가 틀렸을 때 어떤 일이 벌어지는가?" 만에 틀렸을 때의 비용이 높다면, 당신에게는 레벨 2나 3의 안전장치가 필요합니다. 만약 당신이 이 방법을 규칙을 이해하지 못한 채 마법 지팡이처럼 다룬다면, 당신은 그저 운 좋은 추측이었던 승리를 축하하게 될 수도 있습니다.

기술 요약: A/B 테스트를 위한 베이지안 추론 절차

1. 문제 정의

베이지안 추론은 문헌과 실무에서 흔히 단일한 방법론으로 취급되곤 한다. 그러나 실제로는 서로 다른 사전 분포(prior)와 정지 규칙(stopping rule)의 조합으로 정의되는 일련의 구성(configurations)들의 집합이며, 각 구성은 근본적으로 다른 통계적 특성을 지닌다. 이러한 혼동은 특정 구성(예: 오류율 제어)에 유효한 속성을 프레임워크 전체의 속성으로 잘못 귀속시키는 오해를 불러일으킨다. 더욱이, 많은 상용 실험 플랫폼은 기본적으로 "최저 계층"의 통계적 보증 수준에서 작동하며, 지속적인 모니터링 하에서의 허위 양성률(FPR) 제어나 효과 추정치의 교정(calibration)에 실패하는 경우가 많다. 이러한 구성들을 체계적으로 정리하고, 그 보증 범위와 빈도주의 방법론과의 관계를 설명하는 종합적인 개요가 부족한 실정이다.

2. 방법론 및 프레임워크

본 논문은 일반적인 베이지안 구성들을 오류율 제어의 강도에 따라 **3단계 보증 계층(three-tier guarantee hierarchy)**으로 분류한다. 분석은 평균 처치 효과 $\delta = \mu_T - \mu_C$ 가 순차적 데이터로부터 추정되는 표준 2집단 정규 모델을 기반으로 한다.

3단계 계층 구조

Tier 1: 사후 확률 일관성 (오류 제어 없음)

정의: 적절한 사후 분포(proper posterior)를 생성하는 모든 절차. 사후 분포는 정지 규칙(Likelihood Principle)과 무관하게 유효한 믿음 업데이트를 나타낸다.
메커니즘: 사후 확률 기반 정지(예: $P(B > A) > \gamma$ ) 또는 기대 손실(expected-loss) 기반 정지(기대 후회 최소화)를 포함한다.
한계: 이러한 구성들은 빈도주의적 오류율 보증을 제공하지 않는다. 평평한 사전 분포(flat prior) 하에서, 사후 확률 기반 정지는 "단순 피킹(simple peeking)"(p-value < 0.05일 때 정지)과 대수적으로 동일하며, 결과적으로 제1종 오류율(Type I error rate)을 팽창시킨다. 기대 손실 기반 정지는 특정 손실 함수를 최적화하지만 FPR을 제한하지는 않는다.

Tier 2: 베이즈 인자(BF) 정지를 통한 FPR 경계 설정

정의: 선택적(지속적) 정지 상황에서도 무조건적인 허위 양성률 제어( $FPR \le \alpha$ )를 달성한다.
메커니즘: **적절한 사전 분포(proper prior)**와 베이즈 인자 임계값 규칙( $BF_{10} > 1/\alpha$ )을 결합한다.
이론적 근거: 귀무 가설 하에서 베이즈 인자의 시퀀스는 비음수 마팅게일(non-negative martingale)을 형성한다. **빌의 부등식(Ville's inequality)**에 의해, 베이즈 인자가 $1/\alpha$ 를 초과할 확률은 정지 시점과 관계없이 $\alpha$ 로 제한된다.
최적성: 사후 분포의 종단 페이오프(terminal payoff)가 아핀(affine)인 비용 함수에 대해, BF 정지는 순차적 의사결정에 있어 최적에 가깝다. 의사결정론적 정식화와 빈도주의적 정식화 사이의 선택은 주로 파라미터화의 문제이다.

Tier 3: 경험적 베이즈(EB)를 통한 FDR 경계 설정 및 교정된 수축(Shrinkage)

정의: 여러 지표에 대한 허위 발견율(FDR) 제어를 추가하고, 효과 추정치의 교정된 수축을 제공한다.
메커니즘: 과거 실험 데이터 뭉치(corpus)로부터 추정된 경험적 베이즈 사전 분포를 필요로 한다. 이 사전 분포는 일반적으로 점 질량(point mass at zero, 영효과를 나타냄)과 정규 분포(비영효과를 나타냄)로 구성된 2성분 혼합 모델이다.
보증:
- FDR 제어: 혼합 사전 분포는 과거의 비영효과율( $p$ )을 인코딩한다. 이를 BF 정지와 결래하면, 사후 오즈(posterior odds)의 $(1-\hat{p})$ 하한선이 명시적인 다중 비교 교정(예: 본페로니 교정) 없이도 베이지안 FDR을 제한한다.
- 교정된 수축: 사후 평균은 프로그램의 실제 효과 크기 분포에 따라 0을 향해 수축되며, 이를 통해 "승자의 저주(winner's curse, Type M error)"를 교정하고 추정 분산을 줄인다.
제약 사항: Tier 3의 보증은 전적으로 역사적 데이터 뭉치의 품질과 대표성에 의존한다. 실패 사례로는 "승자 선택형(winner-selected)" 데이터 뭉치(영효과를 제외한 경우), 이질적인 효과 분포를 가진 통합 프로그램, 또는 불충분한 데이터 규모(안정화를 위해 약 200개의 과거 실험 필요) 등이 있다.

3. 주요 기여

체계적 분류: 본 논문은 베이지안 A/B 테스트 구성을 오류율 보증에 따른 3단계 계층으로 정리하여, "베이지안"이 단일 방법론이 아니라 통계적 특성의 스펙트럼임을 명확히 하는 최초의 체계적 개요를 제공한다.
프레임워크의 동등성: 많은 실무적 구성에서 베이지안과 빈도주의 접근 방식의 구분이 표면적임을 입증한다.
- 평평한 사전 분포를 사용한 사후 추론은 빈도주의 z-검정과 수치적으로 동일하다.
- 베이즈 인자는 혼합 순차 확률비 검정(mSPRT) 통계량과 동일하다.
- 비용 중심의 정지 규칙은 종종 BF 임계값으로 수렴하며, 이는 의사결정론적 방식과 빈도주의적 오류율을 연결한다.
리스크의 경험적 검증: 시뮬레이션을 통해 각 구성의 리스크를 정량화한다.
- Tier 1 (평평한 사전 분포 + 사후 확률 정지): 단순 피킹을 재현하여 FPR이 $\approx 0.30$ ( $\alpha=0.05$ 기준)에 달함을 보여준다.
- Tier 2 (BF 정지): FPR을 $\alpha$ 미만으로 엄격히 제어하지만, 로그 함수적으로 증가하는 임계값 때문에 한계 신호에 대해 그룹 순차 검정(GST)보다 낮은 검정력(power)을 가질 수 있다.
- Tier 3 (EB + BF): 교정된 수축 덕분에 모든 구성 중 가장 낮은 평균 제곱 오차(MSE)를 달성하지만, 사전 분포가 잘못 지정된 경우(예: 승자 선택형 데이터) 이 이점이 사라진다.
의사결정론적 트레이드오프: 다양한 방법의 "후회(regret)"를 분석한다. 기대 손실 기반 정지는 구현 비용이 0인 경우에만 최적이다. 구현에 비-지표적 비용(유지보수, 복잡성 등)이 발생하는 경우, 통계적 증거를 요구하는 BF 정지 방식이 더 낮은 총 후회를 달성한다.

4. 시뮬레이션 결과

저자들은 계층 구조를 검증하기 위해 네 가지 시뮬레이션 설정을 제시한다.

설정 A (FPR 제어): 평평한 사전 분포 기반 사후 정지는 FPR 제어에 실패(FPR $\approx 0.30$ )하는 반면, 적절한 사전 분포를 사용한 BF 정지는 FPR $\le 0.05$ 를 유지함을 확인한다.
설정 B (순차 비교): BF 정지를 빈도주의 GST 및 항상 유효한 신뢰 구간(WS-R)과 비교한다.
- 모든 유효한 순차적 방법은 FPR을 제어한다.
- GST는 가장 높은 검정력을 보이지만 사전에 결정된 샘플 크기( $n_{max}$ )가 필요하다.
- BF 정지는 유연성( $n_{max}$ 불필요)을 제공하며, **오라클 EB 사전 분포(Oracle EB prior)**와 결합할 때 가장 낮은 MSE를 달성한다.
- 잘못 지정된 EB 사전 분포(예: 승자 선택형 데이터)는 MSE 이점을 상실하고 오류율을 팽창시킬 수 있다.
설정 C (데이터 뭉치의 품질): Tier 3의 특성(FDR 제어, 수축)이 데이터 뭉치의 품질에 매우 민감함을 보여준다. 안정성을 위해 약 200개의 실험 데이터가 필요하다. "승자 선택형" 또는 "통합된" 데이터 뭉치는 데이터가 늘어나더라도 수렴하지 않는 지속적인 FPR/FDR 팽창을 초래한다.
설정 D (후회 분석): 기대 손실 기반 정지는 배포 비용이 0일 때만 최적임을 보여준다. 배포 비용이 증가함에 따라, (설령 교정이 느슨하더라도) BF 정지가 기대 후회를 최소화하는 데 더 우수하다.

5. 의의 및 주장

본 논문은 실험 프로그램의 적절한 방법론이 특정 프레임워크에 대한 선호도가 아니라, 프로그램이 제어해야 할 리스크에 의해 결정되어야 한다고 주장한다.

리스크 기반 구성:
- 목표가 결정당 기대 비용을 최소화하는 것이고 영효과(null-effect)를 배포하는 비용이 저렴하다면, 의사결정론적(기대 손실) 규칙이 적절할 수 있다.
- 목표가 프로그램 전체의 허위 양성률(FPR) 또는 허위 발견율(FDR)을 제한하는 것이라면, Tier 2 (BF 정지) 또는 **Tier 3 (EB + BF)**가 필요하다.
교정의 필요성: "베이지안 방법"에 흔히 부여되는 이점들(자동 다중 비교 교정, 수축, 낮은 추정 오차)은 사후 분포를 사용하는 것 자체에서 오는 것이 아니라, Tier 3의 고유한 특성임을 강조한다. 적절한 역사적 데이터 뭉치로부터 도출된 교정된 EB 사전 분포가 없다면, 베이지안 구성은 빈도주의 방식보다 더 나은 보호를 제공하지 못한다.
실무적 지침: 현재 많은 플랫폼이 Tier 1에서 작동하며 의도치 않게 빈도주의 피킹 오류를 재현하고 있다. 저자들은 충분한 역사적 데이터 뭉치를 보유하지 못한 프로그램의 경우, Tier 3를 시도(부적합한 사전 분포 사용)하기보다는 약한 정보적 사전 분포(weakly informative prior)를 사용한 BF 정지(Tier 2)를 적용하고 명시적인 다중 비교 교정을 수행할 것을 권장한다.

결론적으로, 본 논문은 구성(사전 분포와 정지 규칙)의 선택이 프레임워크(베이지안 vs 빈도주의)의 선택보다 더 중요하다는 점을 역설한다. "베이지안"이라는 라벨 자체가 오류 제어를 보장하는 것이 아니라, 계층 구조 내의 특정 구성만이 대규모 실험에 필요한 엄격한 보증을 제공한다.