📊 statistics

E-values as statistical evidence: A comparison to Bayes factors, likelihoods, and p-values

이 논문은 e-value 와 e-process 가 p-value, 우도비, 베이지안 요인과 같은 기존 통계적 증거 측정치들의 장점을 결합하고 다양한 통계 전통의 요구사항을 충족시킨다고 주장하며, 이를 해석 가능하고 직관적인 통계적 증거의 새로운 기준으로 제안합니다.

원저자: Ben Chugg, Aaditya Ramdas, Peter Grünwald

게시일 2026-03-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ben Chugg, Aaditya Ramdas, Peter Grünwald

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 통계학자들이 오랫동안 싸워온 **"어떤 숫자가 진짜 증거인가?"**라는 질문에 대한 새로운 해법을 제시합니다.

통계학계에는 세 가지 주요 세력이 있습니다:

p-value (p-값) 군단: "이 결과가 우연일 확률이 얼마나 낮은가?"를 봅니다. (전통적인 방법)
Likelihood Ratio (가능도 비) & Bayes Factor (베이즈 인자) 군단: "이 가설이 맞을 확률이 다른 가설보다 얼마나 더 높은가?"를 비교합니다. (비교 중심)
새로운 영웅: E-value (E-값) & E-process (E-과정): 이 논문이 소개하는 주인공들입니다.

이 논문은 E-value가 기존 방법들의 단점을 모두 해결하면서, 가장 이상적인 '증거의 척도'가 될 수 있다고 주장합니다.

🎲 핵심 비유: "통계적 도박 게임"

이 논문의 가장 큰 특징은 E-value 를 **도박 게임의 '돈' (자본)**으로 비유한다는 점입니다.

상황: 여러분은 '가짜'라고 의심하는 가설 (Null Hypothesis, 예: "이 동전은 공평하다") 에 맞서 도박을 합니다.
규칙:
- 가설이 진실이라면, 여러분은 장기적으로 절대 돈을 벌 수 없습니다. (기대 수익이 1 달러 이하)
- 하지만 가설이 거짓이라면 (예: 동전이 조작되어 앞면만 나온다), 여러분은 엄청난 돈을 벌 수 있습니다.
E-value 의 의미:
- E-value = 1: 도박을 시작할 때 가진 돈 (1 달러). 아직 증거가 없음.
- E-value = 100: 여러분이 1 달러로 시작해 100 달러를 벌었습니다. "가설이 거짓일 가능성이 매우 높다"는 강력한 증거입니다.
- E-value = 0.01: 여러분이 돈을 잃었습니다. 가설이 맞을 가능성이 높습니다.

이 '돈'의 개념이 왜 중요한지, 기존 방법들과 비교해 보겠습니다.

⚔️ 기존 방법들의 약점 vs E-value 의 강점

1. "중단할지, 계속할지?" (Optional Stopping)

p-value 의 치명적 약점: p-value 는 실험을 처음부터 끝까지 정해진 수로 해야만 믿을 수 있습니다.
- 예시: "100 명을 조사해서 p-value 가 0.04 라면 OK"라고 했다가, 중간에 결과가 좋으니까 "아, 50 명만 조사했는데 0.04 라면 어떨까?"라고 생각하면 p-value 는 무효가 됩니다. (데이터를 보고 실험을 멈추거나 늘리는 'p-hacking'을 막기 위함입니다.)
- 비유: 축구 경기에서 "10 분만 뛰고 점수가 1 점이면 승리"라고 정해뒀는데, 5 분 만에 1 점 나오니까 "아, 5 분으로 줄여서 승리!"라고 하면 규칙 위반이죠.
E-value 의 해결책: E-value 는 언제 멈춰도 (Optional Stopping) 상관없습니다.
- 비유: 도박 게임에서 "내가 언제 멈추든, 가설이 진실이라면 절대 돈을 못 번다"는 규칙이 수학적으로 보장됩니다. 결과가 좋으면 언제든 멈추고 "보라, 내가 100 배 벌었다!"라고 외쳐도 됩니다.

2. "데이터 합치기" (Composability)

문제: 여러 연구팀이 따로따로 실험을 하고 결과를 합쳐야 할 때 (메타 분석), p-value 는 합치기가 매우 어렵습니다. (데이터가 서로 독립적이지 않거나, 실험 설계가 다르면 안 됩니다.)
E-value 의 해결책: E-value 는 단순히 곱하기만 하면 됩니다.
- 비유: 팀 A 가 10 배, 팀 B 가 20 배의 돈을 벌었다면, 합쳐서 200 배 (10 × 20) 의 증거가 됩니다. 데이터가 어떻게 연결되어 있든 상관없이 이 '돈'은 계속 불어나고, 그 증거는 유효합니다.

3. "하나의 가설만 봐도 되나?" (Single Hypothesis)

Likelihood Ratio 의 한계: "A 가 B 보다 더 맞다"고 말하려면 반드시 두 가설 (A 와 B) 이 모두 있어야 합니다. "A 가 맞다"는 말만 할 수 없습니다.
E-value 의 장점: 한 가설만 있어도 "이 가설은 틀렸다"는 증거를 낼 수 있습니다.
- 비유: "이 동전이 공평하지 않다"는 증거를 낼 때, "공평하지 않은 동전의 종류"를 미리 정해둘 필요가 없습니다. 그냥 "공평하다"는 가설에 맞서 돈을 많이 벌었다면, 그 가설은 틀린 것입니다.

📊 요약: E-value 가 왜 특별한가?

이 논문은 E-value 가 다음과 같은 완벽한 증거 도구의 조건들을 거의 모두 만족한다고 말합니다:

연속적인 척도: "통계적으로 유의하다/아니다"라는 딱딱한 선이 아니라, 1 배, 10 배, 100 배처럼 증거의 강도가 연속적입니다.
오류 통제: "가설이 진실일 때, 우리가 잘못해서 돈을 많이 벌 확률"을 수학적으로 엄격하게 통제합니다. (p-value 의 장점을 계승)
유연성: 실험을 중간에 멈추거나, 계속하거나, 여러 실험을 합쳐도 증거가 무너지지 않습니다.
직관성: "도박에서 번 돈"이라는 개념이라, 비전문가도 "와, 100 배나 벌었네? 가설은 틀렸구나!"라고 쉽게 이해할 수 있습니다.

🏁 결론

이 논문은 통계학자들이 수십 년간 "어떤 숫자가 가장 정확한 증거인가?"를 두고 싸워온 것을 정리하며, E-value가 p-value 의 엄격함, Likelihood Ratio 의 비교 능력, Bayes Factor 의 유연성을 모두 섞어놓은 최고의 하이브리드 증거 도구라고 주장합니다.

한 줄 요약:

"통계적 증거를 '도박에서 번 돈'으로 생각하면, 언제 멈추든, 몇 번 합치든, 가설 하나만 있어도 정확하고 직관적인 증거를 얻을 수 있다."

이 새로운 방법론은 과학 연구의 신뢰성을 높이고, 데이터 분석의 유연성을 크게 개선할 것으로 기대됩니다.

논문 요약: 통계적 증거로서의 E-값: Bayes 인자, 우도비, p-값과의 비교

이 논문은 통계적 가설 검정에서 '증거 (evidence)'를 측정하는 척도로 **E-값 (e-value)**과 그 순차적 대응물인 **E-프로세스 (e-process)**를 제안하고, 이를 기존의 p-값, 우도비 (Likelihood Ratios), Bayes 인자와 비교 분석합니다. 저자들은 E-통계량 (e-statistics) 이 다양한 통계적 전통 (빈도주의, 베이지안, 우도주의) 의 요구 사항을 종합적으로 만족하며, 해석 가능하고 직관적인 통계적 증거의 새로운 표준이 될 수 있음을 주장합니다.

1. 문제 제기 (Problem)

통계학의 철학적 논쟁 중 하나는 "어떤 것이 가설에 대한 증거로 간주되어야 하는가"에 대한 것입니다.

p-값: Ronald Fisher 등에 의해 대중화되었으나, 표본 크기에 따른 불변성 부족, 선택적 정지 (optional stopping) 문제, 일관성 부재 등의 한계로 인해 많은 통계학자들이 이를 적절한 '증거' 척도로 보지 않습니다.
우도비 (Likelihood Ratio) 및 Bayes 인자: p-값의 대안으로 제시되었으나, 복합 가설 (composite hypotheses) 처리의 어려움, 사전분포 (prior) 의존성 (Bayes), 또는 선택적 정지에 대한 민감성 등의 문제가 여전히 존재합니다.
핵심 문제: 현재까지 어떤 단일한 증거 척도도 모든 통계적 전통이 요구하는 이상적인 조건 (desiderata) 을 모두 만족하지 못했습니다.

2. 방법론 및 핵심 개념 (Methodology & Key Concepts)

저자들은 E-통계량을 **베팅 게임 (Betting Game)**의 관점에서 정의하고 분석합니다.

E-변수 (E-variable): 가설 $H$ $H$ 에 대한 E-변수 $E$ $E$ 는 $H$ $H$ 가 참일 때 모든 $P \in H$ $P \in H$ 에 대해 $E_P[E] \le 1$ $E_{P} [E] \leq 1$ 을 만족하는 비음수 확률변수입니다.
- 해석: 통계학자가 자연 (Null 가설) 에 대해 베팅할 때, $H$ 가 참이라면 기대 수익이 1 을 넘지 않는다는 의미입니다. 따라서 관측된 E-값이 크다면 (예: 100 배), 이는 Null 가설에 대한 강력한 증거로 해석됩니다.
E-프로세스 (E-process): 순차적 데이터 ( $X_1, X_2, \dots$ ) 에 적용되는 E-변수의 확장입니다. 임의의 정지 시간 (stopping time, $\tau$ ) 에서도 $E_P[E_\tau] \le 1$ 을 만족합니다. 이는 **선택적 정지 (optional stopping)**와 **선택적 계속 (optional continuation)**이 가능함을 의미합니다.
비교 대상:
- p-값: $1/E$ 가 p-값이 될 수 있음 (Markov 부등식).
- 우도비: 단순 가설 간의 우도비는 E-변수의 특수한 경우입니다.
- Bayes 인자: 특정 조건 (단순 대립가설 등) 하에서 E-변수가 될 수 있습니다.

3. 주요 기여 (Key Contributions)

21 가지 증거 기준 (Desiderata) 의 체계화:
- 논문은 통계 철학 (베이지안, 빈도주의, 우도주의) 에서 요구하는 21 가지 증거 기준을 **정적 (Static)**과 **동적 (Dynamic)**으로 분류하여 정리했습니다.
- 정적 기준: 스칼라 측정, 연속성, 분석가 무관성, 일관성, 표본 크기 불변성, 단일 가설 유효성 등.
- 동적 기준: 고정/유연 설계 하의 증거 누적, 역설적 상황 (counterfactuals) 불변성, 선택적 정지 허용 등.
E-통계량의 포괄적 평가:
- E-통계량이 위 21 가지 기준을 얼마나 만족하는지 p-값, 우도비, Bayes 인자와 비교했습니다.
- 결론: E-통계량은 단일 척도로서 모든 기준을 완벽하게 만족하지는 않지만, 다른 척도들이 실패하는 많은 기준 (특히 복합 가설 처리, 선택적 정지, 의존성 하의 결합) 을 만족하거나 부분적으로 만족합니다.
새로운 해석의 제시:
- E-값을 "Null 가설에 대한 베팅에서의 자본 증가"로 해석하여, p-값이 가진 해석의 모호성을 해소하고 직관적인 이해를 제공합니다.
- E-통계량이 우도비의 일반화 (Generalized Likelihood Ratio) 로 볼 수 있음을 보여주며, 복합 가설 설정에서도 우도비의 논리를 유지합니다.

4. 주요 결과 및 비교 분석 (Results)

기준 (Desideratum)	p-값	우도비 (LR)	Bayes 인자	E-통계량
단일 가설 유효성	⭕	❌ (비교 필요)	❌ (비교 필요)	⭕
선택적 정지 (Optional Stopping)	❌	⭕ (E-process)	⭕ (사전분포 고정 시)	⭕
증거 누적 (Flexible Design)	❌	❌	⭕ (주관적) / ❌ (객관적)	⭕
복합 가설 처리	⭕	❌ (일반화 필요)	⭕ (사전분포 필요)	⭕
오류율 제어 (Long-run error rates)	⭕	⭕ (일부)	❌	⭕
의존성 하의 결합 (Composability)	⭕ (제한적)	❌	❌	⭕

E-통계량의 강점:
- 선택적 정지/계속: 데이터 수집을 언제 멈출지 미리 정하지 않아도 (Data-dependent stopping) 유효한 오류율 보장을 제공합니다.
- 복합 가설: 명시적인 대립가설 없이도 단일 가설에 대한 증거를 제시할 수 있습니다.
- 결합 (Meta-analysis): 여러 연구의 E-값을 곱하여 (또는 가중 평균하여) 결합할 수 있으며, 이는 데이터 간 의존성이 있더라도 유효합니다.
- 비모수적 처리: 비모수적 가설 (예: 평균이 $\mu$ 인 모든 분포) 에 대해서도 잘 정의된 E-변수를 구성할 수 있습니다.
E-통계량의 약점:
- 비유니크성 (Non-uniqueness): 주어진 문제에 대해 여러 E-변수를 구성할 수 있습니다. (이는 p-값이나 Bayes 인자도 마찬가지이나, E-값의 경우 최적성 기준이 명확하지 않을 수 있음).
- 내부 실험 역설 (Intra-experiment counterfactuals): E-프로세스가 모든 역설적 상황에 완벽하게 대응하는지는 아직 연구가 더 필요합니다.

5. 의의 및 결론 (Significance)

통계적 증거의 통합: E-통계량은 p-값의 빈도주의적 오류율 제어, 우도비의 비교적 논리, Bayes 인자의 유연성을 모두 아우르는 "하이브리드"적인 성격을 가집니다.
실용적 가치: 임상 시험, A/B 테스트, 메타 분석 등 데이터 수집 과정이 동적으로 변하는 현대 연구 환경에서, 선택적 정지나 유연한 설계 하에서도 신뢰할 수 있는 증거를 제공합니다.
미래 방향: E-통계량은 통계적 추론의 새로운 표준으로 자리 잡을 잠재력을 가지며, 특히 "어떤 가설이 틀렸음을 증명하는 (evidence against)" 도구로서 매우 강력합니다.

결론적으로, 저자들은 E-통계량이 통계적 증거를 측정하는 데 있어 기존 방법론들의 단점을 보완하고 장점을 결합한 유망한 대안이며, 통계학계와 응용 분야에서 진지하게 고려해야 할 척도라고 강조합니다.