기술 요약: 순차적 가설 검정에서의 정밀도와 결정성 목표

1. 문제 정의

순차적 가설 검정은 데이터를 축적함에 따라 평가를 수행할 수 있게 함으로써 고정 표본 설계보다 유연성을 제공한다. 그러나 중단 규칙(데이터 수집을 언제 멈출 것인가)과 의사결정 기준(데이터를 어떻게 해석할 것인가) 사이에는 중대한 긴장이 존재한다.

• 결합 문제 (The Coupling Problem): HDI+ROPE 알고리즘(Kruschke, 2011, 2013, 2015)과 같이 널리 사용되는 방법들은 중단 규칙을 의사결정 기준에 직접 결합한다. 이 알고리즘은 사후 최고 밀도 구간(HDI)이 실용적 등가 영역(ROPE)의 완전히 외부 또는 내부에 놓이는 즉시 중단된다. 이는 귀무가설에 대한 긍정적 수용을 가능하게 하지만(NHST와 달리), "조기 관찰(early peeking)"을 통한 확증 편향의 위험을 초사한다. 대표성이 없는 초기 샘플에서 넓은 HDI가 의사결정 기준을 조기에 충족할 경우, 체계적인 허위 양성 비용을 발생시킬 수 있다.
• 분리 문제 (The Decelpling Problem): 편향을 제거하기 위해, "정밀도가 목표다(Precision is the Goal, PitG)" 방법(Kruschke, 2015)은 중단 규칙을 의사결정으로부터 분리한다. 이 방법은 가설의 결과와 상관없이 목표 사후 정밀도(HDI 폭, $\omega_{goal}$)에 도달했을 때만 중단한다. PitG는 이러한 조기 관찰 편향을 제거하지만, 새로운 실패 모드를 도입한다. 즉, 귀무가설이 참일 때(또는 실질적으로 참일 때), PitG는 귀무가설을 올바르게 수용하기보다는 빈번하게 결론 불능(inconclusive) 결과를 낸다. 이러한 높은 결론 불능률은 생물학적 동등성 시험이나 소프트웨어 회귀 테스트와 같이 귀무가설의 엄격한 확인이 필요한 분야에서 그 효용성을 제한한다.

본 논문은 간극을 식별한다: 정밀도 기반 중단의 편향 없는 특성을 유지하면서도, 특히 귀무가설이 참일 때 높은 결정성(decisiveness)을 보장하는 방법이 필요하다.

2. 방법론

저자는 두 가지 조건이 동시에 충족되어야 중단하도록 PitG 프레임워크를 수정한 새로운 알고리즘인 **"결정적 정밀도가 목표다(Decisive Precision is the Goal, DPitG)"**를 제안한다.

1. 정밀도 조건: 사후 HDI의 폭($\omega_{HDI}$)이 사전 지정된 목표($\omega_{goal}$)보다 작거나 같아야 한다.
2. 결정성 조건: HDI가 ROPE의 완전히 내부(수용) 또는 완전히 외부(기각)에 있어야 한다.

핵심 구성 요소

• 공통 의사결정 규칙: 세 가지 알고리즘(HDI+ROPE, PitG, DPitG) 모두 ROPE 경계와 95% HDI 사이의 관계를 기반으로 동일한 의사결정 규칙을 사용한다:
  • 귀무가설 수용: HDI $\subset$ ROPE.
  • 귀무가설 기각: HDI $\cap$ ROPE = $\emptyset$.
  • 결론 불능: HDI가 ROPE를 가로지름(straddles).
• 중단 기준의 차이:
  • HDI+ROPE: 결정적인 결정이 내려지는 즉시 중단된다 (결합됨).
  • PitG: $\omega_{goal}$에 도달하는 즉시 중단된다 (분리됨), 그 후 의사결정을 확인한다.
  • DPitG: $\omega_{HDI} \le \omega_{goal}$ 및 결정적인 결정이 가능할 때까지 샘플링을 지속한다.

이론적 프레임워크

저자는 정규 근사(중심 한계 정리) 하에서 목표 정밀도를 달성하기 위해 필요한 기대 표본 크기($N_{goal}$)에 대한 폐쇄형 계획 공식을 도출한다:
$$N_{goal} \propto \frac{V}{\omega_{goal}^2}$$
여기서 $V$는 관측 분산이다. 베르누이 매개변수 $\theta$의 경우, $V \propto \theta(1-\theta)$이다. 이 공식은 연구자가 원하는 정밀도를 달성하기 위해 필요한 최소 예산을 사전 지정할 수 있게 하며, $\theta_{null} = 0.5$일 때 보수적인 상한선 역할을 한다.

실험 설계

방법론은 베르누이 시행(단일 그룹 이진 데이터)에 기반한 합성 데이터 시뮬레이션을 통해 평가되었다:

• 규모: 최대 $N_{max} = 1,500$회의 시행을 가진 $M = 5,000$개의 독립적인 시퀀스.
• 매개변수: $\theta_{null} = 0.5$, ROPE = $[0.45, 0.55]$ ($\Delta_{ROPE} = 0.1$), $\omega_{goal} = 0.08$.
• 시나리오: $\theta_{null} = 0.5$를 포함하여 0.5에서 0.8까지의 다양한 실제 매개변수($\theta_{true}$) 범위에서 테스트하였다.

3. 주요 결과

시뮬레이션은 DPitG가 편향, 결론성, 샘플링 비용 사이의 트레이드오프를 성공적으로 균형 잡고 있음을 보여준다.

"공정한 동전" 사례에서의 성능 ($\theta_{true} = 0.5$)

• HDI+ROPE: 높은 결론성 비율(98.2%)을 달성했으나, 6.3%의 허위 양성률(귀무가설을 잘못 기각)을 기록했다.
• PitG: 허위 양성이 제로였으나, 귀무가설이 참인 대부분의 경우에서 결론을 내지 못하는 62.1%의 결론 불능률을 겪었다.
• DPitG: 공정한 동전 시나리오에서 97.8%의 결론성을 달성하면서도 허위 양성이 제로였다.
  • 비용: DPitG의 중앙값 샘플링 비용은 PitG보다 단 4.7% 높았다.
  • 효율성: PitG는 정확히 $N_{goal}$에서 멈추지만, DPitG는 정밀도와 결정성이 조기에 일치하는 실험의 경우 $N_{goal}$에서 멈추면서도, 결정 불능 상태를 해결하기 위해 필요한 경우에만 샘플링을 연장한다.

민감도 및 일반적 경향

• $\omega_{goal}$에 대한 강건성: 정밀도 목표 $\omega_{goal}$이 엄격해지거나 완화됨에 따라 PitG의 결론성 비율은 크게 변동했으나( $\omega_{goal} = 0.10$에서 0%로 하락), DPitG는 전체 범위에 걸쳐 높은 결론성(>97%)을 유지했다.
• 편향: HDI+ROPE 알고리즘은 왜곡되고 정밀도가 낮은 샘플에서 중단될 수 있기 때문에 상당한 추정 편향($\hat{\theta}$)을 보였다. PitG와 DPitG는 모두 모든 $\theta_{true}$ 값에 대해 제로에 가까운 총체적 편향을 유지했다. 그러나 저자는 대칭성이 깨질 때(예: $\theta_{true} \neq 0.5$) 미세한 편향이 나타날 수 있음을 언급했다. 또한 ROPE 내에서 PitG는 결론이 난 실험에 대해 DPitG보다 약간 높은 편향을 보였으나, 결론 불능 실험에서는 양상이 역전되었다.
• 일반화 가능성: DPitG가 PitG보다 우월하다는 점(더 높은 결론성과 무시할 만한 추가 비용)은 $\theta_{true}$가 귀무가설에서 멀어질 때도 지속되었으며, 이 프레임워크는 연속형 결과 및 두 집단 비교로 확장 가능하다.

4. 주요 기여

1. 제안된 알고리즘 (DPitG): PitG의 높은 결론 불능 문제를 해결하면서도 제로에 가까운 편향 특성을 유지하기 위해 이중 기준(정밀도 + 결정성)을 강제하는 새로운 순차적 중단 규칙을 제안했다.
2. 폐쇄형 계획 공식: $N_{goal} \propto V/\omega_{goal}^2$를 도출하여, 연구자가 주어진 정밀도 목표에 대해 필요한 표본 크기를 계산할 수 있는 사전 등록 가능한 방법을 제공했다.
3. 실증적 검증: 공정한 동전 시나리오에서 DPitG가 결합된 방법들의 허위 양성 비용을 초래하지 않으면서, PitG의 결론 불능률을 약 62%에서 약 2%로 낮추고 약 5%의 추가 비용만으로 이를 달성함을 종합적인 시뮬레이션 증거로 입증했다.
4. 실용적 도구: 응용 환경에서의 채택을 촉진하기 위해 온라인 대화형 계산기와 오픈 소스 코드를 제공한다.

5. 의의 및 주장

본 논문은 DPitG를 신뢰할 수 있는 판결이 요구되고 연구가 최소 $N_{goal}$만큼의 관측치를 수집할 여력이 있는 시나리오에서 최적의 방법으로 위치시킨다.

• 긴장의 해결: DPitG는 정밀도를 중단을 위한 필요조건이지만 충분조건은 아닌 것으로 만듦으로써 PitG의 내재적 긴장을 해결한다. 이는 연구가 중단될 때 그 결과가 정밀하면서도 결정적임을 보장한다.
• 과학적 엄밀성: DPitG는 귀무가설의 엄격한 확인을 지원하며, 이는 NHST에서 부족하거나 현재 PitG의 높은 결론 불능률로 인해 위협받고 있는 능력이다. 이는 생물학적 동등성, "해를 끼치지 않음(do-no-harm)" 테스트, 효력 중단(futility stopping) 등의 분야에서 매우 중요하다.
• 사전 등록 호환성: 중단 규칙이 데이터 의존적 임계값이 아닌 $N_{goal}$과 $\omega_{goal}$에 기반하여 완전히 사전 지정되므로, 사전 등록 표준과 부합하며 재현성 위기에 영향을 미치는 설계 단계의 부정확성 문제를 해결한다.
• 인식론적 정직성: 저자는 정밀도 요구 사항이 결함이 아니라 특징이라고 주장한다. 이는 현실적인 계획을 강제하고 분석가가 불충분한 데이터에 근거해 판결을 내리는 것을 방지한다. 데이터가 예산 내에서 결론을 뒷받침할 수 없다면 DPitG는 (PitG와 마찬가지로) 허위 결론을 강요하지 않지만, PitG와 달리 필요한 경우에만 샘플링 예산을 연장함으로써 "결론 불능" 결과의 빈도를 최소화한다.

본 논문은 DPitG가 일부 시나리오에서 PitG에 비해 약간 더 많은 표본 크기를 요구할 수 있지만, 이 비용은 결론성을 높이고 HDI+ROPE와 같은 결합된 방법들의 체계적인 허위 양성 오류를 피하는 데서 얻는 이득에 비하면 무시할 만한 수준이라고 결론짓는다.