Balancing Evidentiary Value and Sample Size of Adaptive Designs with Application to Animal Experiments

기술적 요약: 동물 실험 적용을 위한 적응형 설계의 증거 가치와 표본 크기 균형

문제 제기
동물 연구에서 3R 원칙 (대체, 감소, 정제) 의 '감소 (Reduce)' 기둥은 신뢰할 수 있는 통계적 추론을 유지하면서 실험 단위의 수를 최소화할 것을 주장합니다. 표준 통계적 가설 검정은 일반적으로 제 1 종 오류율 ($\alpha$) 을 통제하고 검정력을 최대화하는 데 중점을 두며, 기대 표본 크기는 무시하거나 고정된 제약 조건으로 취급하는 경향이 있습니다. 이는 특히 효능 또는 무효로 인한 조기 중단이 허용되는 적응형 설계 (예: 그룹 순차 설계) 와 같은 다양한 실험 설계를 비교할 때 어려움을 야기합니다. 이러한 설계는 무작위 표본 크기를 초래하여, 특히 설계마다 제 1 종 오류율이나 기대 표본 크기가 다른 경우 검정력과 오류율을 직접 비교하기 어렵게 만듭니다. 기존 성능 점수는 종종 표본 크기 변동을 고려하지 않거나 구성 요소에 임의의 가중치를 부여해야 합니다. 본 논문은 단일 실험 단위의 증거 가치를 정량화하기 위해 제 1 종 오류, 검정력, 그리고 표본 크기를 균형 있게 고려하는 통합 지표를 필요로 하는 문제를 다룹니다.

방법론
저자들은 **실험 단위 정보 지수 (Experimental Unit Information Index, EUII)**라고 불리는 새로운 측정 지표를 제안합니다. 방법론은 다음과 같은 논리적 단계에 기반합니다:

1. 진단적 우도비 (Diagnostic Likelihood Ratios): 저자들은 진단 검사에서 온 개념을 통계적 가설 검정에 적용합니다. 그들은 검사 결과에 대한 양적 및 음적 우도비 ($LR_+$ 및 $LR_-$) 를 정의합니다:

   • $LR_+ = \text{검정력} / \text{제 1 종 오류율}$
   • $LR_- = (1 - \text{검정력}) / (1 - \text{제 1 종 오류율})$
     이러한 비율은 유의하거나 유의하지 않은 결과가 주어졌을 때 대립 가설 ($H_1$) 이 참일 확률비 (odds) 와 관련이 있습니다.

2. 진단적 오즈비 (DOR): DOR 은 이러한 우도비의 비율로 정의됩니다 ($DOR = LR_+ / LR_-$). 이는 $H_1$과 $H_0$ 사이를 구별하는 검정의 능력을 정량화하며, 빈도론적 관점에서는 $H_1$ 대 $H_0$ 하에서의 유의성 오즈비 비율로, 베이지안 관점에서는 유의한 결과 대 유의하지 않은 결과가 주어졌을 때 $H_1$의 사후 오즈비 비율로 해석될 수 있습니다.

3. 표본 크기 정규화 (EUII): 실험 단위 수 ($n$) 를 고려하기 위해, 저자들은 DOR 의 $n$제곱근을 취할 것을 제안합니다:
   $$EUII = DOR^{1/n} = \frac{(LR_+)^{1/n}}{(LR_-)^{1/n}}$$
   이는 전체 증거 가치에 대한 단일 실험 단위의 기하평균 기여도를 나타냅니다. 유용한 검정은 $EUII > 1$을 가집니다.

4. 적응형 설계로 확장: 표본 크기 $N$이 무작위인 적응형 설계의 경우, 저자들은 EUII 를 일반화합니다. 우도비가 오즈비에 곱셈적으로 작용하므로, 지수는 유의 ($N_+$) 및 유의하지 않음 ($N_-$) 발견에 대한 기대 역표본 크기를 사용하여 정의됩니다:
   $$EUII = (LR_+)^{E(1/N_+)} / (LR_-)^{E(1/N_-)}$$
   이 공식은 표본 크기의 변동성 (변동 계수를 통해) 을 고려하며, 귀무 가설과 대립 가설 하의 기대 역표본 크기에 가중치를 부여하기 위해 대립 가설의 사전 확률 $Pr(H_1)$에 대한 입력값을 요구합니다.

주요 기여 및 결과

• 이론적 특성: 논문은 고정된 표본 크기에 대한 EUII 의 점근적 값을 유도합니다. 단일 표본 $z$-검정의 경우, $\lim_{n \to \infty} EUII = \exp(\delta^2/2)$이며, 여기서 $\delta$는 표준화된 효과 크기입니다. 두 표본 검정의 경우, 극한값은 $\exp(\delta^2/8)$입니다. 이는 점근적 증거 가치가 대립 가설 하에 가정된 효과 크기에만 의존함을 보여줍니다.
• 동기 부여 사례 연구 (Bonapersona et al., 2021): 저자들은 신경과학 및 대사 분야의 2,738 건의 동물 실험을 재분석했습니다. 중간 분석을 시뮬레이션함으로써, 무효 중단이 포함된 그룹 순차 설계는 상당수의 동물을 절약할 수 있음을 입증했습니다 (예: Pocock 설계에 무효 중단을 적용한 경우 데이터셋에서 약 13,500 마리의 동물이 절약됨). 이는 합리적인 거부율을 유지하면서 달성되었습니다.
• 그룹 순차 설계 비교: Pocock, O'Brien-Fleming, Haybittle-Peto 설계 (무효 중단 유무 포함) 를 비교한 시뮬레이션에서 EUII 는 다음과 같은 사실을 밝혔습니다:
  • 적응형 설계는 일반적으로 고정 표본 크기 설계보다 높은 EUII 값을 산출합니다.
  • Pocock 방법은 특히 무효 중단과 결합되었을 때 일관되게 가장 높은 EUII 를 보여주었습니다. 이는 귀무 가설 하에서 더 일찍 중단할 수 있게 하는 일정한 명목 유의수준에 기인하며, 이로 인해 유의하지 않은 결과에 대한 기대 표본 크기가 감소합니다.
  • EUII 는 사전 확률 $Pr(H_1)$에 민감하지만, 방법들의 상대적 순위는 종종 안정적으로 유지됩니다.
• "제약된 표본 증대 (Constrained Sample Augmentation, N-hacking)" 평가: 논문은 Reinagel(2023) 의 "제약된 표본 증대" 방법을 평가했습니다. 이 방법은 $p > 0.1$인 경우 무효 중단이 적용된다는 전제 하에 "유의성 경향"이 관찰되면 데이터를 추가하는 방식입니다.
  • 이 방법은 제 1 종 오류율을 과대평가하지만, EUII 분석은 단위당 높은 증거 가치를 달성할 수 있음을 보여주었으며, 종종 무효 중단이 없는 표준 그룹 순차 방법보다 우수한 성능을 보였습니다.
  • 그러나 표준 그룹 순차 방법 (예: Pocock) 이도 예측 검정력에 기반한 무효 중단이 갖춰진 경우, 특히 더 큰 효과 크기의 경우 Reinagel 의 접근 방식의 EUII 를 일치시키거나 초과하는 경우가 많습니다.

의의 및 주장
본 논문은 EUII 가 서로 다른 제 1 종 오류율, 검정력 수준, 그리고 기대 표본 크기를 가진 통계적 설계를 직접 비교할 수 있게 하는 "단일 실험 단위의 증거 가치 측정치"를 제공한다고 주장합니다.

• 실용적 유용성: 저자들은 EUII 가 동물당 정보를 최대화하는 것을 목표로 하는 동물 연구에서 특히 유용하다고 주장합니다. 이는 오류율과 표본 크기 효율성 사이의 트레이드오프를 균형 있게 조정하는 단일 지표를 제공합니다.
• 설계 선택: 결과는 동물 실험의 경우, 일정한 유의 임계값 (예: Pocock) 을 가진 그룹 순차 설계에 무효 중단을 결합하는 것이 종종 최적임을 시사합니다. 이는 증거 가치를 희생하지 않으면서 귀무 가설 하의 기대 표본 크기를 최소화하기 때문입니다.
• 제한된 범위: 저자들은 EUII 가 사전 확률 $Pr(H_1)$의 지정과 가정된 효과 크기에 의존함을 인정합니다. 그들은 실제적으로 EUII 는 종종 시뮬레이션을 통해 추정되어야 한다고 지적합니다. 논문은 EUII 가 검정력 계산을 대체하는 것이 아니라, 특히 3R 원칙의 맥락에서 설계 선택 및 최적화를 위한 보완적 지표라고 주장하지는 않습니다.

논문은 EUII 가 빈도론적 오류율과 베이지안 사후 오즈비를 표본 크기 조정 지표로 성공적으로 통합하여, 전임상 연구에서 적응형 실험 설계 평가 및 최적화를 위한 강력한 프레임워크를 제공한다고 결론지었습니다.