Prior-Free Sample Size Design for Test-and-Roll Experiments

기술적 요약: 유한 모집단 테스트 -롤 실험을 위한 사전분포 불필요 표본 크기 설계

문제 정의
본 논문은 크기 $N$인 유한 모집단 내에서 수행되는 "테스트 -롤 (test-and-roll)" 실험의 표본 크기 설계 문제를 다룹니다. 이 설정에서 의사결정자는 먼저 $m$개의 단위 중 절반 ($m/2$) 을 처리군에, 나머지 절반 ($m/2$) 을 대조군에 할당하는 무작위 통제 실험 (RCT) 을 수행합니다. 관찰된 결과에 기반하여 의사결정자는 실험에서 더 나은 성과를 보인 처리군에 나머지 $N-m$개의 단위를 할당합니다.

목표는 전체 모집단에 걸친 기대 총 후생, $E[\sum_{i=1}^N Y_i]$을 최대화하는 것입니다. 이는 근본적인 탐색 -활용 트레이드오프를 생성합니다:

1. 탐색 비용: $m$을 증가시키면 우월한 처리를 식별하는 정확도를 높이지만, 실험 단위들에게는 후생 손실을 초래합니다. 왜냐하면 사후적으로 절반은 필연적으로 열등한 처리에 할당되기 때문입니다.
2. 활용 위험: $m$을 감소시키면 실험 단위들의 즉각적인 후생 손실을 줄이지만, 잘못된 롤아웃 결정의 위험을 증가시켜 열등한 처리를 더 큰 나머지 모집단 ($N-m$) 에 할당하게 됩니다.

핵심적인 도전 과제는 진정한 처리 효과가 사전적으로 (ex ante) 알려지지 않았다는 점입니다. 본 논문은 기존 후생 기반 접근법들이 특징으로 하는 주관적 베이지안 사전분포나 임의의 하이퍼파라미터에 대한 민감성을 피하는 사전분포 불필요 (prior-free) 설계 규칙을 모색합니다.

방법론 및 기존 기준에 대한 비판
저자들은 먼저 표준 절대 최소최대 후회 (Absolute Minimax Regret) 기준을 분석합니다. 이 기준은 진정한 처리 효과를 아는 오라클에 대한 최악의 경우 후회를 최소화하도록 표본 크기 $m$을 선택합니다.

• 한계: 본 논문은 이 기준이 믿기 어려울 정도로 작은 실험 표본 크기 (예: $N=10,000$일 때 $m/N \approx 2.3\%$) 를 초래함을 보여줍니다.
• 실패 메커니즘: 절대 최소최대 프레임워크 내의 최악의 경우 적대자는 절대적 처리 효과 ($|\tau|$) 를 최대화하는 매개변수 값에 집중합니다. 이러한 극단적인 경우에서 탐색 비용 ($m/2 \cdot |\tau|$) 이 후회 함수를 지배하여, 이 기준이 탐색을 과도하게 처벌하고 표본 크기를 거의 0 에 가깝게 억제하게 됩니다.

이를 해결하기 위해 저자들은 최악의 경우 한계 편익 (Worst-case Marginal Benefit, WMB) 규칙을 제안합니다.

• 핵심 개념: 총 최악의 경우 후회를 최소화하는 대신, WMB 규칙은 한계에서의 트레이드오프를 평가합니다. 이는 실험에 추가되는 한 쌍의 매칭된 단위에 대한 최악의 경우 한계 편익을 해당 한계 탐색 비용과 비교합니다.
• 중단 규칙: 실험은 추가 쌍의 최악의 경우 한계 편익이 한계 비용을 초과하는 한 계속됩니다. 최적 표본 크기 $\hat{m}_{WMB}$는 최악의 경우 한계 편익 비율 $\eta(m, \mu_1, \mu_0)$이 1 이하로 떨어지거나 1 과 같아지는 가장 작은 짝수 $m$입니다.
• 정의:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  여기서 $\eta$는 추가된 탐색 비용 단위당 기대 롤아웃 오류 (구제된 단위) 의 감소를 측정합니다.

주요 결과

1. 3 분의 1 법칙 벤치마크:
   본 논문은 최적 표본 크기에 대한 간단하고 사전분포 불필요한 벤치마크를 확립합니다:
   $$\hat{m} \approx \frac{N}{3}$$
   이 결과는 두 가지 명확한 조건 하에서 성립합니다:

   • 베르누이 결과: 가우스 근사를 통해 WMB 기준은 $\hat{m} \approx N/3$을 산출합니다. 저자들은 엄밀하게 베르누이 문제가 "경계 희귀 사건 병리 (boundary rare-event pathology)"를 제외해야 함을 보여줍니다 (한 처리군은 분산이 0 이고 다른 처리군은 $O(1/N)$ 차수의 소멸하는 성공 확률을 가지는 경우). 이러한 병리적 경우에서 최적 표본 크기는 $N/2$에 접근합니다. 그러나 정규 내부 상태 (처리 효과가 비퇴화적인 경우) 에서는 가장 불리한 매개변수들이 대각선 근처 ($\mu_1 \approx \mu_0$) 에 국한되며, 가우스 근사가 유효해져 $N/3$ 규칙으로 이어집니다.
   • 가우스 결과 (알려진 분산): 알려진 공통 분산을 가진 가우스 분포를 따르는 결과의 경우, 점근적 근사나 경계 사례 배제의 필요성 없이 $N/3$ 벤치마크가 정확히 도출됩니다. 한계 비율 함수의 연속적 완화는 최악의 경우 한계 편익이 $m \geq N/3$일 때만 1 이하가 되는 폐형 해를 제공합니다.

2. 적대자의 행동:
   WMB 규칙 하에서 최악의 경우 적대자는 절대 최소최대 후회 하에서와 다르게 행동합니다. 총 후회를 최대화하기 위해 극단적인 처리 효과를 선택하는 대신, 적대자는 지속적인 실험의 한계 편익을 최대화하는 매개변수 값을 선택합니다. 내부 영역에서 이러한 가장 불리한 상태는 처리 간 구별이 가장 어려운 대각선 근처 ($\mu_1 \approx \mu_0$) 에 집중됩니다.

3. 수치적 검증:
   수치 연구는 작은 $N$의 경우 경계 효과가 표본 크기를 $N/2$ 쪽으로 밀어낼 수 있음을 확인합니다. $N$이 증가함에 따라 가장 불리한 매개변수들이 경계에서 멀어지고, 최적 표본 크기는 $N/3$ 근처에서 안정화됩니다.

의의 및 기여
본 논문은 후생 기반 표본 크기 설계를 위한 실제 구현 가능한 사전분포 불필요 가이드를 제공한다고 주장합니다.

• 실용성: 결과 규칙 ($m \approx N/3$) 은 전체 모집단 크기 $N$에만 의존합니다. 의사결정자가 주관적 사전분포, 사전 분산, 또는 실제에서 정당화하기 어려운 다른 튜닝 매개변수를 지정할 필요가 없습니다.
• 이론적 견고성: 총 후회 최소화에서 한계 편익 분석으로 전환함으로써, 본 논문은 표준 최소최대 후회 기준에 내재된 탐색의 "과도한 처벌"을 피합니다.
• 후생 초점: 가설 검정을 위한 제 1 종/제 2 종 오류를 통제하는 기존 검정력 분석과 달리, 이 접근법은 유한 모집단의 후생 목표를 직접 최적화하며, 실험 비용과 비최적 롤아웃 위험을 명시적으로 균형시킵니다.

저자들은 WMB 규칙이 유한 모집단 테스트 -롤 실험에서의 탐색 -활용 트레이드오프에 대한 견고한 해결책을 제공하며, 주관적 사전 신념과 무관한 명확하고 이론적으로 근거 있는 중단 규칙을 제공한다고 결론지었습니다.