Prior-Free Sample Size Design for Test-and-Roll Experiments

Resumen Técnico: Diseño de Tamaño de Muestra sin Priors para Experimentos de Prueba y Rodaje

Formulación del Problema
Este artículo aborda el problema de diseño del tamaño de muestra para experimentos de "prueba y rodaje" (test-and-roll) realizados dentro de una población finita de tamaño $N$. En este escenario, un tomador de decisiones primero realiza un ensayo controlado aleatorizado (ECA) en un subconjunto de $m$ unidades (con $m/2$ asignadas al tratamiento y $m/2$ al control). Basándose en los resultados observados, el tomador de decisiones asigna las $N-m$ unidades restantes al brazo de tratamiento que tuvo un mejor desempeño en el experimento.

El objetivo es maximizar el bienestar total esperado en toda la población, $E[\sum_{i=1}^N Y_i]$. Esto crea una compensación fundamental entre exploración y explotación:

1. Costo de Exploración: Aumentar $m$ mejora la precisión para identificar el tratamiento superior, pero impone pérdidas de bienestar en las unidades experimentales, ya que la mitad son inevitablemente asignadas al tratamiento inferior ex post.
2. Riesgo de Explotación: Disminuir $m$ reduce la pérdida inmediata de bienestar en las unidades experimentales, pero aumenta el riesgo de tomar una decisión de rodaje errónea, asignando así el tratamiento inferior a la población restante más grande ($N-m$).

El desafío central es que los verdaderos efectos del tratamiento son desconocidos ex ante. El artículo busca una regla de diseño que sea sin priors, evitando la sensibilidad a priores bayesianos subjetivos o hiperparámetros arbitrarios que caracterizan los enfoques basados en bienestar existentes.

Metodología y Crítica de Criterios Existentes
Los autores analizan primero el criterio estándar de Regret Minimax Absoluto, que selecciona el tamaño de muestra $m$ para minimizar el arrepentimiento en el peor caso relativo a un oráculo que conoce los verdaderos efectos del tratamiento.

• Limitación: El artículo demuestra que este criterio conduce a tamaños de muestra experimental implausiblemente pequeños (por ejemplo, $m/N \approx 2.3\%$ para $N=10,000$).
• Mecanismo de Fallo: El adversario en el peor caso dentro del marco minimax absoluto se concentra en valores de parámetros que maximizan el efecto absoluto del tratamiento ($|\tau|$). En tales casos extremos, el costo de exploración ($m/2 \cdot |\tau|$) domina la función de arrepentimiento, haciendo que el criterio penalice en exceso la exploración y suprima el tamaño de muestra a casi cero.

Para resolver esto, los autores proponen la regla de Beneficio Marginal en el Peor Caso (WMB).

• Concepto Central: En lugar de minimizar el arrepentimiento total en el peor caso, la regla WMB evalúa la compensación en el margen. Compara el beneficio marginal en el peor caso de añadir un par emparejado más al experimento contra el correspondiente costo marginal de exploración.
• Regla de Parada: La experimentación continúa mientras el beneficio marginal en el peor caso de un par adicional exceda el costo marginal. El tamaño de muestra óptimo $\hat{m}_{WMB}$ es el $m$ par más pequeño donde la relación de beneficio marginal en el peor caso $\eta(m, \mu_1, \mu_0)$ desciende a 1 o por debajo.
• Definición:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  donde $\eta$ mide la reducción en los errores de rodaje esperados (unidades ahorradas) por unidad de costo de exploración añadido.

Resultados Clave

1. La Referencia de la Regla de los Tercios:
   El artículo establece una referencia simple y sin priors para el tamaño de muestra óptimo:
   $$\hat{m} \approx \frac{N}{3}$$
   Este resultado se cumple bajo dos condiciones distintas:

   • Resultados Bernoulli: A través de una aproximación gaussiana, el criterio WMB produce $\hat{m} \approx N/3$. Los autores demuestran rigurosamente que el problema exacto de Bernoulli requiere excluir una "patología de evento raro en la frontera" (donde un brazo tiene varianza cero y el otro tiene una probabilidad de éxito desvaneciente del orden de $O(1/N)$). En este caso patológico, el tamaño de muestra óptimo se acerca a $N/2$. Sin embargo, para estados interiores regulares (donde los efectos del tratamiento no son degenerados), los parámetros menos favorables se localizan cerca de la diagonal ($\mu_1 \approx \mu_0$), y la aproximación gaussiana se vuelve válida, conduciendo a la regla de $N/3$.
   • Resultados Gaussianos (Varianza Conocida): Para resultados que siguen una distribución gaussiana con una varianza común conocida, la referencia de $N/3$ surge exactamente sin aproximación asintótica ni necesidad de excluir casos de frontera. La relajación continua de la función de relación marginal produce una solución en forma cerrada donde el beneficio marginal en el peor caso es $\leq 1$ si y solo si $m \geq N/3$.

2. Comportamiento del Adversario:
   Bajo la regla WMB, el adversario en el peor caso se comporta de manera diferente que bajo el arrepentimiento minimax absoluto. En lugar de elegir efectos de tratamiento extremos para maximizar el arrepentimiento total, el adversario elige valores de parámetros que maximizan el beneficio marginal de continuar la experimentación. En el régimen interior, estos estados menos favorables se concentran cerca de la diagonal ($\mu_1 \approx \mu_0$), donde distinguir entre tratamientos es más difícil.

3. Validación Numérica:
   Estudios numéricos confirman que para $N$ pequeño, los efectos de frontera pueden empujar el tamaño de muestra hacia $N/2$. A medida que $N$ aumenta, los parámetros menos favorables se alejan de la frontera, y el tamaño de muestra óptimo se estabiliza cerca de $N/3$.

Significado y Contribución
El artículo afirma proporcionar una guía práctica y sin priors para el diseño de tamaños de muestra basados en bienestar.

• Practicidad: La regla resultante ($m \approx N/3$) depende únicamente del tamaño total de la población $N$. No requiere que el tomador de decisiones especifique priores subjetivos, varianzas previas u otros parámetros de ajuste, que a menudo son difíciles de justificar en la práctica.
• Robustez Teórica: Al cambiar de una minimización del arrepentimiento total a un análisis de beneficio marginal, el artículo evita la "sobre-penalización" de la exploración inherente a los criterios estándar de arrepentimiento minimax.
• Enfoque en el Bienestar: A diferencia del análisis de potencia convencional (que controla los errores Tipo I/II para pruebas de hipótesis), este enfoque optimiza directamente el objetivo de bienestar de la población finita, equilibrando explícitamente el costo de la experimentación contra el riesgo de un rodaje subóptimo.

Los autores concluyen que la regla WMB ofrece una solución robusta a la compensación entre exploración y explotación en experimentos de prueba y rodaje con población finita, proporcionando una regla de parada clara y teóricamente fundamentada que es independiente de las creencias previas subjetivas.