📈 economics

When and How to Pilot: Design Rules for Two-Wave Experiments

Este artículo propone una regla de Arrepentimiento Minimax Condicional (CMR, por sus siglas en inglés) para experimentos de dos etapas que equilibra de manera óptima la robustez de la asignación balanceada con la eficiencia de la asignación de Neyman al minimizar el arrepentimiento en el peor de los casos sobre un conjunto de confianza de muestra finita, evitando así las severas pérdidas de precisión de los métodos adaptativos en pilotos pequeños mientras captura sus ganancias en los grandes.

Autores originales: Juan C. Yamin

Publicado 2026-07-21

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Juan C. Yamin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero tienes una cantidad limitada de pistas. Quieres saber qué sospechoso es culpable, pero no sabes quién esconde más secretos. En el mundo de la ciencia, los investigadores realizan "experimentos" para encontrar respuestas, como probar si un nuevo medicamento funciona o si un nuevo método de enseñanza ayuda a los estudiantes a aprender. Para hacer esto, dividen a las personas en dos grupos: un grupo de "tratamiento" que recibe la novedad, y un grupo de "control" que no recibe nada (o recibe lo antiguo). El objetivo es comparar los dos grupos para ver la diferencia.

Pero aquí está la parte difícil: no todo el mundo reacciona de la misma manera. Algunas personas son muy consistentes; otras son muy erráticas. Si el grupo de "tratamiento" está lleno de personas impredecibles, necesitas probar a más de ellas para obtener una respuesta clara. Si el grupo de "control" está lleno de elementos impredecibles, necesitas más de ellos. La gran pregunta es: ¿cómo sabes cuál es el grupo de "elementos impredecibles" antes de empezar tu investigación principal?

Los científicos suelen realizar un pequeño "piloto" primero —una pequeña prueba de lo que será el experimento real— para obtener una pista. Pero esto crea un dilema. Si confías demasiado en el piloto, podrías ser engañado por un golpe de suerte (como lanzar una moneda dos veces y obtener caras ambas veces, pensando que la moneda está trucada). Si ignoras el piloto por completo, podrías perder la oportunidad de obtener una respuesta mucho más precisa. Este artículo trata sobre encontrar el equilibrio perfecto entre ser demasiado cauteloso y ser demasiado temerario al usar esas pequeñas pistas del piloto para diseñar un gran experimento.

El Gran Juego de Equilibrio de los Experimentos

Imagina que eres un chef preparando un banquete masivo para 1,000 invitados. Tienes dos platos principales: un curry picante y un estofado suave. Quieres saber cuál les gusta más a la gente. Pero también sabes que algunas personas son comedores muy exigentes (su gusto varía enormemente), mientras que otras son muy consistentes. Si sirves el curry picante a un grupo de comedores exigentes, necesitarás servirlo a muchos de ellos para averiguar la opinión promedio. Si sirves el estofado suave a un grupo de comedores consistentes, no necesitas a tantos.

El plan "perfecto" sería servir el curry a 800 personas y el estofado a 200, si el curry es el que tiene a los comedores exigentes. Esto se llama asignación de Neyman (nombrada así por un estadístico que lo descubrió hace décadas). Es la forma más eficiente de obtener una respuesta.

Pero aquí está el truco: ¡aún no sabes quiénes son los comedores exigentes! Tienes que decidir la división antes de que comience el banquete.

Así que decides cocinar una pequeña comida "piloto" primero. Invitas a 30 personas a probar los platos. Crucialmente, cada persona solo puede probar un plato. Algunos reciben el curry y otros el estofado. Basándote en cómo reaccionaron esos grupos específicos, planeas el gran banquete.

Las Vías Antiguas:

El Chef que "No Agita el Bote": Este chef ignora el piloto por completo. Simplemente divide a los 1,000 invitados 50/50. Es seguro. Pase lo que pase, no se quedará sin curry para los comedores exigentes por accidente. Pero podría perder la oportunidad de obtener una respuesta súper precisa si el piloto realmente hubiera mostrado una gran diferencia.
El Chef que "Confía en el Piloto": Este chef observa a los 30 catadores del piloto y dice: "¡Oye, el grupo del curry fue súper impredecible! ¡Serviré curry a 900 personas!". Pero, ¿y si los 30 catadores del piloto simplemente tuvieron un mal día? ¿Qué pasa si el curry es en realidad bueno, pero el grupo del piloto fue simplemente ruidoso? Este chef podría terminar sirviendo curry a 900 personas cuando solo necesitaba 200, desperdiciando recursos y obteniendo una respuesta peor que si simplemente hubiera dividido los invitados de forma equitativa. En el peor de los casos, si el grupo del piloto para un plato fue perfectamente calmado (todos lo disfrutaron exactamente igual), este chef podría decidir servirle el plato a cero personas, quedándose sin datos en absoluto.

La Nueva Solución: La Regla del "Minimax Regret Condicional" (CMR)
El autor de este artículo, Juan Yamin, propone una nueva forma de pensar sobre esto. Él llama a esto la regla del Minimax Regret Condicional (CMR).

Piensa en el CMR como un chef muy inteligente y ligeramente paranoico que utiliza los datos del piloto para dibujar una "zona de seguridad" en lugar de una sola suposición.

En lugar de decir: "El curry es definitivamente impredecible", el chef dice: "Basado en estas 30 personas, el curry podría ser impredecible, pero también podría ser calmado. Aquí hay un rango de posibilidades".
Si los datos del piloto son débiles (solo 30 personas), la "zona de seguridad" es enorme. El chef se da cuenta: "Aún no puedo estar seguro", por lo que se mantiene cerca de la división segura de 50/50.
Si los datos del piloto son fuertes (500 personas), la "zona de seguridad" se reduce. El chef ahora puede decir: "Está bien, estoy bastante seguro de que el curry es el elemento impredecible", y desplaza la división hacia el grupo del curry.

La magia del CMR es que nunca se mueve demasiado lejos a menos que la evidencia sea lo suficientemente fuerte como para descartar los escenarios de "mala suerte". Viene con un certificado: una pequeña nota que dice: "Incluso si me equivoco, este es el peor escenario posible, y no es tan malo".

Lo que el Papel Encontró

Este artículo no solo habla de esto; lo demuestra con matemáticas y lo pone a prueba con simulaciones utilizando datos reales de experimentos pasados famosos (como estudios sobre la desparasitación de niños en África o pruebas de currículums para detectar discriminación laboral).

Los Resultados:

El Chef que "Confía en el Piloto" (Neyman Factible) es peligroso con pilotos pequeños. Cuando el piloto es pequeño (como 30 personas), este método suele cometer errores enormes. En las simulaciones, a veces causó que el experimento fuera tan ineficiente que era como si los investigadores hubieran desechado la mitad de sus datos. En algunos casos, incluso intentó asignar cero personas a un grupo que en realidad necesitaba ser probado, lo cual es un desastre.
El Chef que "No Agita el Bote" es seguro pero pierde oportunidades. Nunca comete un error enorme, pero tampoco obtiene la precisión extra que un buen piloto podría ofrecer.
El Chef de CMR es el punto medio ideal (Goldilocks). Cuando el piloto es pequeño, el CMR se mantiene cerca de la división segura de 50/50, evitando los grandes desastres del chef que "Confía en el Piloto". Pero a medida que el piloto crece y los datos son más claros, el CMR se desplaza suavemente hacia la división perfecta, capturando casi todos los beneficios del método de "Confiar en el Piloto" sin los riesgos.

En las simulaciones, cuando el piloto era pequeño (30 personas), el método de "Confiar en el Piloto" a veces fallaba por completo (pérdida infinita), mientras que el CMR se mantenía a salvo. A medida que el piloto crecía a 500 personas, el CMR alcanzaba el rendimiento del método perfecto, pero con la garantía de que no colapsaría si el piloto fuera solo un golpe de suerte.

Por Qué Importa

Este artículo resuelve un problema muy específico y molesto que los científicos enfrentan todos los días: ¿Qué tanto debo confiar en mi pequeña prueba previa?

La respuesta es: Confía en ella lo suficiente como para moverte, pero no tanto como para caerte por un precipicio.

El artículo demuestra que no tienes que elegir entre ser un cobarde (ignorar el piloto) o un jugador (apostar todo al piloto). Puedes usar una regla que diga: "Moveré mi plan exactamente tanto como la evidencia me permita estar seguro de que no estoy cometiendo un error". Convierte la aterradora incertidumbre de los datos pequeños en un paso adelante manejable y seguro.

Los autores probaron esto con cuatro escenarios diferentes del mundo real y, en cada caso, su nueva regla protegió a los investigadores de los peores errores, permitiéndoles al mismo tiempo obtener las mejores respuestas cuando los datos eran buenos. Es como tener un cinturón de seguridad que solo se aprieta cuando realmente golpeas un bache, manteniéndote a salvo sin hacer que el viaje sea incómodo.

Resumen Técnico: Reglas de Diseño para Experimentos de Dos Ondas

Planteamiento del Problema
El artículo aborda el diseño de experimentos de dos ondas donde un estudio piloto informa la probabilidad de asignación del tratamiento ( $\pi$ ) para una onda principal subsiguiente. El objetivo es minimizar la varianza del estimador del Efecto de Tratamiento Promedio (ATE, por sus siglas en inglés). Aunque la asignación óptima es la asignación de Neyman —que asigna más observaciones al brazo con mayor varianza de resultados—, esta asignación requiere el conocimiento de las verdaderas varianzas de los resultados potenciales ( $\sigma^2_1, \sigma^2_0$ ), las cuales son desconocidas en la etapa de diseño.

La tensión central radica en cómo utilizar las estimaciones ruidosas del piloto. Dos enfoques canónicos representan los extremos:

Asignación Balanceada: Ignora el piloto y asigna $\pi = 1/2$ . Es óptima en términos de riesgo minimax (la más segura contra distribuciones de peor caso), pero no se adapta a la evidencia de que un brazo es más ruidoso, renunciando así a posibles ganancias de precisión.
Asignación de Neyman Factible (FNA): Utiliza directamente las varianzas de la muestra del piloto en la fórmula de Neyman. Aunque es asintóticamente eficiente, es frágil en muestras finitas. Si un piloto produce una varianza muestral cero o cercana a cero (un suceso común con muestras pequeñas o resultados binarios), la FNA puede asignar una probabilidad cero o insignificante a un brazo con una varianza verdadera positiva, lo que conduce a pérdidas de precisión infinitas o arbitrariamente grandes.

El artículo formaliza esto como un problema de decisión estadística de muestra finita: ¿cuánta autoridad debe tener la evidencia ruidosa del piloto sobre el diseño de la onda principal?

Metodología: Regret Mínimax Condicional (CMR)
El autor propone la regla de Regret Mínimax Condicional (CMR), la cual desplaza el enfoque de la decisión teórica hacia la minimización del regret de peor caso sobre un conjunto de confianza de muestra finita derivado del piloto realizado.

El procedimiento opera de la siguiente manera:

Construcción de Confianza: Tras observar el piloto, el experimentador construye un rectángulo de confianza conjunto $\hat{\Theta}_\alpha(\omega)$ para el par de varianzas $(\sigma^2_1, \sigma^2_0)$ . Este rectángulo se forma combinando límites de Bernstein empíricos de un solo lado para la desviación estándar de cada brazo, asegurando que el par de varianzas verdadero se encuentre dentro del rectángulo con una probabilidad de al menos $1-\alpha$ .
Optimización: La regla CMR selecciona la probabilidad de asignación $p^{CMR}$ que minimiza el peor caso de regret sobre este rectángulo de confianza específico:
$p^{CMR}(\omega) \in \arg\min_{p \in (0,1)} \sup_{\theta \in \hat{\Theta}_\alpha(\omega)} r(p, \theta)$
donde $r(p, \theta)$ es el regret relativo a la asignación de Neyman infactible.
Solución de Forma Cerrada: Para tratamientos binarios, la solución es de forma cerrada. La regla aplica la fórmula de Neyman a los puntos medios de los intervalos de confianza de la desviación estándar. Si el rectángulo de confianza es amplio (poco informativo), los puntos medios convergen y la regla vuelve al balance. A medida que el rectángulo se contrae (informativo), la regla se mueve hacia la verdadera asignación de Neyman.
Certificación: Junto con la asignación, la regla reporta un "certificado" ( $U^{CMR}$ ), que es el peor caso de regret sobre el conjunto de confianza. Esto proporciona un límite de muestra finita sobre la pérdida de precisión incurrida por el diseño elegido.

Contribuciones Clave y Resultados

Seguridad de Muestra Finita: A diferencia de la FNA, la CMR nunca asigna probabilidad cero a un brazo a menos que el conjunto de confianza excluya explícitamente una varianza positiva para ese brazo (lo cual requiere evidencia sólida bajo la construcción propuesta). La regla garantiza tener un regret no peor que la asignación balanceada sin piloto (a lo sumo 1/4 de la escala de varianza) con una probabilidad de $1-\alpha$ .
Eficiencia Asintótica: A medida que el tamaño del piloto crece, el rectángulo de confianza colapsa hacia las varianzas verdaderas. La regla CMR converge a la asignación de Neyman infactible a la tasa estándar de raíz cuadrada inversa ( $O_p(M^{-1/2})$ ). Consecuentemente, el regret realizado y el certificado se reducen a la tasa del piloto inverso ( $O_p(M^{-1})$ ).
Tasa de Regret Mínimax: El artículo establece que el peor caso del regret esperado de la CMR coincide con el límite inferior de la tasa de regret minimax teórico para cualquier regla basada en pilotos. Así, la CMR alcanza la mejor tasa de desempeño de peor caso posible sin requerir la solución computacionalmente intratable del problema minimax ex-ante exacto.
Extensiones: El marco se extiende naturalmente a:
- Diseños de múltiples brazos: Donde un control compartido se compara contra $K$ tratamientos.
- Diseños estratificados: Donde el piloto informa tanto los márgenes de muestreo de los estratos como las probabilidades de asignación dentro de cada estrato.
- Resultados Binarios: Utilizando la inversión exacta de la distribución binomial plegada para estrechar los conjuntos de confianza.

Evidencia de Simulación
Simulaciones calibradas utilizando datos de cuatro experimentos de campo (Miguel & Kremer, 2004; Bertrand & Mullainathan, 2004; Thornton, 2008; Abel et al., 2020) demuestran las implicaciones prácticas:

Fallo de la FNA: Con tamaños de piloto realistas (por ejemplo, $M=30$ ), la FNA incurre en pérdidas de eficiencia infinitas o muy grandes en varios diseños debido a fallos en los límites (asignando probabilidad cero a un brazo con varianza positiva).
Desempeño de la CMR: La CMR permanece en el balance hasta que los datos del piloto son suficientemente informativos para descartar las configuraciones de peor caso. Una vez informativa, captura la mayor parte de las ganancias de precisión alcanzables.
Compromisos (Trade-offs): En diseños de dos brazos donde la ganancia potencial de la adaptación es pequeña (a menudo <1%), la CMR actúa como un "seguro" contra la desventaja ilimitada de la FNA, esencialmente sin costo en el beneficio potencial. En diseños de múltiples brazos y estratificados, donde las ganancias potenciales son mayores y la FNA es más frágil, la disciplina de la CMR ofrece beneficios netos significativos.

Significancia y Reivindicaciones
El artículo sostiene que proporciona un modelo para integrar la incertidumbre estadística directamente en el diseño experimental. Argumenta que la elección entre ignorar el piloto (balance) y confiar ciegamente en él (FNA) es una falsa dicotomía. La regla CMR permite que el diseño se mueva "exactamente tan lejos como la evidencia del piloto lo justifique y no más allá".

La significancia reside en tres características:

Operabilidad: Proporciona una regla computable y de forma cerrada para muestras finitas, a diferencia de la solución de regret minimax exacta que es generalmente intratable.
Certificación: Empareja la decisión de diseño con una garantía de muestra finita (el certificado) sobre la pérdida de precisión, una característica ausente en los enfoques de inserción (plug-in) estándar.
Robustez: Resuelve la tensión entre la seguridad de muestra finita y la eficiencia asintótica, logrando la tasa de regret minimax sin requerir pilotos grandes para funcionar de manera segura.

El autor concluye que para los pilotos finitos que se corren típicamente en la práctica, la CMR ofrece una forma fundamentada de adaptar los diseños mientras se protege contra las severas pérdidas de precisión asociadas con las estimaciones ruidosas de la varianza.

El Gran Juego de Equilibrio de los Experimentos

Lo que el Papel Encontró

Por Qué Importa

Más como este