📈 economics

Randomization Tests in Randomized Saturation Designs

Este artículo desarrolla pruebas de aleatorización válidas para muestras finitas y justificadas asintóticamente para diversas hipótesis nulas relativas a los efectos de desbordamiento en diseños de saturación aleatorizados, incluyendo supuestos de nivel individual, promedio y monotonicidad, y demuestra su utilidad práctica a través de simulaciones y una aplicación en el mundo real.

Autores originales: Jizhou Liu, Azeem M. Shaikh, Liang Zhong

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jizhou Liu, Azeem M. Shaikh, Liang Zhong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de averiguar si un nuevo método de enseñanza funciona. Pero hay un giro: no puedes probarlo en estudiantes individuales de forma aislada. Si el Estudiante A aprende el método, podría ayudar al Estudiante B a aprenderlo también, incluso si el Estudiante B no fue asignado oficialmente al método. Esto se llama un efecto de desbordamiento (spillover effect).

Para estudiar esto, los investigadores utilizan un Diseño de Saturación Aleatorizada. Piensa en esto como un experimento en un distrito escolar:

Los Clústeres: En lugar de probar a los estudiantes uno por uno, pruebas aulas completas (clústeres).
La Saturación: Asignas diferentes "densidades" del nuevo método a las aulas.
- El Aula A recibe el 0% de estudiantes usando el método.
- El Aula B recibe el 33% de estudiantes usándolo.
- El Aula C recibe el 66%.
- El Aula D recibe el 100%.
El Objetivo: Quieres ver si los estudiantes que no usaron el método aprendieron más solo porque sus compañeros sí lo hicieron.

El Problema:
Normalmente, los estadísticos usan fórmulas matemáticas grandes y complejas para adivinar si estos resultados son reales o solo suerte. Pero estos experimentos suelen tener muy pocos aulas (tal vez solo 10 o 20). Cuando tienes un grupo tan pequeño, esas grandes fórmulas suelen fallar y dar respuestas erróneas. Además, las aulas suelen ser de diferentes tamaños, lo que hace que las matemáticas sean aún más complicadas.

La Solución: El Juego del "¿Qué pasaría si...?" (Pruebas de Aleatorización)
Los autores de este artículo proponen una forma más inteligente de jugar al juego del "¿Qué pasaría si...?". En lugar de adivinar con fórmulas, simulan miles de realidades alternativas basadas únicamente en las reglas del experimento.

Así es como lo hacen, desglosado por las tres herramientas principales que inventaron:

1. El Filtro de la "Unidad Focal" (Para comparaciones específicas)

Imagina que quieres comparar el aula del 33% contra el aula del 0%.

El Truco: No miras a todos los estudiantes de la sala. Eliges a unos pocos estudiantes "focales" específicos que no usaron el método en ambas aulas.
El Juego: Pretendes intercambiar las etiquetas de las aulas. Imaginas: "¿Qué pasaría si el Aula A fuera en realidad la del 0% y el Aula B fuera la del 33%?".
El Resultado: Debido a que solo miraste a los estudiantes que no usaron el método, y conoces las reglas del juego, puedes calcular exactamente qué tan probable es que los resultados que viste ocurrieran por pura casualidad. Esto te da una respuesta perfectamente precisa para grupos pequeños, sin importar qué tan extraños sean los datos.

2. La Puntuación "Estudentizada" (Para efectos promedio)

A veces, no te importa si cada uno de los estudiantes se ve afectado; solo quieres saber si el estudiante promedio en el aula del 33% tuvo un mejor desempeño que el promedio en el aula del 0%.

El Desafío: El truco matemático "perfecto" anterior no funciona para los promedios porque el juego del "¿Qué pasaría si...?" se vuelve complicado cuando solo te importa el promedio.
La Solución: Los autores crearon una "tarjeta de puntuación" especial (un estadístico studentizado) que ajusta cuánto varían los datos naturalmente.
El Resultado: Aunque esto no es una respuesta "perfecta" para un grupo diminuto, se vuelve extremadamente preciso a medida que añades más aulas. Esto cierra la brecha entre la matemática "perfecta" para grupos pequeños y la matemática "aproximada" para grupos grandes.

3. El Chequeo "Monótono" (Para múltiples niveles)

¿Qué pasa si tienes cuatro niveles (0%, 33%, 66%, 100%) y quieres saber: "¿El efecto se fortalece a medida que añadimos más estudiantes usando el método?"

La Forma Antigua: Tendrías que realizar tres pruebas separadas (0 vs 33, 33 vs 66, 66 vs 100) y esperar que todas coincidan. Esto es como comprobar si una escalera está recta midiendo cada peldaño por separado; es propenso a errores.
La Nueva Forma: Los autores construyeron una "Prueba de Monotonía Global". Mira la escalera completa a la vez. Pregunta: "¿Existe alguna forma de reorganizar estas aulas que haría que los resultados parecieran una línea recta con pendiente ascendente?".
El Resultado: Proporciona una única respuesta perfectamente precisa para toda la tendencia, incluso con grupos pequeños, sin necesidad de realizar múltiples pruebas separadas.

Prueba del Mundo Real: El Experimento de Zomba

Para demostrar que sus métodos funcionan, los autores los aplicaron a un experimento real en Malawi llamado el Programa de Transferencia de Efectivo de Zomba.

La Configuración: Observaron escuelas donde diferentes porcentajes de niñas recibieron dinero para permanecer en la escuela.
La Pregunta: ¿Las niñas a las que no se les ofreció dinero se beneficiaron (o sufrieron) de todos modos debido a sus compañeras?
El Resultado: Ejecutaron sus nuevas pruebas. Los resultados mostraron que, para las preguntas específicas que plantearon, los datos no proporcionaron evidencia sólida de que los efectos de desbordamiento estuvieran ocurriendo de la manera en que ellos hipotetizaban. Crucialmente, demostraron que sus nuevos métodos podían manejar los datos desordenados de grupos pequeños de este experimento real mucho mejor que los métodos antiguos podrían hacerlo.

La Gran Conclusión

Este artículo es como entregar a los investigadores un nuevo kit de herramientas más confiable para estudiar cómo las personas se influyen entre sí en los grupos.

Si tienes un grupo pequeño, te dan un método que es exacto (sin conjeturas).
Si te interesan los promedios, te dan un método que se vuelve más preciso a medida que obtienes más datos.
Si tienes muchos niveles de tratamiento, te dan una forma de probar todo el patrón a la vez.

Ellos no inventaron nuevos medicamentos o nuevos métodos de enseñanza; inventaron una mejor forma de medir si esas cosas funcionan cuando las personas se influyen mutuamente.

Resumen Técnico: Pruebas de Aleatorización en Diseños de Saturación Aleatorizados

Planteamiento del Problema

Los diseños de saturación aleatorizada son una herramienta primordial para estimar efectos de desbordamiento (spillover) en poblaciones agrupadas. En estos diseños, los conglomerados (clusters) se asignan primero a diferentes niveles de saturación de tratamiento (la proporción de unidades tratadas dentro de un conglomerado) y, posteriormente, las unidades se aleatorizan dentro de los conglomerados condicionalmente a la saturación asignada. Si bien estos diseños separan eficazmente los efectos propios de la intensidad de tratamiento de los pares, la inferencia estadística válida sigue siendo un desafío.

Dos obstáculos principales dificultan la inferencia en este entorno:

Tamaños de Muestra Pequeños: El número de conglomerados suele ser demasiado pequeño para justificar aproximaciones de muestra grande, y los tamaños de los conglomerados suelen ser heterogéneos. Esto requiere métodos exactos de muestra finita en lugar de aproximaciones normales asintóticas.
Nitidez Parcial (Partial Sharpness): Muchas hipótesis de interés con respecto a los efectos de desbordamiento (por ejemplo, ausencia de desbordamiento, desbordamiento acotado o desbordamiento promedio) son solo parcialmente nítidas. Estas restringen los resultados potenciales bajo condiciones de exposición específicas, pero no imputan el esquema completo de los resultados potenciales faltantes a través de todo el espacio de asignación. En consecuencia, las pruebas de aleatorización ingenuas que remuestrean el vector de asignación completo no generan distribuciones de referencia válidas.

La literatura existente se ha centrado principalmente en la estimación de muestras grandes o en pruebas de aleatorización condicional bajo nulos nítidos (sharp nulls). Existe una brecha en el desarrollo de pruebas de aleatorización válidas para muestras finitas para hipótesis de nulos de desbordamiento parcial, acotados y de promedio débil en diseños de saturación múltiple.

Metodología

El artículo desarrolla un conjunto de pruebas de aleatorización adaptadas a la estructura de los diseños de saturación aleatorizada bajo el supuesto de interferencia homogénea parcial (donde los resultados dependen únicamente del estado de tratamiento propio y del número de pares tratados en el conglomerado). La metodología se divide en tres componentes principales basados en la naturaleza de la hipótesis nula y el número de niveles de saturación.

1. Pruebas Condicionales para Dos Niveles de Saturación

Para un par fijo de niveles de saturación $s$ y $s'$ , los autores proponen un marco de aleatorización condicional que condiciona sobre "unidades focales".

Selección de Unidades Focales: De los conglomerados donde la saturación observada es $s$ o $s'$ , se selecciona un número fijo de unidades no tratadas. Estas unidades sirven como base para la comparación.
Distribución de Relabelado: La prueba genera una distribución de referencia permutando las etiquetas de saturación ( $s$ y $s'$ ) a través de los conglomerados seleccionados, manteniendo fijas las unidades focales y sus resultados observados. Esto reduce el problema a un problema de relabelado a nivel de conglomerado.
Estadísticos Específicos del Nulo:
- Nulo Parcialmente Nítido ( $H_{0,PS}$ ): Supone que $Y_i(0, s) = Y_i(0, s')$ para todas las unidades. Bajo este nulo, los resultados focales son invariantes al relabelado, lo que permite que cualquier estadístico focal (por ejemplo, la diferencia de medias) produzca una prueba válida en muestra finita.
- Nulo Acotado ( $H_{\delta,B}$ ): Supone que $Y_i(0, s) - Y_i(0, s') \leq \delta$ . La prueba utiliza el límite de igualdad ( $=\delta$ ) como una imputación de "peor caso" (least-favorable). Al desplazar los resultados observados por $\delta$ , la prueba construye un estadístico conservador que mantiene la validez en muestra finita para el nulo de desigualdad.

2. Pruebas Asintóticas para Nulos Promedio Débiles

Para hipótesis relativas a efectos de desbordamiento promedio (por ejemplo, desbordamientos promedio de la unidad o del conglomerado), el nulo no determina los resultados potenciales faltantes, lo que hace imposible las pruebas de aleatorización condicionales exactas de muestra finita.

Enfoque: Los autores utilizan la misma distribución de relabelado condicional pero la combinan con un estadístico estandarizado (studentized statistic) (utilizando estimadores de varianza de Neyman).
Validez: Aunque la distribución condicional no es una distribución nula exacta de muestra finita, los autores demuestran que el estadístico de relabelado estandarizado ofrece inferencia asintóticamente válida bajo condiciones de regularidad (por ejemplo, fracciones de diseño estables y momentos acotados). Esto une la perspectiva de la prueba de aleatorización fisheriana con la inferencia asintótica de gran muestra de Neyman.

3. Pruebas Incondicionales para Monotonicidad Global

Para diseños con múltiples niveles de saturación ordenados, el artículo aborda la hipótesis nula global de que los resultados no tratados son monótonos en el nivel de saturación.

Imputación por Pares: En lugar de descomponer el problema en contrastes por pares (lo que requiere correcciones de pruebas múltiples), los autores desarrollan una prueba de aleatorización incondicional basada en la imputación por pares (PIRT).
Mecanismo: La prueba compara la asignación observada contra todas las otras asignaciones factibles en el soporte del diseño. Utiliza un estadístico que es "imputable por pares", lo que significa que depende solo de las unidades que no están tratadas tanto bajo la asignación observada como bajo la de referencia, y cuyos niveles de exposición se encuentran dentro del conjunto ordenado cubierto por el nulo.
Validez: Esta construcción produce una prueba de aleatorización incondicional válida en muestra finita para el nulo de monotonía global, evitando la necesidad de combinar los valores p de los contrastes locales.

Resultados Clave

El artículo establece los siguientes resultados teóricos:

Validez en Muestra Finita (Condicional): Para nulos parcialmente nítidos y acotados que involucran dos niveles de saturación, las pruebas de aleatorización condicional propuestas (Procedimiento 3.1) controlan la tasa de error Tipo I exactamente en muestras finitas, condicionado al conjunto focal seleccionado.
Validez Asintótica (Nulos Débiles): Para nulos promedio débiles, la prueba de aleatorización condicional estandarizada controla el tamaño asintótico, proporcionando inferencia válida incluso cuando el nulo no es nítido.
Validez en Muestra Finita (Monotonía Global): La prueba PIRT de monotonía global (Procedimiento 5.1) es probada como válida en muestra finita de forma incondicional. La prueba es conservadora pero apunta directamente a la forma global de la respuesta de desbordamiento.
Desempeño Empírico: Las simulaciones calibradas al experimento de Transferencias de Efectivo de Zomba demuestran que:
- La CRT condicional para nulos acotados mantiene un tamaño cercano a los niveles nominales (tamaño promedio ~0.051) y ofrece mayor potencia que los modelos de referencia basados en regresión en muestras pequeñas.
- La PIRT de monotonía global es más conservadora que la combinación de pruebas por pares adyacentes mediante Bonferroni, pero ofrece una potencia superior para detectar violaciones grandes de la monotonía, particularmente a medida que aumenta el número de niveles de saturación.

Significancia y Contribuciones

El artículo realiza tres contribuciones principales a la literatura sobre inferencia causal bajo interferencia:

Extensión de las Pruebas de Aleatorización Condicional: Extiende el marco de aleatorización condicional (aplicado previamente a diseños de primera etapa binarios con una sola unidad tratada) a diseños de saturación múltiple con múltiples unidades tratadas por conglomerado. Esto aborda los espacios de asignación más complejos y los problemas de imputación parcial comunes en aplicaciones empíricas.
Inferencia para Nulos Débiles: Proporciona una vía para la inferencia basada en aleatorización sobre nulos de desbordamiento promedio débiles. Al combinar el relabelado condicional con la estandarización, el artículo conecta la prueba exacta de muestra finita de Fisher con la inferencia asintótica de gran muestra de Neyman, permitiendo a los investigadores probar efectos promedio científicamente significativos incluso cuando la validez exacta de muestra finita no es alcanzable.
Pruebas de Monotonía Global: Va más allá de los nulos de igualdad para probar restricciones acotadas y monótonas. El desarrollo de la PIRT para la monotonía global permite a los investigadores probar toda la forma de la respuesta de desbordamiento en un solo marco, en lugar de depender de comparaciones locales por pares. Esto es particularmente relevante para aplicaciones donde la dirección de los desbordamientos (por ejemplo, crecientes o decrecientes) es la pregunta principal.

Los autores enfatizan que la idea central es la separación del paso de condicionamiento (selección de unidades imputables) del estadístico (adaptado al nulo específico). Este enfoque modular permite la inferencia válida a través de un espectro de hipótesis, desde efectos individuales nítidos hasta efectos promedio débiles y monotonía global, dentro del desafiante contexto de los diseños de saturación aleatorizada.