Don't Drop the Singletons: Efficient Inference for Pairwise Experiments with Independent Attrition

En el mundo de los experimentos científicos, los investigadores a menudo se enfrentan a una difícil elección entre la precisión y la practicidad. Para descubrir si un nuevo tratamiento funciona, los científicos frecuentemente utilizan un método llamado aleatorización, donde asignan a las personas a un grupo de tratamiento o a un grupo de control por azar. Una versión popular y poderosa de esto implica emparejar a participantes que son muy similares entre sí —quizás vecinos con ingresos similares o estudiantes con puntajes de exámenes similares— y luego asignar aleatoriamente el tratamiento a una persona del par, mientras que la otra sirve como control. Este enfoque "por pares" es como tener un control integrado para cada sujeto, lo que usualmente hace que los resultados sean mucho más nítidos y fiables que simplemente comparar dos grupos grandes y mixtos. Sin embargo, un problema persistente en los estudios del mundo real es la atrición: personas que abandonan el experimento antes de que este termine. Cuando esto sucede, un par puede perder a un miembro, dejando a la otra persona sin un compañero. Durante años, el consejo estándar ha sido desechar estos "huérfanos" individuales y analizar solo los pares donde ambas personas permanecieron. La lógica era que, sin un compañero, los datos eran demasiado desordenados para ser utilizados. Esta práctica, sin embargo, significaba que los investigadores estaban descartando información valiosa, reduciendo efectivamente su estudio y dificultando la detección de efectos reales.

Dos investigadores, Simon Heß y Patrick W. Schmidt, han desafiado esta regla de larga data. Argumentan que el temor de usar datos de pares incompletos es erróneo, siempre que la razón por la cual las personas abandonan no esté relacionada con el tratamiento que recibieron. En su nuevo trabajo, demuestran que es posible conservar cada observación individual, incluso las solitarias, y aun así obtener resultados altamente precisos. Desarrollaron una nueva forma de analizar los datos que respeta la estructura de emparejamiento original mientras combina inteligentemente la información de los pares completos con la información de los incompletos. En lugar de descartar a los individuos únicos, su método los trata como piezas útiles del rompecabezas, ponderándolos apropiadamente según la información que proporcionan. Al hacer esto, demuestran que los investigadores pueden mantener la alta precisión del diseño por pares sin sufrir la penalización estadística de perder datos debido a los abandonos.

El núcleo de su descubrimiento es un procedimiento de prueba específico que actúa como un filtro inteligente. Cuando un estudio pierde a un participante, el enfoque tradicional simplemente eliminaría el par completo del análisis, pretendiendo efectivamente que esa persona nunca existió. Los autores muestran que esto desecha una cantidad significativa de evidencia. Su nuevo método utiliza una técnica llamada inferencia de aleatorización, la cual se basa en el hecho de que el tratamiento fue asignado mediante un lanzamiento de moneda dentro de cada par. Crean un estadístico de prueba que observa la diferencia en los resultados de los pares completos y la diferencia en los resultados entre los individuos únicos, y luego mezcla estas dos fuentes de información. La mezcla se realiza con precisión matemática: los pares completos, que ofrecen una comparación directa entre dos personas similares, reciben más peso, mientras que los individuos únicos, que ofrecen una comparación más amplia a través de todo el grupo, reciben un peso menor pero aún significativo. Esta combinación permite que el estudio utilice cada punto de dato restante, maximizando el poder para detectar un efecto real.

Para probar que esto funciona, los investigadores realizaron extensas simulaciones y cálculos teóricos. Compararon su nuevo método contra las dos formas estándar en que los científicos manejan actualmente este problema. El primer método estándar es la "prueba t para muestras pareadas", que sigue la vieja regla de desechar los pares incompletos. El segundo es la "prueba t para dos muestras", que ignora el emparejamiento por completo y simplemente compara el promedio de todas las personas tratadas contra el promedio de todas las personas de control. Los autores encontraron que su nuevo enfoque superó consistentemente a ambos. En escenarios donde la calidad del emparejamiento era alta —es decir, donde los pares estaban muy bien emparejados— el viejo método pareado perdía mucho poder tan pronto como la gente comenzaba a abandonar. El método que ignoraba el emparejamiento por completo era a menudo demasiado conservador, fallando en ver efectos que realmente estaban allí. El nuevo método, sin embargo, dominó a ambos, entregando resultados más fuertes a través de cada nivel de atrición y calidad de emparejamiento que probaron.

Los investigadores también abordaron una preocupación común sobre si este nuevo método es demasiado complicado de usar en la práctica. Mostraron que el complejo pesaje y las pruebas pueden realizarse utilizando una herramienta estadística estándar llamada regresión ponderada, la cual está disponible en casi todos los paquetes de software comunes. Un investigador simplemente puede indicarle al software que incluya todos los datos, asigne un peso específico a los individuos únicos e incluya efectos fijos para los pares completos. Esto hace que el poderoso nuevo método sea accesible para cualquiera que pueda realizar un análisis básico, eliminando la barrera de necesitar código especializado y personalizado. Los autores enfatizan que esta solución funciona mejor cuando los abandonos ocurren por razones no relacionadas con el tratamiento, como mudarse de lugar o perder el interés, en lugar de porque el tratamiento les hizo sentir peor. Si los abandonos están relacionados con el tratamiento mismo, el problema se vuelve mucho más difícil, pero para la gran mayoría de los casos donde los abandonos son aleatorios, el nuevo método ofrece un camino claro a seguir.

En una verificación final, los autores compararon su diseño optimizado por pares contra una estrategia diferente que se recomienda cuando se esperan abandonos: utilizar grupos más grandes en lugar de pares, como grupos de cuatro. La idea es que en un grupo de cuatro, si una persona se va, tres permanecen, preservando más la estructura del grupo. Los investigadores simularon este escenario y encontraron que, incluso con grupos más grandes, su método optimizado para pares todavía se mantuvo firme. En muchos casos, la eficiencia ganada por el estrecho emparejamiento de los pares, combinada con su método de usar todos los datos disponibles, fue suficiente para superar a los grupos más grandes. Esto sugiere que los investigadores no necesitan abandonar el diseño por pares debido al temor a la atrición. En cambio, pueden mantener la estrategia de emparejamiento más precisa y simplemente aplicar la nueva técnica de análisis para asegurar que no están desperdiciando ninguno de los datos que tanto se esforzaron por recolectar.

Las implicaciones de este trabajo son directas para cualquiera que realice un estudio. Elimina el intercambio entre mantener un diseño ajustado y eficiente y perder datos debido a la atrición. Al negarse a descartar a los individuos únicos y, en su lugar, entrelazarlos en el análisis con el peso adecuado, los investigadores pueden mantener sus estudios poderosos y sus conclusiones robustas. El artículo proporciona un conjunto de herramientas prácticas que convierte una debilidad potencial —perder participantes— en una parte manejable del proceso, asegurando que los resultados finales reflejen el alcance total del experimento y no solo a los sobrevivientes.