Bias-robust causal inference for panel data

Imagina que eres un detective tratando de resolver un misterio: "¿Realmente cambió esta nueva política la vida de las personas?". En el mundo real, rara vez podemos realizar experimentos perfectos donde activamos un interruptor y asignamos aleatoriamente a algunas personas para que reciban la política mientras que otras no la reciben. En su lugar, tenemos que observar los desordenados datos observacionales que ya tenemos. Para determinar qué habría sucedido sin la política (el "contrafáctico"), los estadísticos construyen modelos —como máquinas del tiempo digitales— que intentan predecir el futuro basándose en el pasado. A menudo utilizan matemáticas sofisticadas para encontrar patrones ocultos, como una "tendencia" o "factor" común que afecta a todos, y luego usan esos patrones para adivinar cómo se habría visto el grupo tratado si nunca hubiera sido tratado. El problema es que estas máquinas del tiempo no son perfectas. Si el modelo pierde un patrón oculto o adivina la tendencia equivocada, la predicción es errónea. Los métodos tradicionales suelen actuar como si estuvieran 100% seguros de su predicción, ignorando el hecho de que su "máquina del tiempo" podría estar ligeramente averiada, lo que lleva a conclusiones que parecen seguras pero que en realidad son inestables.

Este artículo introduce una nueva forma, más cautelosa, de realizar este trabajo de detective, específicamente para datos que rastrean a muchas diferentes personas o lugares a lo largo del tiempo (llamados datos de panel). El autor, Angelos Alexopoulos, sostiene que, en lugar de pretender que nuestras predicciones son perfectas, deberíamos admitir que podrían ser erróneas y construir esa incertidumbre directamente en nuestra respuesta final. Piensa en ello como un pronóstico del tiempo: en lugar de decir simplemente "Lloverá a las 2 PM", un método robusto al sesgo dice: "Lloverá a las 2 PM, pero si nuestro modelo está equivocado por cierta cantidad, la lluvia podría comenzar a la 1:30 o a las 2:30". El artículo desarrolla un método que ajusta la predicción observando los errores "sobrantes" en los datos y crea una red de seguridad (un intervalo más amplio) que garantiza que la respuesta verdadera esté dentro de ella, incluso si el modelo no es perfecto.

La Máquina del Tiempo y la Red de Seguridad

El artículo aborda un dolor de cabeza específico en la economía y las ciencias sociales: cómo medir el efecto de una política cuando no podemos realizar un experimento controlado. El enfoque estándar, como el método de "Control Sintético Generalizado" (GSC), es como intentar combinar el atuendo de una celebridad uniendo piezas de ropa de un grupo de personas comunes. Funciona bien si la celebridad y las personas comunes son muy similares en su estilo subyacente (factores). Pero si el modelo se equivoca en el estilo —por ejemplo, si pasa por alto una tendencia sutil que solo la celebridad sigue—, el atuendo "cosido" se ve mal, y el efecto estimado de la política se sesga. Peor aún, los métodos tradicionales calculan su "confianza" como si la costura fuera perfecta, ignorando el hecho de que el patrón podría estar equivocado.

El autor propone un método "robusto al sesgo". Imagina que estás tratando de adivinar el peso de una caja misteriosa. Tienes una báscula que podría estar ligeramente desviada. En lugar de solo leer el número y decir: "Pesa 10 libras", dices: "Pesa 10 libras, pero mi báscula podría estar desviada hasta por 2 libras, por lo que el peso real está entre 8 y 12". El nuevo método hace exactamente esto para los efectos de las políticas. Toma la predicción estándar, verifica cuánto podría estar equivocado el modelo (el "error contrafáctico") y luego añade un "margen de seguridad" al resultado final. Utiliza un truco matemático llamado optimización "minimax", que es como un juego donde intentas encontrar la mejor suposición que funcione incluso en el peor escenario de qué tan equivocado podría estar el modelo.

Lo que Mostraron las Simulaciones

Para probar esta idea, el autor realizó simulaciones por computadora —creando mundos falsos donde la respuesta verdadera era conocida como cero (lo que significa que la política no hizo nada). En estas simulaciones, el nuevo método demostró ser un detective confiable. Cuando el método de "Control Sintético Generalizado" estándar intentaba adivinar el efecto, a menudo era salvajemente confiado pero completamente erróneo, perdiendo la respuesta verdadera (cero) casi todo el tiempo, especialmente cuando el modelo no tenía suficientes "factores" para describir los datos. En un escenario donde el modelo perdía una tendencia clave, los intervalos de confianza del método estándar eran tan estrechos que fallaban la verdad el 100% de las veces.

En contraste, los intervalos del nuevo método eran más amplios, pero siempre capturaban la respuesta verdadera. Era como una red de pesca que era más grande y pesada, pero que nunca dejaba escapar al pez. El artículo señala que esto tiene un costo: los intervalos son más amplios, lo que significa que la estimación es menos precisa. Sin embargo, el autor argumenta que ser ligeramente menos preciso pero realmente correcto es mucho mejor que ser muy preciso pero erróneo. En las simulaciones, el nuevo método mantuvo una tasa de éxito del 100% al capturar la verdad, mientras que la tasa de éxito del método estándar cayó a casi cero cuando el modelo era ligeramente imperfecto.

La Prueba del Mundo Real: El Registro el Día de las Elecciones

El autor aplicó luego este método a un caso del mundo real: el efecto del Registro el Día de las Elecciones (EDR, por sus siglas en inglés) en la participación electoral. Estudios previos utilizando el método estándar estimaron que el EDR aumentó la participación en aproximadamente 4.9 puntos porcentuales. Cuando el autor aplicó el nuevo método robusto al sesgo, la estimación se mantuvo muy similar (alrededor de 4.99 puntos), pero la "red de seguridad" era mucho más amplia.

La parte más interesante de esta prueba del mundo real fue verificar cuánto error podía tolerar el método antes de que la conclusión cambiara. El autor encontró que la conclusión (que el EDR aumenta la participación) seguía siendo válida incluso si el error de predicción del modelo era casi el doble de los errores típicos vistos en las pruebas de "placebo" (experimentos falsos donde la política no debería tener un efecto). Sin embargo, si el error se volvía demasiado grande —específicamente, si el modelo estaba equivocado por una cantidad masiva— la conclusión se revertía. El artículo destaca que, mientras el método estándar ofrece un rango estrecho que parece impresionante, el nuevo método admite: "Estamos bastante seguros de que el efecto es positivo, pero necesitamos permitir la posibilidad de que nuestro modelo esté un poco equivocado".

La Conclusión

Este artículo no pretende haber encontrado una solución mágica que haga que todos los modelos sean perfectos. En cambio, ofrece una forma más honesta de reportar resultados. Sugiere que cuando usamos modelos complejos para adivinar qué habría sucedido, debemos contabilizar explícitamente la posibilidad de que nuestra suposición sea errónea. El nuevo método cambia un poco de precisión por mucha fiabilidad. Nos dice que, si bien no podemos conocer el error contrafáctico exacto, podemos establecer un límite sobre qué tan grande podría ser ese error y aun así confiar en nuestra conclusión. Al final, el artículo argumenta que ser transparentes sobre nuestra incertidumbre es la única forma de saber verdaderamente si una política funcionó, en lugar de simplemente pretender que nuestra máquina del tiempo es impecable.