Covariate balancing estimation and model selection for difference-in-differences approach

Este artículo propone un estimador de doble robustez para el efecto promedio del tratamiento en los tratados (ATT) dentro del enfoque de diferencias en diferencias semiparamétricas mediante el equilibrio de covariables, y deriva un nuevo criterio de selección de modelo con un término de penalización distinto al AIC tradicional, demostrando su superioridad mediante experimentos numéricos y análisis de datos reales.

Lo esencial

Imagina que eres un detective intentando resolver un misterio: ¿Qué pasaría si una persona que no recibió un tratamiento (como un curso de formación laboral) hubiera recibido uno?

En el mundo de la estadística, esto se llama Inferencia Causal. La herramienta más famosa para esto es el método "Diferencia en Diferencias" (DID). Pero este método tiene un problema: a veces, los grupos que comparamos no son realmente comparables (uno es más joven, otro tiene más educación, etc.), y eso distorsiona la respuesta.

Los autores de este artículo, Takamichi Baba y Yoshiyuki Ninomiya, han creado una nueva forma de hacer las cosas que es como darle un "superpoder" de doble seguridad a este método y, además, han inventado una brújula para elegir las pistas correctas.

Aquí te lo explico con analogías sencillas:

1. El Problema: La Balanza Inclinada

Imagina que quieres saber si un nuevo fertilizante hace crecer más las plantas. Tomas un grupo de plantas que ya tenían tierra rica (el grupo de tratamiento) y otro grupo con tierra pobre (el grupo de control). Si las plantas del primer grupo crecen más, ¿es por el fertilizante o porque la tierra ya era mejor?

En estadística, usamos algo llamado Puntaje de Propensión (como una "tarjeta de crédito" que mide qué tan probable es que alguien reciba el tratamiento basándose en sus características). Si calculamos mal esta tarjeta, nuestra conclusión será falsa.

2. La Solución: El "Equilibrio de Covariables" (CBD)

Los autores proponen un nuevo método llamado CBD (Covariate Balancing for Difference-in-Differences).

• La analogía del gimnasio: Imagina que quieres comparar el rendimiento de dos equipos de gimnasio. El método antiguo solo aseguraba que el promedio de peso de los miembros fuera igual. Pero, ¿y si un equipo tiene muchos levantadores de pesas y el otro tiene muchos corredores? El promedio es igual, pero la composición es diferente.
• El truco de los autores: Su método no solo iguala el promedio (la primera "momento"), sino que iguala la variabilidad y la forma de los datos (el "segundo momento"). Es como asegurarse de que ambos equipos tengan la misma mezcla de levantadores, corredores y nadadores, no solo el mismo peso total.
• Doble Robustez (El Escudo de Doble Capa): Lo increíble de su método es que tiene un "escudo de doble capa". Funciona bien si:
  1. Calculamos perfectamente la "tarjeta de crédito" (el puntaje de propensión), O
  2. Asumimos que la relación entre las características y el resultado es lineal (una línea recta).
     Si fallas en uno de los dos, el otro te salva. ¡Es como tener un paracaídas de respaldo!

3. El Nuevo Problema: ¿Qué pistas elegir? (Selección de Modelo)

Una vez que tienes el método, te enfrentas a otro dilema: tienes muchas variables (edad, ingresos, educación, estado civil...). ¿Cuáles usas?

• Si usas demasiadas, el modelo se vuelve confuso (como intentar adivinar el clima usando el número de zapatos que tiene la gente).
• Si usas muy pocas, te pierdes información importante.

Antes, los estadísticos usaban reglas generales (como el AIC) para elegir. Pero en este tipo de análisis, esas reglas fallaban porque no entendían la "pesadez" de los datos.

4. La Brújula: El Nuevo Criterio de Selección

Los autores diseñaron una brújula matemática (un criterio de información) específica para este problema.

• La analogía del mapa: Las reglas antiguas (como el AIC) eran como un mapa genérico que decía "cuesta 2 unidades de energía por cada variable que agregues".
• La innovación: Los autores descubrieron que, en este mundo de "Diferencia en Diferencias", el costo de agregar una variable no es fijo. Su nueva brújula calcula un costo dinámico y más preciso. A veces, agregar una variable es muy "costoso" (arriesgado), y su fórmula lo detecta, evitando que el modelo se llene de "ruido" o variables inútiles.

5. La Prueba: El Caso Real (LaLonde)

Para demostrar que funciona, probaron su método con datos reales de un programa de empleo en EE. UU. (el conjunto de datos LaLonde).

• Resultado: El método antiguo (usando reglas genéricas) seleccionó todas las variables, creando un modelo gigante y probablemente confuso.
• Su método: Su nueva brújula seleccionó solo las variables realmente importantes, creando un modelo más limpio y preciso.

En Resumen

Este artículo nos dice:

1. No confíes ciegamente en una sola suposición: Usa un método que tenga un "plan B" (doble robustez) equilibrando no solo los promedios, sino también la forma de los datos.
2. No uses reglas viejas para problemas nuevos: Si estás analizando efectos de tratamientos con datos complejos, necesitas una herramienta de selección de variables hecha a la medida, no una genérica.

Es como pasar de usar una regla de madera para medir un edificio en construcción, a usar un láser de precisión que se adapta a las curvas y esquinas del edificio. ¡Y eso hace que nuestras conclusiones sobre qué funciona y qué no sean mucho más fiables!

Resumen técnico

Resumen Técnico: Estimación por Balanceo de Covariables y Selección de Modelos para el Enfoque de Diferencias en Diferencias

1. Planteamiento del Problema

El enfoque de Diferencias en Diferencias (DID) es un método fundamental en econometría y epidemiología para estimar el efecto causal de un tratamiento. Recientemente, se ha popularizado el DID Semiparamétrico (SDID), propuesto por Abadie (2005), que estima el Efecto Promedio del Tratamiento en los Tratados (ATT) ponderando por el inverso del puntaje de propensión, bajo la suposición de tendencias paralelas condicionadas a las covariables.

Sin embargo, existen dos desafíos críticos no resueltos adecuadamente en la literatura actual:

1. Robustez ante mala especificación del modelo: Los estimadores SDID estándar dependen de que el modelo del puntaje de propensión esté correctamente especificado. Si el modelo es incorrecto, el estimador del ATT se vuelve sesgado. Aunque existen métodos "doble robustos" (que requieren que solo uno de dos modelos esté bien especificado), la mayoría de los existentes (como los de Sant'Anna y Zhao, 2020) se centran en el ATT incondicional o requieren estimar modelos de resultados complejos.
2. Falta de criterios de selección de modelos: En la práctica, la selección de covariables es esencial para evaluar la heterogeneidad del ATT (el ATT condicional). Sin embargo, no existen criterios de información razonables (como AIC o BIC) para el enfoque SDID básico. Los criterios tradicionales fallan porque la función de pérdida utilizada en SDID incluye pesos basados en puntajes de propensión (variables aleatorias), lo que invalida las derivaciones asintóticas estándar.

2. Metodología Propuesta

Los autores proponen dos contribuciones metodológicas principales:

A. Estimación por Balanceo de Covariables para DID (CBD)
Para lograr una estimación doblemente robusta sin necesidad de estimar un modelo de regresión de resultados, los autores incorporan técnicas de balanceo de covariables (similar a Imai y Ratkovic, 2014) dentro del marco SDID.

• Mecanismo: En lugar de estimar el puntaje de propensión mediante máxima verosimilitud (MLE), se estima mediante la resolución de condiciones de momentos que garantizan el balanceo de las covariables entre los grupos de tratamiento y control.
• Innovación Clave (Momentos de Segundo Orden): A diferencia del balanceo tradicional que iguala los momentos de primer orden (medias), este método demuestra que para lograr la doble robustez en la estimación del ATT condicional, es necesario equilibrar los momentos de segundo orden (matrices de covarianza $xx^T$) de las covariables.
• Resultado Teórico (Teorema 1): Se demuestra que el estimador $\hat{\theta}_{CBD}$ es consistente si:
  1. El modelo del puntaje de propensión está correctamente especificado, O
  2. El cambio en los resultados sigue un modelo lineal de las covariables (aunque el modelo de propensión esté mal especificado).

B. Criterio de Selección de Modelos (Criterio de Información)
Los autores derivan un criterio de selección de modelos basado en la minimización del riesgo asintótico no sesgado.

• Derivación: Utilizan la función de pérdida ponderada utilizada en la estimación SDID. Descomponen el riesgo en un término de ajuste y un término de sesgo (penalización).
• Corrección de Sesgo: Demuestran que la estimación empírica directa del sesgo es insuficiente. Derivan un término de penalización asintótico que depende de la varianza de los errores y la estructura de los puntajes de propensión.
• Diferencia con AIC/QICW: A diferencia de los criterios tipo AIC, donde la penalización es aproximadamente $2 \times$ (número de parámetros), el término de penalización derivado aquí es considerablemente diferente y más complejo. Esto se debe a la naturaleza de las variables aleatorias en los pesos y a la dependencia de la estimación del puntaje de propensión (ya sea por CBD o MLE).
• Aplicación: Se proponen criterios específicos tanto para cuando los puntajes de propensión son conocidos, cuando se estiman por MLE, y cuando se estiman mediante el método CBD.

3. Resultados Principales

Simulaciones Numéricas:

• Robustez (Sección 3.2): En experimentos donde el modelo de puntaje de propensión estaba mal especificado (omitiendo una variable relevante), el método estándar (MLE) mostró un sesgo significativo y una cobertura de intervalos de confianza pobre. En contraste, el método CBD mantuvo una estimación casi insesgada y una alta precisión, confirmando su propiedad de doble robustez.
• Precisión del Criterio de Selección (Secciones 4 y 5):
  • Se comparó el nuevo criterio propuesto con una extensión intuitiva del QICW (Platt et al., 2013).
  • El término de penalización del QICW subestimó sistemáticamente el sesgo real en todos los escenarios.
  • El criterio propuesto proporcionó una aproximación casi exacta del sesgo teórico.
• Desempeño en Selección de Modelos:
  • El criterio propuesto seleccionó modelos con un riesgo empírico significativamente menor que el QICW.
  • El QICW tendió a seleccionar demasiadas covariables (falsos positivos) debido a su penalización insuficiente, mientras que el criterio propuesto logró una selección más parsimoniosa y precisa, especialmente en escenarios con muchas covariables irrelevantes.

Análisis de Datos Reales (Sección 6):

• Se aplicó el método al conjunto de datos de LaLonde (1986) sobre programas de capacitación laboral.
• Los resultados mostraron diferencias sustanciales entre los modelos seleccionados por el criterio propuesto y el QICW. Mientras el QICW seleccionó todas las covariables disponibles, el criterio propuesto eliminó varias variables, sugiriendo que el uso de criterios intuitivos puede llevar a modelos sobreajustados en contextos DID.

4. Contribuciones Clave

1. Doble Robustez mediante Balanceo de Segundo Orden: Se establece teóricamente que para la estimación del ATT condicional, el balanceo de momentos de segundo orden de las covariables es la condición necesaria para lograr la doble robustez, una contribución teórica novedosa frente a los métodos existentes que usan momentos de primer orden.
2. Primer Criterio de Información Válido para SDID: Se llena un vacío metodológico al derivar un criterio de selección de modelos asintóticamente no sesgado específico para el enfoque SDID, superando las limitaciones de adaptar criterios generales como el QICW.
3. Penalización No Estándar: Se demuestra que la penalización óptima en este contexto no es simplemente $2k$(donde$k$ es el número de parámetros), sino una función compleja de la varianza de los errores y la matriz de información de los puntajes de propensión.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la inferencia causal en estudios observacionales:

• Fiabilidad: Ofrece una herramienta robusta para investigadores que deben lidiar con la incertidumbre sobre la especificación correcta del modelo de propensión, un problema común en datos reales.
• Precisión en la Heterogeneidad: Al permitir una selección de covariables rigurosa, facilita el análisis de cómo varía el efecto del tratamiento según las características individuales (ATT condicional), lo cual es crucial para políticas públicas personalizadas.
• Rigor Teórico: Proporciona una base teórica sólida para la selección de modelos en métodos semiparamétricos, alejándose de la intuición y basándose en la teoría asintótica de riesgos.

En conclusión, Baba y Ninomiya han desarrollado un marco unificado que mejora tanto la estimación (mediante el balanceo de covariables) como la selección de modelos (mediante un nuevo criterio de información) para el enfoque de Diferencias en Diferencias, superando las limitaciones de los métodos actuales en términos de robustez y precisión.