Covariate-Balanced Weighted Stacked Difference-in-Differences

Este artículo propone el método CBWSDID, una extensión basada en diseño de las diferencias en diferencias apiladas ponderadas que mejora la comparabilidad entre grupos mediante ajuste de covariables y permite estimar efectos causales en contextos con tendencias paralelas condicionales y tratamientos repetidos.

Lo esencial

Imagina que eres un chef que quiere saber si un nuevo ingrediente (el "tratamiento") mejora realmente el sabor de una sopa. Tienes muchos grupos de personas cocinando sopas diferentes en momentos distintos. Algunos agregan el ingrediente en 2004, otros en 2005, y algunos nunca lo agregan.

El problema es que las sopas de quienes agregaron el ingrediente en 2004 ya eran diferentes a las de 2005 antes de siquiera empezar a cocinar. Quizás las de 2004 tenían más sal, o usaban fuego más fuerte. Si simplemente comparas el sabor final de todos, no sabrás si el cambio fue por el ingrediente o porque las sopas de 2004 simplemente eran mejores desde el principio.

Aquí es donde entra el CBWSDID (una herramienta estadística compleja que el autor, Vadim Ustyuzhanin, ha simplificado para nosotros). Vamos a desglosarlo con analogías simples.

1. El Problema: "La Comparación Desigual"

En el mundo de las estadísticas, se llama "Diferencia de Diferencias" (DID). Es como comparar dos grupos:

• Grupo A: Los que probaron el ingrediente.
• Grupo B: Los que no lo probaron (el grupo de control).

El método antiguo (llamado "DID apilado") intentaba mezclar a todos los grupos en una sola olla gigante. Pero tenía dos fallos:

1. Mezcla desordenada: Mezclaba a los grupos de 2004 con los de 2005 sin cuidado, como si fueran todos iguales.
2. Ingredientes desiguales: Dentro de cada año, los que pusieron el ingrediente tenían sopas muy diferentes a las de los que no lo pusieron (diferente sal, fuego, etc.).

2. La Solución: El Método de "Dos Pasos" (CBWSDID)

El autor propone una receta de dos pasos para arreglar esto. Imagina que tienes que organizar una carrera de caballos.

Paso 1: El Entrenador Personal (El Ajuste de Diseño)

Antes de la carrera, el entrenador (el estadístico) mira a cada caballo que va a correr con el nuevo entrenamiento (tratamiento) y busca un caballo de control que sea casi idéntico a él.

• Si el caballo de tratamiento es alto, rápido y tiene un historial de lesiones, el entrenador busca un caballo de control que sea exactamente igual en esas cosas.
• Si no encuentra uno perfecto, usa una "balanza mágica" (pesos estadísticos) para decir: "Este caballo de control vale un 0.8, y este otro vale un 0.2", de modo que, en conjunto, el grupo de control se vea idéntico al grupo de tratamiento.

En lenguaje simple: Antes de comparar, aseguramos que las personas que recibieron el tratamiento y las que no, sean "gemelos" en términos de sus características previas. Esto se hace dentro de cada grupo de tiempo.

Paso 2: El Juez de la Carrera (La Agregación Correctiva)

Ahora que tenemos pares perfectos, necesitamos sumar los resultados de todas las carreras (todos los años) para ver el efecto total.

• El problema es que quizás en 2004 hubo muchos corredores y en 2005 pocos. Si simplemente sumamos todo, el año 2004 dominará el resultado.
• El método CBWSDID usa un "juez" inteligente que dice: "No importa cuántos corredores hubo en 2004, vamos a darles el mismo peso que a los de 2005 para que el resultado final sea justo y represente a todos por igual".

En resumen: El Paso 1 asegura que la comparación sea justa dentro de cada grupo. El Paso 2 asegura que la suma final sea justa entre todos los grupos.

3. ¿Qué pasa si el tratamiento va y viene? (El caso de la democracia)

La mayoría de los métodos asumen que una vez que tomas el tratamiento (ej. un país se vuelve democrático), nunca vuelve a ser autocrático. Pero en la vida real, las cosas cambian: un país puede ser democrático, luego autocrático, y luego democrático de nuevo.

El CBWSDID es como un cineasta que no solo mira la película entera, sino que corta la película en escenas.

• En lugar de decir "¿Qué pasa con el país X?", dice "¿Qué pasa en esta escena específica donde el país pasó de autocrático a democrático?".
• Luego, busca una "escena de control" idéntica en otro país que no cambió en ese momento.
• Esto permite estudiar cambios repetidos (encender y apagar la luz) sin perderse.

4. ¿Por qué es importante? (La prueba de fuego)

El autor probó su método con dos ejemplos reales:

1. Leyes de Vivienda Justa: Antes, los métodos antiguos decían que estas leyes reducían drásticamente la segregación racial. Pero el nuevo método (CBWSDID) dijo: "Espera, las ciudades que adoptaron la ley ya tenían tendencias diferentes. Si igualamos las condiciones, el efecto real es mucho más pequeño o nulo". ¡El método antiguo estaba confundiendo el ingrediente con la receta base!
2. Democracia y Crecimiento: Al igual que en el ejemplo anterior, el nuevo método ayudó a ver que la relación entre democracia y crecimiento económico es más compleja y menos dramática de lo que pensábamos.

Conclusión: El Puente

Piensa en el CBWSDID como un puente entre dos islas:

• Isla A: Los métodos modernos que son muy estrictos y comparan "gemelos" (Matching).
• Isla B: Los métodos tradicionales que son fáciles de usar pero a veces se equivocan al mezclar datos (DID apilado).

El CBWSDID te permite caminar de una isla a la otra. Te da la precisión de comparar "gemelos" (para que no haya trampas en la comparación) pero mantiene la estructura simple y clara de sumar los resultados (para que sea fácil de entender y reportar).

En una frase: Es una forma más inteligente de comparar "peras con peras" y luego sumar los resultados de todas las peras sin que una sola variedad domine la cuenta final.

Resumen técnico

Resumen Técnico: CBWSDID

1. El Problema de Investigación

El artículo aborda las limitaciones inherentes a los métodos de Diferencias en Diferencias (DID) apilados (Stacked DID) en entornos de adopción escalonada y tratamientos repetidos. Aunque el DID apilado ha ganado popularidad para estudiar efectos dinámicos al reorganizar los datos en sub-experimentos específicos por cohorte, enfrenta dos problemas de diseño críticos que a menudo se tratan por separado:

1. Falta de comparabilidad dentro del sub-experimento: Incluso dentro de un sub-experimento específico (una cohorte tratada y sus controles "limpios"), las unidades tratadas y de control pueden diferir significativamente en características pre-tratamiento (covariables, resultados rezagados). Esto viola la suposición de tendencias paralelas condicionales, llevando a sesgos si no se ajustan.
2. Problemas de agregación entre sub-experimentos: La agregación simple de observaciones tratadas y de control a través de diferentes sub-experimentos puede distorsionar el parámetro causal objetivo. Como demostraron Wing et al. (2024), el DID apilado ordinario falla al no ponderar correctamente las tendencias de control para que coincidan con las cuotas de las cohortes tratadas, resultando en una mezcla distorsionada de tendencias no tratadas.

El desafío principal es integrar el ajuste de covariables (para mejorar la comparabilidad interna) con la corrección de ponderación (para una agregación válida) sin tratarlos como estimadores separados o incompatibles.

2. Metodología: CBWSDID

El autor propone CBWSDID (Diferencias en Diferencias Apiladas Ponderadas y Equilibradas por Covariables), un marco unificado que separa el ajuste de diseño dentro del sub-experimento de la agregación entre sub-experimentos mediante el uso de pesos de diseño no negativos.

Estructura del Estimador:
El método opera en dos etapas lógicas, ambas representadas a través de un único conjunto de pesos en una regresión ponderada:

• Etapa 1: Ajuste de Diseño (Dentro del Sub-experimento)

  • Para cada sub-experimento $a$ (definido por la cohorte de tratamiento), se construyen pesos de diseño $b_{sa}$ para las unidades de control.
  • Estos pesos se generan mediante emparejamiento (matching) o ponderación (weighting) (ej. emparejamiento por vecino más cercano, balanceo de entropía, IPW) utilizando covariables pre-tratamiento ($X_{sa}$).
  • El objetivo es equilibrar la distribución de covariables entre los tratados y los controles dentro de ese sub-experimento específico, mejorando la validez de la comparación interna.
  • Se define una "masa de control efectiva" ($\tilde{N}^C_a$) basada en la suma de estos pesos.

• Etapa 2: Ponderación Correctiva (Agregación entre Sub-experimentos)

  • Se aplican los pesos correctivos de Wing et al. (2024) para asegurar que la agregación de las tendencias de control coincida con la distribución de las cohortes tratadas.
  • Los pesos finales de la muestra ($W_{sa}$) para las unidades de control combinan ambos pasos:
    $$W_{sa} = b_{sa} \times \frac{N^D_a / N^D_{\Omega}}{\tilde{N}^C_a / \tilde{N}^C_{\Omega}}$$
  • Las unidades tratadas mantienen un peso de 1.
  • Esto permite estimar el Efecto Promedio en los Tratados (ATT) agregado recortado ($\theta^\kappa_e$), que promedia los efectos específicos de la cohorte utilizando las proporciones de las cohortes tratadas como pesos.

Extensión a Tratamientos Repetidos (0 $\to$ 1 y 1 $\to$ 0):
El autor extiende el marco más allá de los tratamientos absorbentes (donde una vez tratado, siempre se está tratado) a escenarios de episodios repetidos.

• Se introduce una restricción de memoria finita ($L$): los resultados potenciales dependen solo de la historia de tratamiento reciente (últimos $L$ periodos).
• La unidad de análisis cambia de "cohorte de primera adopción" a "tipo de episodio" (definido por el momento de cambio $\tau$ y la historia reciente $h$).
• Esto permite analizar tanto la democratización (0 $\to$ 1) como la autocratización (1 $\to$ 0) bajo el mismo marco, alineándose con diseños basados en episodios como PanelMatch.

3. Contribuciones Clave

1. Marco Unificado: Proporciona un marco DID apilado que integra nativamente refinamientos basados en emparejamiento y ponderación, tratándolos como un solo estimador basado en regresión ponderada.
2. Generalización a Tratamientos No Absorbentes: Extiende la lógica de los pesos correctivos de Wing et al. a episodios de tratamiento repetido bajo una suposición de memoria finita, cerrando la brecha entre el DID apilado ponderado y los diseños de emparejamiento de episodios (como PanelMatch).
3. Implementación Práctica: Desarrolla el paquete de R cbwsdid (disponible en GitHub) que facilita la implementación de este estimador en entornos complejos.

4. Resultados y Evidencia Empírica

A. Simulaciones (Diseño de Adopción Escalonada Absorbente):

• Escenario: Se generaron datos donde la selección de tratamiento estaba correlacionada con covariables y tendencias no tratadas, violando las tendencias paralelas incondicionales.
• Hallazgos:
  • El DID apilado ordinario y el DID apilado ponderado (sin ajuste de covariables) mostraron tendencias pre-tratamiento espurias significativas y sesgo en los efectos post-tratamiento.
  • CBWSDID (tanto con refinamiento por emparejamiento como por ponderación) eliminó casi por completo las tendencias pre-tratamiento falsas y recuperó con precisión la trayectoria dinámica del efecto del tratamiento.
  • La versión basada en ponderación (balanceo de entropía) mostró un rendimiento ligeramente superior en términos de sesgo y tasa de rechazo en la simulación, aunque el autor advierte que esto depende de la sintonización del método de emparejamiento.

B. Aplicación Empírica 1: Ley de Vivienda Justa (Trounstine, 2020):

• Contexto: Efecto de la adopción de la Ley de Vivienda Justa en la segregación racial (blancura de la ciudad).
• Resultado: Los estimadores sin refinamiento (TWFE, Sun-Abraham, DID apilado ponderado) mostraron una caída drástica y estadísticamente significativa en la segregación tras la adopción, pero con tendencias pre-tratamiento positivas y significativas, indicando falta de paralelismo.
• Impacto de CBWSDID: Al aplicar el ajuste de covariables, las tendencias pre-tratamiento se aplanaron (cerca de cero). Crucialmente, la magnitud de la caída post-tratamiento se redujo drásticamente y dejó de ser estadísticamente significativa. Esto sugiere que el resultado original era un artefacto de la mala comparabilidad entre ciudades tratadas y no tratadas.

C. Aplicación Empírica 2: Democracia y Crecimiento (Acemoglu et al., 2019):

• Contexto: Efecto de la transición de autocracia a democracia (y viceversa) en el PIB per cápita.
• Comparación: CBWSDID vs. PanelMatch.
• Resultado: Ambos métodos arrojaron conclusiones sustantivas muy similares: efectos de crecimiento débiles o nulos a corto plazo tras la democratización, y efectos negativos persistentes tras la autocratización.
• Ventaja: CBWSDID logró estos resultados dentro de un marco de regresión apilada ponderada, que es más fácil de resumir, diagnosticar y extender que los métodos de emparejamiento puro, manteniendo una varianza estimada ligeramente menor.

5. Significado e Implicaciones

El artículo concluye que CBWSDID no debe verse como un reemplazo de los estimadores DID modernos o del emparejamiento de paneles, sino como un puente entre ellos.

• Valor Teórico: Resuelve la tensión entre la necesidad de ajustar covariables para la validez interna (dentro del sub-experimento) y la necesidad de ponderar correctamente para la validez externa (agregación global).
• Valor Práctico: Ofrece a los investigadores una herramienta robusta para entornos de tratamiento escalonado y repetido donde las tendencias paralelas incondicionales son implausibles. Permite utilizar la flexibilidad del emparejamiento/ponderación sin perder la claridad del parámetro de identificación y la estructura de inferencia del DID apilado.
• Inferencia: Se recomienda el uso de errores estándar robustos agrupados a nivel de unidad (clustering), ya que las mismas unidades pueden aparecer múltiples veces en la muestra apilada (especialmente en diseños de tratamientos repetidos).

En resumen, CBWSDID representa una evolución metodológica que combina la mejor práctica de diseño (ajuste de covariables) con la mejor práctica de agregación (pesos correctivos), ofreciendo estimaciones más creíbles en escenarios de política pública complejos y dinámicos.