Bias-Variance Tradeoff of Matching Prior to Difference-in-Differences When Parallel Trends is Violated

Resumen Técnico: Compensación Sesgo-Varianza del Emparejamiento Previo frente a Diferencias en Diferencias

Enunciado del Problema
En la gestión operativa empírica y campos relacionados, el estimador de Diferencias en Diferencias (DiD) es una herramienta estándar para la inferencia causal, que depende del supuesto de "tendencias paralelas" (PT). Para fortalecer la plausibilidad de este supuesto, los investigadores emplean frecuentemente una estrategia de "DiD con Emparejamiento" (M-DiD), emparejando unidades tratadas y de control sobre covariables observadas antes de la estimación. Si bien la literatura existente (por ejemplo, Chabé-Ferret, 2015; Ham y Miratrix, 2024) ha analizado extensamente las propiedades de sesgo de tales estimadores, ha descuidado en gran medida las implicaciones de la varianza y el Error Cuadrático Medio (MSE). Esto crea una brecha en la comprensión del rendimiento general de los estimadores M-DiD, particularmente en lo que respecta a la compensación entre reducir el sesgo mediante el emparejamiento y aumentar potencialmente la varianza debido a la reducción del tamaño de la muestra. Además, estudios anteriores a menudo se basan en expectativas límite a nivel de población en lugar de propiedades de muestras finitas, y algunos dependen de supuestos fuertes de normalidad.

Metodología
Los autores desarrollan un marco teórico basado en un modelo de ecuaciones estructurales lineales con factores de confusión no observados que varían en el tiempo. El modelo permite:

1. Efectos que varían en el tiempo: Los coeficientes de las covariables observadas ($X$) y las variables latentes ($\theta$) pueden cambiar con el tiempo, lo que conduce a posibles violaciones de las tendencias paralelas.
2. Análisis de muestras finitas: A diferencia de trabajos anteriores que se centran únicamente en límites asintóticos, los autores definen análogos de muestras finitas para tres estimadores:
   • DiD clásico sin emparejar ($\hat{\tau}_{DiD}$).
   • DiD tras emparejar sobre covariables observadas ($\hat{\tau}^X_{DiD}$).
   • DiD tras emparejar tanto sobre covariables observadas como sobre resultados pre-tratamiento ($\hat{\tau}^{X,Y_0}_{DiD}$).
3. Supuestos Relajados: El marco reemplaza los supuestos de normalidad de la literatura anterior (por ejemplo, Ham y Miratrix, 2024) con condiciones de continuidad de Lipschitz sobre los momentos condicionales, acomodando covariables discretas y estructuras distribucionales más amplias.
4. Generalización: El análisis se extiende desde un escenario univariado de dos periodos a un escenario multivariado general con múltiples periodos pre-tratamiento ($T > 1$), utilizando una equivalencia de regresión de efectos fijos bidireccionales.

Contribuciones Clave

1. Caracterización de Muestras Finitas: El artículo introduce y demuestra la consistencia de los estimadores DiD y DiD con emparejamiento de muestras finitas, cerrando la brecha entre los valores límite teóricos y la aplicación práctica.
2. Análisis de Varianza y MSE: Los autores proporcionan caracterizaciones matemáticas exactas de la varianza y el MSE para estos estimadores. Demuestran que las compensaciones observadas en el sesgo no se sostienen necesariamente para la varianza.
3. Hallazgos Novedosos sobre Compensaciones:
   • Emparejamiento sobre Covariables ($X$): Contrario a los resultados de sesgo que sugieren que emparejar sobre $X$ es siempre beneficioso, los autores muestran que emparejar sobre $X$ implica una compensación de tamaño de muestra. Cuando se violan las tendencias paralelas, emparejar sobre $X$ reduce la varianza al eliminar la variación de $X$, pero este beneficio se ve compensado por la reducción del tamaño de muestra efectivo (aumentando la variación de muestreo). Por lo tanto, emparejar sobre $X$ no siempre se recomienda al considerar la varianza.
   • Emparejamiento sobre Resultados Pre-tratamiento ($Y_0$): En contraste, emparejar adicionalmente sobre resultados pre-tratamiento siempre reduce la varianza en comparación con emparejar solo sobre $X$. Esto se debe a que el tamaño de muestra efectivo permanece igual (ya que el emparejamiento ya se ha realizado), y emparejar sobre $Y_0$ reduce el término de error irreducible y mejora la fiabilidad del emparejamiento de la variable latente.
4. Directrices Prácticas: El artículo ofrece estrategias de estimación paso a paso y directrices para investigadores aplicados para decidir si emparejar y sobre qué variables, basándose en sus tamaños de muestra específicos y si priorizan el sesgo, la varianza o el MSE.

Resultados Clave

• Divergencia Sesgo vs. Varianza: El artículo establece una clara compensación sesgo-varianza. Si bien emparejar sobre $X$ generalmente reduce el sesgo, puede aumentar la varianza si el costo de la reducción del tamaño de la muestra supera el beneficio de eliminar el desequilibrio de covariables.
• El Término de "Fiabilidad": La varianza del estimador que empareja sobre resultados pre-tratamiento depende de un término de "fiabilidad" ($r_{\theta|x}$), que mide qué tan bien los resultados pre-tratamiento predicen el factor de confusión latente $\theta$ después de controlar por $X$. A medida que aumenta el número de periodos pre-tratamiento, esta fiabilidad se aproxima a 1, impulsando la varianza del estimador emparejado hacia el límite de error irreducible.
• Implicaciones del MSE: Dado que el sesgo y la varianza se mueven en direcciones diferentes dependiendo de la estrategia de emparejamiento, el estimador óptimo para minimizar el MSE depende del contexto. Los autores proporcionan estimadores para reducciones relativas en sesgo, varianza y MSE (bajo condiciones de signo específicas) para guiar la toma de decisiones.
• Aplicación Empírica: Al reanalizar a Wang et al. (2022) sobre incentivos monetarios en la plataforma Zhihu, los autores encuentran que la decisión original de emparejar tanto sobre covariables como sobre resultados pre-tratamiento estaba estadísticamente justificada. El análisis mostró una reducción significativa del sesgo con un costo de varianza negligible, apoyando el uso de la estrategia completa M-DiD en ese contexto específico.

Significado y Afirmaciones
El artículo afirma llenar una brecha crítica en la literatura al ir más allá del análisis solo de sesgo hacia un marco integral de sesgo-varianza-MSE. Su importancia radica en:

• Corregir la Intuición: Cuestiona la intuición de que el emparejamiento es siempre superior, mostrando que, bajo consideraciones de varianza, el DiD clásico sin emparejar puede ser a veces preferible debido a la eficiencia del tamaño de la muestra.
• Relevancia Gerencial: Al proporcionar métricas (MSE) y directrices relevantes para minimizar la amplitud de los intervalos de confianza y los riesgos de toma de decisiones, el trabajo ofrece herramientas prácticas para investigadores en gestión operativa.
• Rigor Teórico: Generaliza resultados anteriores al relajar los supuestos de normalidad y proporcionar pruebas de consistencia de muestras finitas, haciendo los hallazgos más robustos para entornos aplicados con datos discretos.

Los autores mantienen una postura modesta, reconociendo limitaciones como la dependencia de un modelo estructural lineal y el supuesto de covariables invariantes en el tiempo (aunque argumentan que esto puede reparametrizarse para aproximar contextos variables en el tiempo). No afirman eliminar el sesgo por completo, sino proporcionar un marco para seleccionar el estimador que minimice el error general (MSE) dadas las restricciones específicas de los datos.