Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

Resumen Técnico: Inferencia Válida al Probar Violaciones de las Tendencias Paralelas para Diferencias en Diferencias

Enunciado del Problema
El diseño de Diferencias en Diferencias (DID) es una estrategia principal para estimar efectos causales en presencia de confusión no medida, dependiendo críticamente del supuesto de tendencias paralelas. Aunque este supuesto es contrafactual y no testeable para el periodo posterior al tratamiento, los investigadores examinan rutinariamente los periodos previos al tratamiento para verificar violaciones de las tendencias. Sin embargo, literatura reciente (por ejemplo, Freyaldenhoven, Hansen y Shapiro, 2019; Roth, 2022) ha demostrado que el uso de pruebas preliminares convencionales para validar las tendencias paralelas induce deficiencias estadísticas graves en la inferencia subsiguiente, incluyendo sesgo, baja potencia y cobertura insuficiente de los intervalos de confianza. Los investigadores aplicados enfrentan un dilema: las pruebas preliminares son intuitivamente necesarias para evaluar la plausibilidad del diseño de investigación, pero los métodos estadísticos estándar fallan cuando se condicionan a los resultados de dichas pruebas.

Metodología
Los autores proponen un marco que formaliza la lógica implícita de las pruebas preliminares mediante un nuevo supuesto y deriva los procedimientos de inferencia correspondientes.

1. El Supuesto de Extrapolación Condicional:
   La contribución teórica central es el "Supuesto de Extrapolación Condicional". A diferencia del supuesto clásico de tendencias paralelas (que postula cero violaciones) o de los supuestos de identificación parcial (que asumen que las violaciones previas al tratamiento acotan incondicionalmente las violaciones posteriores al tratamiento), este supuesto postula una relación condicional:

   • Si la severidad de las violaciones de las tendencias paralelas previas al tratamiento ($S_{pre}$) está por debajo de un umbral aceptable preespecificado ($M$), entonces la severidad de las violaciones posteriores al tratamiento ($S_{post}$) está acotada por $S_{pre}$ (es decir, $S_{post} \leq S_{pre}$).
   • Si $S_{pre} > M$, no se justifica ningún límite sobre $S_{post}$ y el diseño DID se considera inapropiado.
     Aquí, la severidad se mide como una norma $L_p$ de las violaciones iterativas de las tendencias paralelas ($R(t)$).

2. Prueba Preliminar:
   Los autores proponen una prueba preliminar simple para determinar si se cumple la condición de extrapolación ($S_{pre} \leq M$). El estadístico de prueba es la severidad estimada de las violaciones previas al tratamiento ($\hat{S}_{pre}$). La prueba rechaza la condición de extrapolación si $\hat{S}_{pre} \geq M$.

   • Consistencia Asintótica: Se demuestra que la prueba es asintóticamente consistente bajo una "condición de separación". Específicamente, si la verdadera $S_{pre}$ está separada del umbral $M$ por una secuencia $s_n$ donde $s_n = \omega(n^{-1/2})$, tanto los errores Tipo I como Tipo II desaparecen a medida que el tamaño de la muestra $n \to \infty$. Esto difiere de la prueba de hipótesis convencional, que busca minimizar el error Tipo II a un nivel fijo de error Tipo I; en cambio, esta prueba prioriza la consistencia en regímenes bien separados.

3. Intervalos de Confianza Válidos Condicionalmente:
   Si la prueba preliminar supera (es decir, se declara verdadera la condición de extrapolación), los autores construyen intervalos de confianza para el Efecto Promedio del Tratamiento en los Tratados (ATT).

   • Estructura: El intervalo está centrado en el estimador DID estándar ($\hat{\tau}_{DD}$) pero inflado para tener en cuenta el sesgo potencial. La anchura incluye dos componentes:
     1. Un término de sesgo: $\kappa \cdot \hat{S}_{pre}$, donde $\kappa$ es una constante derivada de la longitud del periodo posterior al tratamiento y la elección de la norma $p$. Este término representa la cota superior aguda del sesgo derivada de la Proposición 3.1.
     2. Un término de fluctuación estadística: $f(\alpha, \hat{\Sigma}) / \sqrt{n}$, que cuenta con la incertidumbre conjunta del estimador DID y la estimación de la severidad.
   • Validez: El Teorema 5.1 establece que estos intervalos logran una cobertura nominal ($1-\alpha$) condicional al evento de que la prueba preliminar supere, siempre que el proceso generador de datos satisfaga la condición de separación.

Resultados Clave

• Consistencia: La prueba preliminar propuesta es asintóticamente consistente para separar hipótesis donde la severidad de la violación previa al tratamiento está suficientemente lejos del umbral $M$.
• Cobertura Condicional: Los intervalos de confianza propuestos proporcionan una cobertura válida condicional a superar la prueba. Esto resuelve los problemas de cobertura insuficiente asociados con los métodos convencionales que condicionan a superar las pruebas previas estándar.
• Comportamiento de la Anchura del Intervalo: La anchura de los intervalos de confianza escala como $\max(S_{pre}, n^{-1/2})$.
  • Si las violaciones previas al tratamiento están "presentes pero son negligibles" (orden $n^{-1/2}$), la anchura del intervalo converge a la tasa paramétrica estándar ($n^{-1/2}$).
  • Si las violaciones son no negligibles (orden $O(1)$), la anchura del intervalo permanece constante, reflejando la cota de sesgo persistente.
• Probabilidad de Reporte Válido: El Teorema 5.2 muestra que la probabilidad conjunta de superar la prueba y de que el intervalo contenga el efecto verdadero (reporte válido) también converge al nivel nominal bajo la nula bien separada.

Ilustraciones Empíricas
Los autores validan sus métodos utilizando:

1. Simulaciones Sintéticas: Demostrando que la cobertura condicional de sus intervalos se mantiene al nivel nominal cuando la condición de extrapolación es verdadera, whereas los intervalos convencionales tienen cobertura insuficiente. Las simulaciones también muestran cómo la anchura del intervalo escala con el número de periodos previos al tratamiento ($T_{pre}$) y el parámetro de severidad ($p$).
2. Datos de Recentralización de Vietnam: Reanalizando Malesky, Nguyen y Tran (2014). La prueba preliminar rechaza correctamente la condición de extrapolación para resultados con violaciones graves de tendencias previas al tratamiento (centros agrícolas), evitando inferencias inválidas, mientras proporciona intervalos más amplios y válidos para resultados con violaciones menores.
3. Leyes de Derecho a Portar (Virginia/Maryland): Una ilustración semisintética comparando violaciones iterativas versus globales. Los resultados destacan que la elección de la métrica de violación ($R(t)$ iterativa vs. $\Delta(t)$ global) y el umbral $M$ impactan significativamente si se acepta la condición de extrapolación y la anchura resultante del intervalo.

Significado y Afirmaciones
El artículo afirma proporcionar el primer supuesto formal (Extrapolación Condicional) que hace necesaria la prueba preliminar, ofreciendo así una justificación teórica para una práctica empírica común que previamente se había demostrado que rompe la inferencia estándar.

• Formalización: Formaliza el supuesto implícito que hacen los investigadores cuando deciden proceder con el análisis DID solo después de observar tendencias previas al tratamiento "aceptables".
• Remedio: Ofrece una solución práctica a la "paradoja de la prueba previa" proporcionando procedimientos de inferencia que permanecen válidos después de condicionar al resultado de la prueba, siempre que se cumpla la condición de separación.
• Modestia: Los autores reconocen que el Supuesto de Extrapolación Condicional es contrafactual y no testeable, similar al propio supuesto de tendencias paralelas. No afirman verificar el supuesto, sino más bien proporcionar un marco donde, si el supuesto se cumple y las violaciones previas al tratamiento son suficientemente pequeñas (separadas del umbral), es posible una inferencia válida. Señalan que sus resultados dependen de la condición de separación, lo que significa que la inferencia no está garantizada para casos donde las violaciones están arbitrariamente cerca del umbral $M$.

El artículo concluye sugiriendo que el trabajo futuro podría extender estos procedimientos a diseños de adopción escalonada y estrategias de identificación alternativas, pero enfatiza que la contribución actual es una formalización de la lógica subyacente a las pruebas preliminares en diseños DID de adopción por bloques.