Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

Resumen Técnico: Muestras Pequeñas y Paneles Cortos: Evaluando Métodos de Evaluación de Políticas con Datos Realistas

Planteamiento del Problema
Los investigadores en economía, salud pública y ciencia política utilizan frecuentemente diseños cuasi-experimentales longitudinales, tales como la Diferencia en Diferencias (DiD) y el Método de Control Sintético (SCM), para evaluar intervenciones de políticas a nivel geográfico (por ejemplo, estados, condados, ciudades). Sin embargo, estas evaluaciones suelen enfrentar severas restricciones de datos: un número limitado de unidades geográficas y paneles cortos (pocos periodos pre y post-tratamiento). Mientras que DiD se basa en el supuesto de tendencias paralelas, el cual puede ser implausible sin condicionar sobre covariables extensas (una tarea difícil en muestras pequeñas), los métodos más recientes como el Diferencia en Diferencias Sintética (SDiD) y el Método de Control Sintético Aumentado (ASCM) ofrecen alternativas.

El problema central abordado es que las garantías de desempeño teórico de SDiD y ASCM —específicamente respecto al sesgo y la cobertura de los intervalos de confianza— se derivan bajo supuestos asintóticos que requieren un gran número de unidades y periodos de tiempo. Estos supuestos suelen fallar en las evaluaciones de políticas de salud realistas donde los tamaños de muestra son pequeños (por ejemplo, menos de 10 unidades de control) y los paneles son cortos (por ejemplo, menos de 20 periodos pre-tratamiento). Existe una falta de evidencia sistemática sobre si estos métodos producen estimaciones confiables e inferencias válidas bajo tales limitaciones severas de datos.

Metodología
Para evaluar el desempeño de SDiD y ASCM en estos entornos realistas de muestras pequeñas, los autores emplean una estrategia de simulación calibrada. En lugar de depender de generación de datos puramente teóricos, inyectan efectos de tratamiento conocidos (específicamente estableciendo el verdadero efecto en cero para probar propiedades nulas) en conjuntos de datos simulados derivados de distribuciones empíricas del mundo real.

• Calibración de Datos: Los parámetros de la simulación se estiman a partir de dos conjuntos de datos del mundo real:
  1. Sistema de Vigilancia del Comportamiento de Riesgo en Jóvenes (YRBSS): Datos de consumo de soda a nivel de ciudad ($N=7$ ciudades, $T=6$ periodos), representando paneles cortos con pocas unidades.
  2. Encuesta de Población Actual (CPS): Datos de salario logarítmico a nivel estatal ($N=50$ estados, $T=40$ años), permitiendo la investigación de paneles más largos.
• Proceso Generador de Datos (DGP): Los datos se generan bajo un modelo de factores latentes ($Y = \Gamma\Psi' + W \cdot \tau + E$), un entorno donde tanto SDiD como ASCM poseen propiedades teóricas favorables. Las cargas de los factores ($\Gamma$) y los factores temporales ($\Psi$) se estiman utilizando efectos fijos interactivos de los conjuntos de datos de calibración.
• Diseño de la Simulación: Los autores varían el número de unidades tratadas ($N_{tr}$), unidades de control ($N_{co}$), periodos pre-tratamiento ($T_{pre}$) y periodos post-tratamiento ($T_{post}$). Los escenarios incluyen limitaciones extremas (por ejemplo, $N_{co}=6, T_{pre}=5$).
• Métodos Evaluados:
  • SDiD: Implementado mediante el paquete de R synthdid, utilizando estimación de varianza de placebo.
  • ASCM: Implementado mediante el paquete de R augsynth con regresión ridge como el modelo de resultado, utilizando inferencia conforme para la prueba de hipótesis.
  • DiD: Incluido como un punto de referencia en entornos donde las tendencias paralelas se cumplen exactamente, para cuantificar las pérdidas de eficiencia.
• Métricas: El desempeño se evalúa a través del sesgo, el error estándar empírico y las tasas de cobertura de los intervalos de confianza (calculadas como la proporción de simulaciones donde no se rechaza la hipótesis nula verdadera $\tau=0$).

Resultos Clave
Los resultados de la simulación revelan características de desempeño distintas para SDiD y ASCM dependiendo del tamaño de la muestra y la longitud del panel:

1. Sesgo y Precisión:

   • Ambos métodos exhiben un sesgo moderado (típicamente $<0.1$ desviaciones estándar empíricas) en la mayoría de los escenarios.
   • ASCM generalmente produce un sesgo menor que SDiD, particularmente cuando hay más unidades disponibles. Sin embargo, en entornos con más periodos de tiempo y menos unidades tratadas, ASCM puede exhibir un mayor sesgo.
   • SDiD generalmente logra errores estándar empíricos más bajos (mayor precisión) que ASCM, particularmente en escenarios con periodos pre-tratamiento largos y pocas unidades tratadas (por ejemplo, en los datos de CPS con $N_{tr}=1, N_{co}=10, T_{pre}=30$, la varianza de ASCM fue 2.26 veces mayor que la de SDiD).

2. Cobertura de Intervalos de Confianza:

   • ASCM: El procedimiento de inferencia conforme sobrecobertura (cobertura $>95\%$) cuando el número de periodos pre-tratamiento es pequeño ($T < 20$), lo que conduce a una pérdida sustancial de potencia estadística. Sin embargo, la sobrecobertura puede persistir incluso con paneles más largos (por ejemplo, $T=30$) cuando el número de unidades tratadas es muy pequeño ($N_{tr}=1$). La cobertura nominal se logra generalmente cuando hay al menos 20 periodos pre-tratamiento disponibles, siempre que haya suficientes unidades tratadas.
   • SDiD: La cobertura depende altamente del número de unidades de control. Con una sola unidad tratada, la cobertura nominal solo se alcanza con al menos 25 unidades de control. Con múltiples unidades tratadas, la cobertura nominal es alcanzable con tan solo 10 unidades de control.
   • DiD: Logra la cobertura nominal independientemente del tamaño de la muestra cuando el supuesto de tendencias paralelas se cumple, aunque SDiD y ASCM sacrifican precisión (el rango de eficiencia relativa es de 1.09 a 2.25) para ganar robustez contra violaciones de las tendencias paralelas.

3. Desempeño en Muestras Pequeñas:

   • En los escenarios más restringidos (por ejemplo, $N_{co}=6, T_{pre}=5$), ambos métodos muestran desviaciones de la cobertura nominal, aunque el sesgo permanece relativamente bajo.
   • Los autores señalan que, si bien los supuestos teóricos para la normalidad asintótica suelen fallar en estas muestras pequeñas, los métodos aún funcionan "razonablemente bien" en términos de estimación puntual, aunque la inferencia (intervalos) requiere precaución.

Significancia y Guía Práctica
El artículo proporciona orientación práctica para investigadores que evalúan intervenciones de políticas en entornos con pocas unidades y paneles cortos, particularmente donde el supuesto de tendencias paralelas es sospechoso:

• Selección de Método: Se recomienda el uso de SDiD y ASCM como análisis primarios solo cuando el conocimiento del tema sugiere que las tendencias paralelas son implausibles (por ejemplo, debido a choques pre-intervención). De lo contrario, deben usarse como análisis de sensibilidad de DiD.
• Restricciones de Inferencia:
  • ASCM debe usarse con precaución en paneles cortos ($T < 20$) debido a los intervalos de confianza conservadores que reducen la potencia; incluso con paneles más largos, la cobertura puede ser deficiente si el número de unidades tratadas es muy pequeño.
  • SDiD requiere un número suficiente de unidades de control (aprox. 25 para unidades tratadas únicas, 10 para múltiples) para lograr una inferencia válida.
• Compromisos (Trade-offs): El estudio destaca que la robustez de SDiD y ASCM ante las violaciones de las tendencias paralelas viene acompañada de un costo en la precisión en comparación con DiD cuando las tendencias paralelas realmente se cumplen.
• Limitaciones: Los autores reconocen que sus simulaciones están calibradas con solo dos conjuntos de datos y asumen un modelo de factores latentes con adopción simultánea. No pretenden ofrecer una guía prescriptiva para ajustes específicos de covariables o métodos alternativos de estimación de varianza, señalando que sus resultados reflejan las implementaciones de software por defecto.

Conclusión
El estudio concluye que, si bien SDiD y ASCM ofrecen herramientas valiosas para la evaluación de políticas en entornos de escasez de datos, sus propiedades inferenciales son sensibles al tamaño de la muestra y a la longitud del panel. Los investigadores deben considerar cuidadosamente el número de unidades de control y periodos de tiempo disponibles antes de confiar en estos métodos para la realización de pruebas de hipótesis, ya que las garantías asintóticas estándar pueden no cumplirse en los entornos de muestras pequeñas comunes en la investigación de políticas de salud.