State policy heterogeneity analyses: considerations and proposals

Resumen Técnico: Análisis de la Heterogeneidad de las Políticas Estatales: Consideraciones y Propuestas

Planteamiento del Problema
Los estudios de políticas a nivel estatal emplean frecuentemente análisis de heterogeneidad para cuantificar cómo varían los efectos del tratamiento según las características de cada estado, con el objetivo de informar decisiones de política específicas al contexto. Sin embargo, los autores argumentan que en entornos caracterizados por contextos variados, múltiples versiones de una política y una implementación diferencial, las cantidades causales que se apuntan implícitamente en los análisis estándar a menudo no se alinean con los objetivos inferenciales.

Tres problemas principales complican estos análisis:

1. Desalineación de los Estimandos: Los análisis de heterogeneidad estándar suelen estimar Efectos Promedio de Tratamiento Condicional (CATE, por sus siglas en inglés) o sus proyecciones lineales. Estas cantidades revelan asociaciones entre los efectos causales y las características estatales, pero no necesariamente responden a preguntas relevantes para la política, tales como "¿Cuál es el efecto causal de adoptar esta política en este estado específico?" o "¿Funcionaría mejor esta política si se combinara con otra?".
2. Agrupación del Tratamiento (Treatment Coarsening): Los analistas suelen colapsar distintas versiones o implementaciones de una política (por ejemplo, Programas de Monitoreo de Medicamentos Recetados obligatorios frente a voluntarios) en un único indicador de tratamiento binario. Esta "agrupación" oscurece el vínculo entre los análisis de heterogeneidad y las cantidades causales bien definidas, pudiendo fabricar una aparente heterogeneidad incluso cuando los efectos subyacentes son constantes.
3. Limitaciones de Datos: Con un máximo de 50 estados, el poder estadístico suele ser insuficiente para estimar con precisión estimandos complejos e identificados (como CATEs o Efectos Directos Controlados). Esto obliga a los analistas a recurrir a modelos paramétricos probablemente mal especificados y a estimandos objetivo menos interpretables.

Metodología
El artículo propone cambiar el enfoque inferencial del punto de identificación de los efectos promedio hacia la identificación parcial de los Efectos de Tratamiento Específicos de cada Estado (ITEs) mediante un enfoque de acotación dentro de un marco de Diferencia en Diferencias (DiD).

• Marco Causal: Los autores distinguen entre el ITE (el efecto para un estado específico), el CATE (efecto promedio condicionado a covariables) y el Efecto Directo Controlado (CDE). Demuestran que la agrupación del tratamiento complica la definición de estas cantidades, volviendo a menudo al CATE un promedio ponderado de distintos efectos causales con implicaciones políticas poco claras.
• Enfoque de Acotación (Bounding Approach): En lugar de asumir que las tendencias paralelas se cumplen exactamente, los autores asumen que el error entre la estimación contrafactual y el resultado no observado real está acotado.
  • Definen un parámetro de sensibilidad, $\hat{\tau}^m_i$, que representa la desviación máxima de la suposición de tendencias paralelas.
  • Este parámetro se informa mediante datos pre-tratamiento (por ejemplo, la magnitud de los errores de predicción pre-tratamiento o las violaciones de las tendencias paralelas).
  • Los límites resultantes para el ITE se calculan como: $\hat{\psi}^{DiD}_{i,m} \pm \hat{\tau}^m_i$.
• Manejo de la Agrupación y Covariables: El método se extiende para manejar la agrupación del tratamiento (donde la versión específica de la política adoptada es desconocida para los estados no tratados) ya sea utilizando parámetros de sensibilidad conservadores, asumiendo el conocimiento de la probable versión de la política, o tomando la unión de los límites a través de las posibles versiones de la política. Las covariables se incorporan ajustando las estimaciones de la tendencia contrafactual, aunque el parámetro de sensibilidad se utiliza finalmente para dar cuenta de la incertidumbre en estos ajustes.
• Simulación y Aplicación: Los autores validan el método mediante simulaciones que comparan los límites del ITE contra los intervalos de confianza convencionales basados en CATE. También aplican el método a un estudio de caso del mundo real: el efecto de la expansión de Medicaid de la Ley de Cuidado de Salud Asequible (ACA) en la prescripción de buprenorfina de alto volumen en 2014, examinando la heterogeneidad basada en las leyes de PDMP obligatorias y la composición de proveedores rurales.

Contribuciones Clave

1. Clarificación Conceptual: El artículo organiza sistemáticamente las fuentes de heterogeneidad del efecto (composición de la población, factores contextuales, clima de política, agrupación de políticas e implementación) y aclara por qué los estimandos estándar (CATE, CDE, ITE) difieren, particularmente bajo la agrupación del tratamiento.
2. Objetivo Inferencial Alternativo: Propone la acotación de los efectos específicos de cada estado como una alternativa viable cuando la identificación puntual de los efectos promedio es inviable o cuando el CATE no es relevante para la política. Este enfoque genera rangos para el efecto de la política en cada estado bajo supuestos explícitos.
3. Implementación Práctica: Los autores desarrollan una implementación específica dentro de un marco de DiD que utiliza datos pre-tratamiento para informar los parámetros de sensibilidad, permitiendo a los investigadores evaluar la robustez de los hallazgos ante desviaciones de las condiciones ideales de identificación.
4. Ilustración Empírica: La aplicación a la expansión de Medicaid demuestra que, mientras los análisis de heterogeneidad convencionales suelen carecer de potencia o arrojar resultados inconclusos debido a los pequeños tamaños de muestra y la mala especificación del modelo, el enfoque de acotación puede identificar efectos con signo concluyente (por ejemplo, efectos negativos en Illinois, efectos positivos en Nuevo México), incluso cuando los efectos promedio son nulos.

Resultos

• Simulaciones: En un entorno de simulación con $N \in \{15, 25, 50\}$ estados, los límites del ITE propuestos lograron una mayor cobertura del verdadero ITE y recuperaron de manera más fiable el signo correcto del efecto en comparación con los intervalos de confianza basados en CATE convencionales. Los intervalos de CATE a menudo fallaron en capturar el efecto específico del estado porque apuntan a un promedio proyectado en lugar de al efecto de la unidad específica.
• Aplicación: En el análisis de la expansión de Medicaid y la prescripción de buprenorfina, los modelos convencionales de efectos fijos de dos vías no encontraron efectos promedio estadísticamente significativos. En contraste, el enfoque de acotación identificó que el efecto era estrictamente negativo en Illinois y estrictamente positivo en Nuevo México a través de múltiples especificaciones de sensibilidad y pruebas de robustez. Otros estados arrojaron límites que contienen el cero, comunicando la incertidumbre de manera transparente.

Significancia y Reivindicaciones
Los autores sostienen que, en muchos entornos de política estatal, el CATE es un objetivo de inferencia deficiente porque no puede revelar las causas reales de la heterogeneidad y ofrece interpretaciones primordialmente asociacionales. Argumentan que los efectos específicos de cada estado que son más relevantes para la política rara vez se identifican puntualmente sin supuestos implausibles.

Consecuentemente, el artículo aboga por la identificación parcial de los efectos específicos de cada estado como una alternativa fundamentada y transparente. La significancia de este enfoque radica en su capacidad para:

• Proporcionar información relevante para la política (qué sucedió o qué sucedería en un estado específico), incluso cuando los datos son insuficientes para una estimación puntual precisa.
• Cuantificar explícitamente la incertidumbre mediante límites que son directamente interpretables como "qué tan grande podría ser plausiblemente el efecto".
• Evitar los peligros de los modelos paramétricos mal especificados y la naturaleza engañosa de los estimandos agrupados.

Los autores concluyen que los investigadores no deben abandonar los análisis de heterogeneidad, sino elegir cuidadosamente sus objetivos inferenciales. Cuando la identificación puntual no es factible, la acotación de los efectos específicos de cada estado ofrece un método que alinea la inferencia causal más estrechamente con las preguntas que los responsables de la política buscan responder, manteniendo al mismo tiempo la transparencia sobre los supuestos requeridos para garantizar la validez de los límites.