A Machine-Learning-Compatible Omnibus Test for Treatment Effect Heterogeneity

Resumen Técnico: Una prueba ómnibus compatible con el aprendizaje automático para la heterogeneidad del efecto del tratamiento

Planteamiento del problema
El artículo aborda el desafío de probar la heterogeneidad sistemática del efecto del tratamiento en entornos donde la identificación depende de variables de control de alta dimensión, pero la heterogeneidad de interés se define con respecto a un subconjunto de baja dimensión de covariables. Si bien los métodos de aprendizaje automático (ML) se han vuelto populares para descubrir la heterogeneidad debido a su flexibilidad y capacidad para manejar datos de alta dimensión, existe una falta de pruebas ómnibus formales y computacionalmente eficientes que puedan evaluar si los efectos del tratamiento varían sistemáticamente con las covariables observadas, manteniendo al mismo tiempo la validez inferencial requerida para la evaluación de políticas. Los métodos existentes suelen centrarse en resúmenes específicos (por ejemplo, proyecciones lineales o grupos ordenados) o están limitados a covariables de baja dimensión y estimadores clásicos.

Metodología
Los autores proponen una prueba ómnibus no paramétrica basada en los principios del Momento Condicional Integrado (ICM, por sus siglas en inglés), adaptada para su uso con estimadores modernos de ML. La metodología procede a través de los siguientes pasos:

1. Reformulación de la hipótesis nula:
   La hipótesis nula ($H_0$) postula que el Efecto Promedio del Tratamiento Condicional (CATE) es constante con respecto a un vector de covariables de baja dimensión $X_c$, incluso si varía con otras covariables. Formalmente, $H_0: E\{Y(1) - Y(0) | X_c\} = \delta_0$. Los autores transforman esta restricción de momento condicional en una continuidad de restricciones de momento incondicionales utilizando un resultado de Bierens (2016). Esto implica probar si el residuo del efecto del tratamiento no está correlacionado con una familia de funciones analíticas, no polinómicas $\phi(t^T X_c)$ para todo $t$ en un conjunto compacto $T$.

2. Construcción de puntuación localmente robusta:
   Para acomodar la estimación de parámetros de confusión mediante ML flexible (puntuaciones de propensión y regresiones de resultados), los autores construyen una puntuación doblemente robusta $U$. Esta puntuación combina ajustes de regresión de resultados con ponderación de la puntuación de propensión. La construcción asegura la ortogonalidad de Neyman, lo que significa que la estadística de la prueba es localmente robusta a pequeños errores de estimación en las funciones de confusión de la primera etapa. Esto permite el uso de métodos de ML de alta dimensión sin invalidar la distribución asintótica de la prueba.

3. Cross-fitting (Validación cruzada):
   Para prevenir el sobreajuste y asegurar una inferencia válida al usar ML, los autores emplean un procedimiento de cross-fitting. La muestra se divide en pliegues (folds); las funciones de confusión se estiman en el complemento de cada pliegño y se aplican a las observaciones reservadas. Esto genera una puntuación factible $\hat{U}_i$ para cada observación.

4. Estadístico de la prueba:
   El estadístico $S_n$ mide la norma $L_2$ ponderada de los momentos muestrales de las puntuaciones robustas contra las funciones de $X_c$. Específicamente, $S_n = \int |\sqrt{n} E_n[\hat{U}_i \phi(t^T X_{c,i})]|^2 d\rho(t)$. Al elegir $\phi$ como una función exponencial y $\rho$ con una transformada de Fourier simétrica, el estadístico admite una representación de forma cerrada que involucra una matriz de kernel $F_\rho$: $S_n = \frac{1}{n} \hat{U}^T F_\rho \hat{U}$.

5. Procedimiento de Bootstrap:
   Dado que la distribución nula asintótica depende de características desconocidas del proceso generador de datos, los autores desarrollan un procedimiento de bootstrap computacionalmente eficiente. Crucialmente, este bootstrap no requiere reestimar las funciones de confusión (los modelos de ML) en cada iteración. En su lugar, remuestrea los datos utilizando pesos aplicados a las puntuaciones precalculadas y recalcula únicamente las cantidades de baja dimensión (como el efecto promedio del tratamiento estimado). Esto hace que el procedimiento sea escalable para aplicaciones empíricas de gran escala.

Extensiones
El marco se extiende más allá del supuesto estándar de no confusión (selección sobre observables) a:

• Diferencia en Diferencias (DiD): Probar la heterogeneidad en el Efecto Promedio del Tratamiento sobre los Tratados (ATT) bajo tendencias paralelas condicionales, aplicable tanto a datos de panel como a cortes transversales repetidos.
• Variables Instrumentales (IV): Probar la heterogeneidad en los Efectos Locales de Tratamiento Promedio (LATE) cuando los instrumentos son válidos condicionados a las covariables.

Resultos Clave

• Teoría Asintótica: Los autores derivan la distribución nula asintótica del estadístico de la prueba, mostrando que converge a la integral del cuadrado del módulo de un proceso gaussiano ajustado. Bajo la hipótesis alternativa, el estadístico diverge al infinito, asegurando la consistencia.
• Validez del Bootstrap: Se demuestra que el procedimiento de bootstrap propuesto es asintóticamente válido, controlando correctamente el tamaño de la prueba bajo la nula y manteniendo la potencia bajo la alternativa.
• Evidencia de Simulación: Las simulaciones de Monte Carlo demuestran que la prueba alcanza un tamaño casi nominal bajo la nula en diversas dimensiones de muestra, dimensiones de covariables y estimadores de ML. La prueba exhibe un buen poder contra alternativas heterogéneas, incluyendo no linealidades y efectos de umbral.
• Aplicaciones Empíricas: El procedimiento se aplica a dos casos:
  1. El efecto de la elegibilidad para el plan 401(k) sobre los activos financieros de los hogares (revisando a Poterba et al., 1995; Chernozhukov et al., 2018).
  2. El impacto de las reducciones arancelarias sobre la corrupción a lo largo del corredor comercial Sudáfrica–Mozambique (basándose en Sequeira, 2016; Chang, 2020).
     En ambos casos, la prueba detecta heterogeneidad económicamente significativa manteniendo la viabilidad computacional.

Significancia y Reivindicaciones
El artículo afirma proporcionar una herramienta práctica y modular para investigadores interesados en la heterogeneidad sistemática del efecto del tratamiento. Sus principales contribuciones son:

1. Generalidad: Ofrece una evaluación global de la heterogeneidad con respecto a un conjunto elegido de covariables sin requerir que la heterogeneidad sea resumida por una proyección lineal o un pequeño número de grupos ordenados (a diferencia de los métodos de Mejor Predictor Lineal o Efectos Ordenados).
2. Flexibilidad: Es compatible con una amplia clase de estimadores, incluyendo métodos modernos de ML, al aprovechar el cross-fitting y la ortogonalidad de Neyman para manejar parámetros de confusión de alta dimensión.
3. Eficiencia Computacional: La característica única del procedimiento de bootstrap, que evita la reestimación de los parámetros de confusión en cada iteración, hace que la prueba sea factible para aplicaciones empíricas a gran escala donde la estimación de ML es computacionalmente intensiva.
4. Amplia Aplicabilidad: El marco unifica la prueba de heterogeneidad a través de experimentos aleatorios, estudios observacionales (no confusión), DiD y entornos de IV.

Los autores posicionan su trabajo como una herramienta de diagnóstico de primer paso: responde si existe una heterogeneidad sistemática con respecto a las covariables observadas, permitiendo a los investigadores proceder con análisis más detallados de impulsores específicos solo si la prueba ómnibus rechaza la nula.