Outcome-adapted Automatic Debiased Machine Learning

Resumen Técnico: Aprendizaje Automático Desesgado Automáticamente Adaptado al Resultado

1. Planteamiento del Problema

En la inferencia causal y la econometría, los parámetros de interés, tales como los efectos de tratamiento (ATE) o los efectos de política, se expresan a menudo como funcionales lineales de una función de regresión de resultados, $\gamma(x) = E[Y|X=x]$. Aunque los estimadores de tipo "plug-in" que utilizan aprendizaje automático (ML) para $\gamma$ son intuitivos, suelen sufrir de un sesgo significativo y no logran alcanzar la consistencia $\sqrt{n}$.

Para abordar esto, se introdujo el Aprendizaje Automático Desesgado Automáticamente Adaptado al Resultado (AutoDML) (Chernozhukov et al., 2022b, 2024). Este marco construye estimadores asintóticamente normales mediante la estimación simultánea de la regresión de resultados $\gamma$ y un representador de Riesz $\alpha$ (una función de molestia derivada de la estructura del funcional). Las arquitecturas de AutoDML existentes, como RieszNet y MADNet, utilizan una representación de covariables intermedia compartida $Z$ para estimar tanto $\gamma$ como $\alpha$.

El problema central abordado en este artículo es la optimalidad de la representación compartida. No está claro si la representación compartida $Z$ debe ser predictiva del representador de Riesz $\alpha$ (como se asume tradicionalmente en RieszNet) o del resultado $Y$. Los autores investigan si una representación que prioriza la predicción del resultado mientras descarta información sobre el representador de Riesz produce una estimación de mayor eficiencia.

2. Metodología y Marco Teórico

Resultados Teóricos sobre Eficiencia:
Los autores establecen dos resultados teóricos primarios con respecto a las representaciones de covariables $Z = h(X)$:

• Teorema 6 (Eficiencia Adaptada al Resultado): Si una representación $Z$ preserva el poder predictivo del resultado (es decir, $\gamma_{h,P}(Z) = \gamma_P(X)$ y $Var_P[Y|Z] = Var_P[Y|X]$), el estimador AutoDML resultante tiene una varianza asintótica $V_{h,P}$ que es menor o igual a la varianza $V_P$ del estimador que utiliza las covariables completas $X$. Específicamente, la reducción de la varianza es proporcional a $E_P[Var_P[\alpha_P(X)|Z] Var_P[Y|Z]]$. Para maximizar la eficiencia, $Z$ debe ser máximamente predictivo de $Y$ pero mínimamente predictivo de $\alpha_P(X)$.
• Teorema 8 (Ineficiencia Adaptada a Riesz): Por el contrario, para una amplia clase de funcionales (incluyendo ATE y efectos de política promedio), si una representación preserva el representador de Riesz (es decir, $\alpha_{h,P}(Z) = \alpha_P(X)$), la varianza asintótica $V_{h,P}$ es generalmente mayor o igual a $V_P$. Esto sugiere que aprender una representación específicamente para el representador de Riesz puede conducir a pérdidas de eficiencia.

El Estimador AutoDML Adaptado al Resultado:
Motivados por el Teorema 6, los autores proponen el estimador AutoDML adaptado al resultado. El procedimiento implica:

1. División de la Muestra (Sample Splitting): Partición de los datos en conjuntos para el aprendizaje de la representación y la estimación final.
2. Aprendizaje de la Representación: Estimación de una representación $Z = \hat{h}(X)$ exclusivamente a través de un paso de regresión de resultados en la primera división de datos.
3. Estimación de Molestia (Nuisance Estimation): Uso de la representación aprendida $Z$ para estimar tanto la regresión de resultados $\hat{\gamma}$ como el representador de Riesz $\hat{\alpha}$ (vía regresión de Riesz) en la misma división.
4. Estimación Final: Cálculo del parámetro estimado en la división de datos reservada utilizando la función de estimación doblemente robusta.

Implementación de Redes Neuronales:
Los autores implementan esto utilizando una arquitectura de red neuronal similar a RieszNet pero con un protocolo de entrenamiento distinto:

• Arquitectura: Un "tronco" compartido (capas ocultas) que mapea las covariables $X$ a una representación $Z$, seguido de ramas separadas para el resultado ($\gamma$) y el representador de Riesz ($\alpha$).
• Estrategia de Entrenamiento:
  1. Paso 1: Optimizar el tronco compartido y la rama de resultados minimizando la pérdida de Error Cuadrático Medio (MSE).
  2. Paso 2: Congelar los parámetros del tronco compartido y optimizar únicamente los parámetros de la rama de Riesz minimizando la pérdida de Riesz.
• Cuello de Botella de Información: Para asegurar que $Z$ sea mínimamente predictivo de $\alpha$, los autores introducen técnicas de reducción de dimensionalidad:
  • Reducción de Dimensionalidad Simple: Imponer una dimensión fija pequeña para $Z$.
  • Reducción de Dimensionalidad Adaptativa: Aplicar una penalización de grupo LASSO a los pesos de la capa $Z$ para fomentar la dispersión y anular efectivamente neuronas, reduciendo así la dimensionalidad de $Z$.

3. Contribuciones Clave

1. Caracterización Teórica: El artículo demuestra que, para AutoDML, la representación compartida óptima es adaptada al resultado (predictiva de $Y$, no de $\alpha$), contrariamente a la intuición detrás de métodos existentes como RieszNet que buscan representaciones adaptadas a Riesz.
2. Nuevo Estimador: Introducción del estimador AutoDML adaptado al resultado, que aprende representaciones mediante la regresión de resultados primero, seguida de la regresión de Riesz sobre la representación fija.
3. Implementación de Redes Neuronales: Un procedimiento de entrenamiento de dos pasos específico para redes neuronales que impone la propiedad adaptada al resultado y utiliza cuellos de botella de información (vía reducción de dimensionalidad) para maximizar las ganancias de eficiencia.
4. Reevaluación de RieszNet: Los autores proporcionan una explicación teórica para el éxito empírico de RieszNet, hipotetizando que su rendimiento proviene de la elección específica de los pesos de pérdida (específicamente un peso pequeño en la pérdida de Riesz y la inclusión de la pérdida TMLE) lo cual crea inadvertidamente una representación adaptada al resultado.

4. Resultados Experimentales

Los autores validan su método en conjuntos de datos sintéticos y semi-sintéticos:

• Datos Sintéticos (Prueba de Concepto): En un entorno donde la verdadera representación óptima es conocida, el estimador adaptado al resultado con reducción de dimensionalidad adaptativa alcanzó la varianza mínima teórica, comportándose como si tuviera conocimiento de oráculo de la representación óptima. En contraste, los estimadores que utilizan redes separadas o representaciones adaptadas a Riesz mostraron una mayor varianza.
• Benchmark IHDP: En el conjunto de datos semi-sintético del Programa de Desarrollo y Salud Infantil (IHDP), la red neuronal adaptada al resultado con reducción de dimensionalidad adaptativa logró un desempeño de estado del arte (menor Error Absoluto Medio) en comparación con RieszNet, MADNet y redes neuronales separadas.
• Efecto de Desplazamiento Promedio (Average Shift Effect): El estimador adaptado al resultado con reducción de dimensionalidad adaptativa demostró consistentemente la menor varianza y el Error Cuadrático Medio (MSE) a través de varios tamaños de muestra.
• Resultado Faltante Promedio (Entorno Adversario): En un entorno desafiante con puntuaciones de propensión extremas (Kang & Schafer, 2007), el estimador adaptado al resultado con reducción de dimensionalidad adaptativa logró el MSE más bajo, impulsado principalmente por la reducción del sesgo cuadrático. Mientras que los intervalos de confianza gaussianos tuvieron una baja cobertura en este entorno difícil, los intervalos de confianza de bootstrap (específicamente el bootstrap de percentiles) mejoraron significamente la cobertura, alcanzando niveles nominales para tamaños de muestra grandes.

5. Significado y Reivindicaciones

El artículo afirma que la adaptación al resultado es la propiedad clave para lograr la eficiencia del estimador en el marco de AutoDML. Los autores argumentan que:

• Aprender una representación que sea predictiva del resultado pero que descarte información sobre el representador de Riesz conduce a estimadores asintóticamente más eficientes.
• El estimador AutoDML adaptado al resultado propuesto es una generalización del estimador de propensión desesgado adaptado al resultado (DOPE) al marco más amplio de AutoDML.
• El método propuesto alcanza una precisión de estado del arte en benchmarks estándar sin requerir un ajuste complejo de los parámetros de compromiso entre múltiples objetivos (a diferencia de RieszNet, que requiere equilibrar las pérdidas MSE, de Riesz y TMLE).
• Los resultados sugieren que el éxito de los métodos existentes como RieszNet puede deberse a su aprendizaje implícito de representaciones adaptadas al resultado en lugar de adaptadas a Riesz.

Los autores concluyen que, si bien su método ofrece ganancias de eficiencia, el error de representación debe controlarse (por ejemplo, mediante la selección de variables o tamaños de muestra suficientes) para garantizar una inferencia válida, y recomiendan el uso de bootstrapping para los intervalos de confianza en entornos desafiantes donde el error de representación puede no ser asintóticamente despreciable.