Resumen Técnico: Regularización Dirigida para la Estimación de Efectos Causales con Resultados de la Familia de Dispersión Exponencial

1. Planteamiento del Problema

La estimación de efectos causales a partir de datos observacionales utilizando Redes Neuronales (NN) ha demostrado un fuerte rendimiento empírico; sin embargo, lograr propiedades semiparamétricas deseables, específicamente doble robustez y tasas de convergencia rápidas, sigue siendo un desafío. Los estimadores basados en NN existentes, como los que utilizan la Estimación de Máxima Verosimilitud Dirigida (TMLE) o la Regularización Dirigida (por ejemplo, Shi et al., 2019; Nie et al., 2021), están limitados en gran medida a resultados continuos que asumen una distribución Gaussiana.

Esta limitación restringe la aplicabilidad a escenarios del mundo real que involucran resultados binarios (por ejemplo, decisiones de compra), resultados de conteo (por ejemplo, número de clics) u otras distribuciones sesgadas comunes en la práctica. Aunque trabajos anteriores (Gao y Hastie, 2022) abordaron resultados de la familia exponencial utilizando la Diferencia en Parámetros Naturales (DINA) dentro de un marco R-learner parcialmente lineal, no extendieron el paradigma de regularización dirigida a las NN para estas distribuciones. En consecuencia, existe una falta de estimadores basados en NN que puedan corregir el sesgo de primer orden a nivel distribucional para resultados de la Familia de Dispersión Exponencial (EDF) manteniendo garantías teóricas.

El artículo tiene como objetivo estimar la Función Canónica de Dosis Promedio (ADCF), definida como $\psi_a = \theta[\text{do}(A=a)]$, donde $\theta$ es el parámetro canónico (natural) de la EDF. Esta elección se alinea con las prácticas estándar para comparar efectos en la escala canónica y evita problemas de heterogeneidad que a menudo se encuentran en las medias condicionales.

2. Metodología

El marco propuesto unifica la regularización dirigida para resultados EDF bajo configuraciones de tratamiento tanto discretas (binarias) como continuas. La metodología procede a través de tres pasos teóricos y algorítmicos principales:

A. Análisis Semiparamétrico y Caracterización del Sesgo

Los autores primero derivan la expansión de von Mises del estimador de inserción para la ADCF para identificar la estructura del sesgo de primer orden.

• Tratamientos Discretos: Para tratamientos binarios, derivan la expansión mostrando que el sesgo consiste en un término de residuo de segundo orden que involucra el producto de los errores de estimación del modelo de resultado ($\mu$) y la puntuación de propensión ($\pi$). Esta estructura de producto implica que si cualquiera de los modelos se estima consistentemente, el sesgo desaparece (la propiedad de doble robustez).
• Tratamientos Continuos: Para tratamientos continuos, la ADCF puntual no es diferenciable por trayectorias, lo que hace que las funciones de influencia estándar no estén definidas. Para superar esto, los autores introducen una ADCF proyectada en tamiz. Proyectan la curva de respuesta a la dosis de dimensión infinita sobre un espacio de tamiz de B-splines de dimensión finita. Esta proyección restaura la diferenciabilidad por trayectorias, permitiendo una función de influencia bien definida y una expansión de von Mises válida para la curva proyectada.

B. Regularización Dirigida Unificada

Aprovechando la estructura del sesgo revelada por la expansión de von Mises, los autores construyen un objetivo de regularización dirigido unificado.

• Modelo de Fluctuación: En lugar de agregar un término de corrección post-hoc (lo cual podría empujar las estimaciones fuera del espacio de parámetros), el método introduce una función de perturbación escalar $\epsilon(a)$ al parámetro canónico. El parámetro fluctuado se define como:
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  donde $h$ es la función de enlace y $h'$ es su derivada.
• Función de Pérdida: El método integra esta fluctuación en el entrenamiento de la NN mediante una función de pérdida unificada:
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  Aquí, $L(\mu, \pi)$ es la negativa de la log-verosimilitud estándar para la EDF, y $R$ es el término de regularización dirigido derivado de la negativa de la log-verosimilitud del modelo fluctuado. El término $R$ se construye de tal manera que su derivada con respecto a $\epsilon$ sea igual a la ecuación de puntuación, anulando efectivamente el término de sesgo en la convergencia.
• Implementación: El parámetro de fluctuación $\epsilon(a)$ se parametriza utilizando la misma base de B-splines utilizada para la proyección de tamiz en tratamientos continuos, asegurando la consistencia entre el objetivo teórico y la optimización.

C. Garantías Teóricas

El artículo demuestra que el estimador basado en NN resultante logra una tasa de convergencia de doble robustez en la norma $L_2$. Específicamente, el error está acotado por:
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
donde $r_1(n)$ y $r_2(n)$ son las tasas de convergencia de los estimadores de puntuación de propensión y de resultado, respectivamente. Esto extiende las garantías teóricas de Nie et al. (2021) desde resultados Gaussianos a toda la Familia de Dispersión Exponencial.

3. Contribuciones Clave

1. Análisis Semiparamétrico de la ADCF: Los autores derivan la expansión de von Mises para la ADCF de resultados EDF. Para tratamientos continuos, introducen la ADCF proyectada en tamiz para manejar la no diferenciabilidad por trayectorias del funcional puntual, estableciendo una función de influencia bien definida.
2. Regularización Dirigida Unificada: Proponen un objetivo de regularización unificado que corrige el sesgo a nivel distribucional para cualquier miembro de la EDF. Esto permite que la NN aprenda conjuntamente el modelo de resultado, la puntuación de propensión y el parámetro de fluctuación de extremo a extremo, permaneciendo dentro del espacio de parámetros.
3. Extensión Teórica: El trabajo proporciona una prueba de tasa de convergencia de doble robustez, generalizando resultados anteriores desde distribuciones Gaussianas a la clase más amplia de EDFs (incluyendo Bernoulli y Poisson).
4. Validación Empírica: El método se valida en conjuntos de datos sintéticos y semisintéticos (News, TCGA) con tratamientos binarios y continuos, demostrando un rendimiento de vanguardia tanto en configuraciones de resultados Bernoulli como Poisson.

4. Resultados Experimentales

Los autores evaluaron su método contra varias líneas base, incluyendo Causal Forest, Dragonnet (y su versión adaptada para resultados no Gaussianos), VCNet, DINA-learner y un estimador de Doble Robustez (DR) estándar.

• Tratamiento Binario: En conjuntos de datos con resultados Bernoulli y Poisson, el método propuesto ("Ours") logró el Error Absoluto Medio (MAE) más bajo para el Efecto Promedio del Tratamiento (ATE), superando a Dragonnet, VCNet y al estimador DR estándar. Cabe destacar que el estimador DR resultó ser menos estable en muestras finitas debido a la división por la puntuación de propensión en el término de corrección.
• Tratamiento Continuo: Para tratamientos continuos, el método logró el Error Cuadrático Medio Promedio (AMSE) más bajo para la ADCF. Los resultados confirmaron que simplemente adaptar la función de pérdida de modelos existentes (por ejemplo, reemplazar el MSE con la negativa de la log-verosimilitud) es insuficiente; el mecanismo específico de regularización dirigida es crucial para el rendimiento.
• Análisis de Sensibilidad: Se demostró que el hiperparámetro $\beta$, que controla la fuerza de la regularización, tiene un impacto moderado; valores demasiado pequeños no logran corregir el sesgo, mientras que valores demasiado grandes interfieren con la estimación de funciones de molestia.

5. Significado y Afirmaciones

El artículo afirma abordar una brecha crítica en la inferencia causal con aprendizaje profundo: la incapacidad de los marcos de regularización dirigidos existentes para manejar resultados no Gaussianos y sesgados comunes en aplicaciones del mundo real (como tasas de conversión binarias o datos de conteo).

Al derivar las expansiones semiparamétricas necesarias y construir una función de pérdida unificada, los autores demuestran que la regularización dirigida puede generalizarse con éxito a la Familia de Dispersión Exponencial. El significado de este trabajo radica en:

• Rigor Teórico: Proporcionar la primera derivación de la expansión de von Mises y la función de influencia para resultados EDF bajo tratamientos discretos y continuos, permitiendo la construcción de estimadores de doble robustez.
• Aplicabilidad Práctica: Ofrecer una arquitectura de NN de extremo a extremo que maneja resultados binarios y de conteo sin depender de las suposiciones restrictivas parcialmente lineales de métodos anteriores (como DINA-learner).
• Robustez: Lograr tasas de convergencia más rápidas que los estimadores de molestia individuales cuando ambos son consistentes, manteniendo al mismo tiempo la estabilidad dentro del espacio de parámetros, a diferencia de los métodos de corrección de sesgo aditivos.

Los autores concluyen que su marco extiende las garantías teóricas de la regularización dirigida funcional a una clase mucho más amplia de distribuciones de resultados, verificado por resultados empíricos de vanguardia.