Resumen Técnico: Estimación de Efectos Causales Bidireccionales mediante el Aprendizaje de Kernel en Línea a Gran Escala

Planteamiento del Problema

El artículo aborda el desafío de estimar los efectos causales bidireccionales en sistemas caracterizados por la dependencia mutua y la heterocedasticidad. Mientras que la inferencia causal tradicional suele centrarse en relaciones unidireccionales, muchos sistemas del mundo real (por ejemplo, la dinámica depredador-presa, las intervenciones de políticas y las interacciones cerebro-comportamiento) exhiben una causalidad recíproca. Existe una brecha metodológica significativa al aplicar el aprendizaje automático a estos escenarios, particularmente cuando se manejan datos de alta dimensión, gran escala y en flujo continuo (streaming).

Los enfoques existentes enfrentan dos limitaciones principales:

1. Métodos de Variables Instrumentales (IV): Los métodos convencionales de IV dependen de cambios exógenos en la media condicional de las variables de tratamiento. A menudo tienen dificultades con los sistemas bidireccionales a menos que existan instrumentos válidos que desplacen una curva mientras dejan la otra fija.
2. Identificación Basada en Heterocedasticidad: Aunque este enfoque (que depende de variaciones exógenas en la varianza condicional) permite la identificación de modelos de ecuaciones simultáneas (SEM) sin instrumentos externos, las implementaciones tradicionales suelen requerir la división de muestras en submuestras o el uso de aproximaciones polinómicas complejas. Estos métodos pueden carecer de flexibilidad para modelar varianzas y medias condicionales no lineales, o pueden sufrir de ineficiencia computacional en entornos de alta dimensión.

Metodología

El marco propuesto integra la identificación basada en heterocedasticidad con el aprendizaje de kernel a gran escala en línea. Los componentes principales son:

1. Especificación del Modelo

Los autores definen un Modelo de Ecuaciones Simultáneas (SEM) con dos variables endógenas ($y_1, y_2$) y covariables exógenas ($x$):
$$\begin{aligned} y_{1,i} &= \gamma_1 y_{2,i} + h_1(x_i, \beta_1) + \varepsilon_{1,i} \\ y_{2,i} &= \gamma_2 y_{1,i} + h_2(x_i, \beta_2) + \varepsilon_{2,i} \end{aligned}$$
Crucialmente, las varianzas condicionales de los términos de error se modelan como funciones de las covariables:
$$g_{j,i} = V(\varepsilon_{j,i}|x_i) = \exp(f_j(x_i, \alpha_j))$$
El objetivo es estimar los parámetros causales $\gamma_1$ y $\gamma_2$ junto con las funciones desconocidas $h_j$ y $f_j$.

2. Estrategia de Identificación

El método se basa en la estimación de máxima verosimilitud cuasi (QML). La identificación se logra si las varianzas condicionales de las dos ecuaciones no son proporcionales entre sí ($g_1 \not\propto g_2$). Esto permite que las pendientes de las ecuaciones estructurales sean identificadas a través de la variación en las varianzas de los errores, una variante del enfoque de variables instrumentales que explota la heterocedasticidad en lugar de los cambios en la media.

3. Aproximación de Funciones mediante Características de Fourier Aleatorias (RFF)

Para manejar la no linealidad y la alta dimensión, las funciones desconocidas $h_j(\cdot)$ y $f_j(\cdot)$ se aproximan utilizando representaciones funcionales basadas en kernel.

• En lugar de almacenar la matriz de kernel completa (lo cual es computacionalmente prohibitivo para $N$ grande), los autores emplean Características de Fourier Aleatorias (RFF).
• Basándose en el teorema de Bochner, los kernels invariantes por desplazamiento (por ejemplo, el Gaussiano) se aproximan mapeando las entradas $x$ a un espacio de características de dimensión finita $z(x)$ mediante proyecciones sinusoidales aleatorias:
  $$z(x) = (\sin(u_1^\top x), \cos(u_1^\top x), \dots, \sin(u_m^\top x), \cos(u_m^\top x))^\top$$
• Esto transforma el método de kernel en un modelo lineal en el espacio de características, permitiendo un cálculo eficiente.

4. Optimización en Línea

Los parámetros se estiman utilizando un algoritmo de descenso de gradiente adaptativo en línea:

• Función de Pérdida: Derivada de la cuasi-verosimilitud log-Gaussiana.
• Optimación: El algoritmo procesa los datos de forma fluida (una observación a la vez o en pequeños lotes).
• Adaptabilidad: Utiliza la optimización Adam para el ajuste del tamaño del paso y el recorte de gradiente adaptativo para asegurar la estabilidad. El umbral de recorte se actualiza como un promedio móvil exponencial corregido de las normas de los gradientes pasados.

Contribuciones Clave

1. Estimación Bidireccional Escalable: El artículo propone el primer marco de aprendizaje en línea escalable diseñado específicamente para estimar conjuntamente efectos causales bidireccionales en SEM utilizando la identificación basada en heterocedasticidad.
2. Modelado No Lineal Flexible: Al integrar RFF con QML, el método modela de manera flexible medias y varianzas condicionales no lineales sin la rigidez de las aproximaciones polinómicas o el costo computacional de las matrices de kernel completas.
3. Eficiencia Computacional: El enfoque logra un escalado computacional casi lineal con respecto al número de observaciones y covariables, lo que lo hace adecuado para datos en flujo continuo de alta dimensión ($d=1000$) y gran muestra ($N=20,000$).
4. Fundamentación Teórica: El método une la teoría de identificación econométrica (específicamente las condiciones de identificación local para SEM bajo heterocedasticidad) con técnicas modernas de aprendizaje automático.

Resultados Experimentales

Los autores evaluaron el método contra dos líneas de base:

• Single-Kernel: Estima las ecuaciones de forma independiente (ignorando la simultaneidad).
• SEM-PAB: Utiliza aproximaciones polinómicas con pesos de función beta y transformaciones Box–Cox (la especificación más flexible en el trabajo previo [11]).

Hallazgos:

• Precisión: El método propuesto SEM-Kernel logró consistentemente un sesgo y un Error Cuadrático Medio (RMSE) más bajos en varios Procesos Generadores de Datos (DGP), incluyendo escenarios complejos de no linealidad y heterocedasticidad (DGP-3).
• Sesgo en las Líneas de Base: El método Single-Kernel exhibió un sesgo sistemático, confirmando que ignorar la endogeneidad conduce a estimaciones inconsistentes. El método SEM-PAB mostró inestabilidad numérica y errores significativamente mayores.
• Escalabilidad:
  • Precisión vs. Características: El aumento del número de componentes de Fourier aleatorias ($m$) mejoró la precisión hasta $m \approx 500$, tras lo cual las ganancias fueron insignificantes.
  • Tiempo de Computación: El método SEM-Kernel requirió solo un poco más de tiempo que la línea de base Single-Kernel (por ejemplo, ~4.5s frente a ~3.0s para $N=20,000, d=1000$), pero fue órdenes de magnitud más rápido que SEM-PAB (que tomó >100s).
• Robustez: El método mantuvo la estabilidad a través de diferentes tamaños de muestra y dimensiones de características sin requerir recalibración.

Significado y Reivindicaciones

El artículo afirma que el marco propuesto ofrece una solución práctica, escalable y teóricamente fundamentada para la inferencia causal a gran escala en las ciencias naturales/sociales, la toma de decisiones políticas y aplicaciones de negocios donde existe dependencia mutua.

Al combinar la lógica de identificación econométrica con el aprendizaje automático moderno, el método captura eficazmente efectos causales bidireccionales complejos con un escalado computacional casi lineal. Los autores enfatizan que este enfoque supera las limitaciones de la inferencia causal unidireccional tradicional y los cuellos de botella computacionales de los métodos previos basados en heterocedasticidad.

Limitaciones y Trabajo Futuro:
Los autores señalan modestamente que el marco actual estima únicamente efectos causales lineales (en términos de los parámetros estructurales $\gamma$) y asume términos de error simétricos. Identifican la extensión del marco para acomodar relaciones causales no lineales y datos fuertemente sesgados como direcciones importantes para la investigación futura.