Outcome-Aware Spectral Feature Learning for Instrumental Variable Regression

Resumen Técnico: Aprendizaje de Características Espectrales Consciente del Resultado para la Regresión de Variables Instrumentales

Planteamiento del Problema

El artículo aborda el desafío de estimar efectos causales en presencia de confundidores ocultos mediante la regresión de Variables Instrumentales No Paramétricas (NPIV). El modelo central asume una relación estructural $Y = h_0(X) + U$ con $E[U|Z]=0$, donde $X$ es el tratamiento, $Y$ es el resultado, $Z$ es el instrumento y $U$ es un confundidor no observado. El objetivo es recuperar la función estructural $h_0$ a partir de muestras i.i.d. de $(Y, X, Z)$.

Este problema se formula como un problema inverso lineal $T h_0 = r_0$, donde $T$ es el operador de esperanza condicional que mapea $h(X)$ a $E[h(X)|Z]$. Mientras que los métodos de vanguardia como SpecIV (Sun et al., 2025) aprenden características espectrales aproximando los subespacios singulares superiores de $T$, los autores identifican una limitación fundamental: estas características son ajenas al resultado (outcome-agnostic). Estas capturan los modos dominantes de la relación entre $X$ y $Z$, pero pueden fallar al representar la función estructural $h_0$ si esta se encuentra fuera del subespacio singular dominante de $T$ (un escenario denominado "desalineación espectral"). En tales casos, los métodos espectrales estándar se degradan significativamente.

Metodología: Aprendizaje de Características Espectrales Aumentado

Para mitigar la desalineación espectral, los autores proponen el Aprendizaje de Características Espectrales Aumentado, un marco que hace que el proceso de aprendizaje de características sea consciente del resultado (outcome-aware).

1. Operador Aumentado y Función de Pérdida

El método introduce un operador aumentado $T_\delta$ que incorpora información del resultado $Y$. Específicamente, $T_\delta$ se define como una perturbación de rango uno de $T$:
$$T_\delta: L^2(X) \times \mathbb{R} \to L^2(Z), \quad (h, a) \mapsto Th + a \cdot \delta \cdot r_0$$
donde $r_0 = E[Y|Z]$ y $\delta$ es un hiperparámetro que controla la fuerza de la señal del resultado.

El objetivo de aprendizaje se modifica para minimizar una nueva pérdida contrastiva $L^{(d)}_\delta(\theta, \omega)$, que combina la pérdida espectral estándar $L^{(d)}_0$ (que aproxima $T$) con un término de regularización derivado del resultado:
$$L^{(d)}_\delta(\theta, \omega) = L^{(d)}_0(\theta) - 2\delta E[Y \psi^{(d)}_\theta(Z)]^\top \omega + \omega^\top C_{\psi^{(d)}_\theta} \omega$$
donde $\psi^{(d)}_\theta$ y $\phi^{(d)}_\theta$ son mapas de características de redes neuronales para $Z$ y $X$, y $\omega$ es una variable auxiliar. Minimizar esta pérdida es teóricamente equivalente a encontrar la mejor aproximación de rango $d$ del operador aumentado $T_\delta$.

2. Mecanismo Teórico

Al aumentar $T$ con la señal del resultado $r_0$, el método amplifica los componentes singulares de $T$ que son relevantes para $h_0$. Incluso si $h_0$ se alinea con una dirección "mala" (de bajo valor singular) de $T$, la perturbación puede desplazar el subespacio singular dominante de $T_\delta$ para alinearlo con $h_0$. Esto permite que las características aprendidas capturen la señal necesaria para predecir $Y$, incluso cuando las características espectrales estándar la perderían.

3. Procedimiento de Estimación

El marco se integra con el estimador de Mínimos Cuadrados en Dos Etapas (2SLS).

• Etapa 1: Aprender las características $\phi^{(d)}_\theta$ y $\psi^{(d)}_\theta$ minimizando la pérdida aumentada empírica en un conjunto de datos $\tilde{D}_m$.
• Etapa 2: Estimar la función estructural $h_0$ utilizando las características aprendidas en una regresión 2SLS estándar sobre un conjunto de datos separado $D_n$.

Contribuciones Clave

1. Identificación de la Limitación: Los autores identifican formalmente que los métodos espectrales existentes para NPIV son ajenos al resultado, lo que conduce a la degradación del rendimiento bajo desalineación espectral.
2. Marco Aumentado: Proponen el Aprendizaje de Características Espectrales Aumentado, introduciendo el operador $T_\delta$ y una correspondiente pérdida contrastiva que incorpora información del resultado en el proceso de aprendizaje de características.
3. Garantías Teóricas:
   • Se proporciona un límite de error no asintótico de alta probabilidad para el estimador 2SLS, separando el error de aproximación del error estadístico.
   • El análisis demuestra que el método sigue siendo robusto en escenarios "malos" (desalineación espectral) donde SpecIV falla. Específicamente, si la relación señal-ruido es suficiente, el método puede recuperar $h_0$ con una sola característica incluso cuando $h_0$ se alinea con un componente de bajo valor singular de $T$.
4. Validación Empírica: El enfoque se valida con datos sintéticos, benchmarks semi-sintéticos de dSprites (incluyendo una nueva función estructural más desafiante) y tareas de Evaluación Fuera de Política (OPE) en aprendizaje por refuerzo.

Resultados Experimentales

• Datos Sintéticos: En escenarios de pobre alineación espectral (donde $h_0$ se alinea con bajos valores singulares de $T$), el aumento de $\delta$ reduce significamente el Error Cuadrático Medio (MSE) en comparación con el SpecIV estándar ($\delta=0$).
• Benchmark dSprites:
  • En el benchmark estándar de "buena alineación", el método muestra mejoras modestas.
  • En su nuevo benchmark de "desalineación" ($h_{new}$), donde la función estructural depende de la rotación (una característica de bajo valor singular), el SpecIV de base rinde muy por debajo de lo esperado. El método consciente del resultado, con un $\delta$ ajustado, iguala o supera ligeramente el rendimiento de Deep Feature IV (DFIV), un competidor fuerte.
• Evaluación Fuera de Política (OPE): En entornos de aprendizaje por refuerzo (CartPole, Mountain Car, Catch), el método demuestra robustez. Aunque ningún método único dominó todas las tareas, el Augmented SpecIV mostró una mayor adaptabilidad a la desalineación espectral en comparación con el SpecIV estándar, particularmente en el entorno de CartPole.

Significado y Reivindicaciones

El artículo afirma que el Aprendizaje de Características Espectrales Aumentado aborda una limitación fundamental de los métodos espectrales actuales al asegurar que las representaciones aprendidas no solo sean predictivas del tratamiento, sino también relevantes para el resultado causal. Los autores enfatizan que este enfoque proporciona robustez en regímenes donde los métodos estándar fallan debido a la desalineación espectral.

Este trabajo se posiciona como un paso hacia una estimación NPIV más adaptable. Los autores señalan que, aunque su enfoque actual depende de una aumentación de rango uno, extender el marco a perturbaciones de mayor rango (por ejemplo, utilizando múltiples funciones de $Y$) sigue siendo una dirección prometedora para investigaciones futuras. El artículo concluye que su método amplía la aplicabilidad del NPIV basado en características espectrales, particularmente en entornos complejos como la evaluación fuera de política donde la función objetivo puede cambiar dinámicamente.