Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

Resumen Técnico: Aprendizaje cuando el Concepto Cambia

1. El Problema: Adaptación de Dominio con Confusión No Observada

El artículo aborda el desafío crítico de desplegar modelos predictivos entrenados en un entorno de origen (fuente) en un nuevo entorno objetivo (target) donde las distribuciones de las covariables y las respuestas han cambiado (desplazamiento de distribución).

• Limitación de los enfoques actuales: En datos observacionales, estos desplazamientos a menudo son impulsados por factores de confusión no observados ($E$). A diferencia de los problemas clásicos de adaptación de dominio donde solo cambia la distribución de las covariables (covariate shift), aquí la confusión altera fundamentalmente la relación causal entre $X$ e $Y$.
• Desplazamiento de Concepto (Concept Shift): Debido a la endogeneidad, el "mejor" modelo lineal (el que minimiza el riesgo) no es el mismo en el entorno fuente que en el objetivo. Minimizar el riesgo en la fuente ($R_S$) no garantiza un buen rendimiento en el objetivo ($R_T$); de hecho, puede llevar a un error catastrófico si el modelo captura correlaciones espurias inducidas por el entorno.
• Escenario: Se dispone de datos etiquetados $(X, Y)$ de la fuente y solo datos no etiquetados $X$ del objetivo. El objetivo es estimar un modelo que generalice bien al entorno objetivo a pesar de la confusión latente.

2. Metodología: Modelo Causal Estructural y Optimización en Variedad

Los autores proponen un marco que une la inferencia causal con el aprendizaje de representaciones.

A. Modelo Causal Estructural (SCM)
Se postula un modelo lineal donde:

• $Y = \langle \beta^*, X \rangle + \langle \gamma, E \rangle + U$
• $X = \Theta Z + \Delta E + W$
• Variables: $E$ es el factor de confusión no observado (cambia entre entornos), $Z$ es una variable exógena latente e invariante (compartida entre entornos), y $U, W$ son ruido.
• Insight Clave: Existe un subespacio lineal invariante (generado por $\Theta$) que es ortogonal a la influencia del confusor $E$. Si se proyecta la predicción en este subespacio, se elimina el desplazamiento de concepto.

B. Función Objetivo (Proxy para el Riesgo Objetivo)
Dado que no se puede minimizar directamente $R_T$, los autores derivan un límite superior para el riesgo objetivo que sirve como función objetivo optimizable. Proponen un estimador compuesto $\beta = V\alpha$, donde $V$ es una proyección a un subespacio de baja dimensión y $\alpha$ es un regresor ridge.

La función objetivo a minimizar es:
$$\mathcal{F}_{\nu, \eta}(V, \alpha) = \underbrace{\frac{1}{2}R_S(V\alpha)}_{\text{Predictibilidad}} + \underbrace{\frac{\nu}{2}\|\alpha\|^2}_{\text{Regularización Ridge}} + \underbrace{\frac{\eta}{2}\|V^\top(\Sigma_T - \Sigma_S)V\|_F^2}_{\text{Estabilidad/Invarianza}}$$

• Predictibilidad: Minimiza el error cuadrático en la fuente.
• Estabilidad: Penaliza la discrepancia entre las distribuciones de las covariables proyectadas en el subespacio $V$ ($\Sigma_T$ vs $\Sigma_S$). El término $\|V^\top(\Sigma_T - \Sigma_S)V\|_F^2$ actúa como una medida de distancia (MMD cuadrático) que fuerza a $V$ a seleccionar direcciones donde la distribución no cambia (el subespacio invariante).

C. Optimización en la Variedad de Stiefel
El problema de encontrar el subespacio $V$ (matriz de dimensión $d \times \ell$ con columnas ortonormales) es no convexo y está restringido a la Variedad de Stiefel ($St(d, \ell)$).

• Se utiliza un método de descenso de gradiente proyectado (o métodos de primer orden en variedades) para navegar el paisaje de optimización.
• Se calculan gradientes riemannianos y se utilizan retracciones para mantener la restricción de ortonormalidad en cada iteración.

3. Contribuciones Clave

1. Unificación de Estabilidad Causal y Distribucional: Demuestran teóricamente que, bajo su modelo SCM, la búsqueda de un subespacio invariante causalmente (que ignora a $E$) coincide con la búsqueda de estabilidad distribucional (minimizar la distancia entre fuentes y objetivos).
2. Teoría de Alineación del Paisaje de Optimización:
   • Teorema 1: Demuestran que, con una regularización de estabilidad ($\eta$) suficientemente grande, casi todos los óptimos locales de la función no convexa se alinean con el subespacio invariante exógeno. Es decir, el algoritmo encuentra soluciones robustas sin necesidad de garantizar un óptimo global.
   • Teorema 2: Establecen un límite de estabilidad que acota la diferencia entre el riesgo objetivo y el riesgo fuente ($R_T - R_S$). Muestran que el modelo aprendido puede lograr una brecha "casi ideal" (cercana a la de un oráculo que conoce el subespacio invariante).
3. Análisis de Muestra Finita: Proporcionan un análisis de error que cuantifica la brecha entre la optimización teórica (población) y la estimación empírica (plug-in), garantizando la consistencia estadística.
4. Método Práctico y Heurístico: Desarrollan un algoritmo de optimización de primer orden eficiente y ofrecen guías heurísticas para la selección de hiperparámetros ($\nu, \eta, \ell$) sin necesidad de datos de validación extensos.

4. Resultados Empíricos

Los autores validan su método en conjuntos de datos reales con desplazamientos de distribución:

• Estudio de Tabellini (Economía): Predicción del Producto Económico usando datos de zonas rurales (fuente) para aplicar en zonas urbanas (objetivo).
  • Hallazgo: Al aumentar el parámetro de estabilidad $\eta$, el modelo aprende a priorizar características invariantes (como "Instituciones") y descarta las afectadas por el entorno (como "Urbanización"), mejorando significativamente el riesgo objetivo en comparación con la regresión ordinaria.
• Datos de Incendios Forestales, Bicicletas Compartidas y Calidad del Vino:
  • Se simulan desplazamientos estacionales o de tipo (ej. vino tinto vs. blanco).
  • Resultados: El método logra reducir el riesgo objetivo ($R_T$) por debajo del riesgo del minimizador de riesgo fuente ($R_S$) para combinaciones específicas de hiperparámetros.
  • Se observa una relación no monótona (forma de U) entre el riesgo objetivo y $\eta$: demasiado poco $\eta$ no corrige el desplazamiento, y demasiado $\eta$ sacrifica demasiada capacidad predictiva en la fuente. Sin embargo, existe una zona óptima donde se logra el mejor equilibrio.

5. Significado e Impacto

• Puente entre Causalidad y ML: El trabajo conecta la literatura de inferencia causal (variables instrumentales, modelos estructurales) con la de adaptación de dominio (ML), mostrando cómo la invarianza puede usarse para corregir sesgos de confusión en escenarios de datos observacionales.
• Robustez sin Etiquetas de Objetivo: Ofrece una solución viable para problemas donde no se tienen etiquetas en el dominio objetivo, un escenario común en la práctica.
• Garantías Teóricas en Optimización No Convexa: Aporta una comprensión profunda de por qué los métodos de optimización de primer orden funcionan bien en este contexto, demostrando que el paisaje de optimización está "amigablemente" estructurado para encontrar soluciones invariantes.
• Aplicabilidad: Proporciona un marco metodológico para diseñar sistemas de IA más robustos ante cambios de entorno, crucial para aplicaciones críticas en economía, medicina y ciencias sociales donde los datos históricos no siempre representan el futuro.

En resumen, el paper propone que la invarianza es la clave para la generalización en presencia de confusión, y ofrece una herramienta matemática y algorítmica para encontrar automáticamente esas representaciones invariantes mediante la regularización de la estabilidad distribucional.