Resumen Técnico: Selección de Covariables Adaptativa al Entorno (EACS)

Planteamiento del Problema

El artículo aborda una brecha crítica en la predicción fuera de la distribución (OOD): el fallo empírico de las estrategias que restringen estrictamente los modelos a covariables causales o invariantes. Aunque están fundamentadas teóricamente en el principio de que los mecanismos causales permanecen estables entre entornos, dicha selección "solo causal" suele tener un rendimiento inferior al de la Minimización del Riesgo Empírico (ERM) estándar en la práctica.

Los autores identifican el mecanismo principal de este fallo como la presencia de padres causales no observados. Cuando solo se observa un subconjunto de los padres causales de un resultado, las covariables no causales suelen actuar como proxies (indicadores) de estos padres no observados.

• El Intercambio (Trade-off): Si la relación entre el proxy y el padre no observado permanece estable bajo un cambio de distribución, incluir el proxy mejora la precisión de la predicción. Sin embargo, si el cambio perturba directamente al proxy o rompe la relación proxy-padre, el proxy se vuelve espurio y perjudica el rendimiento.
• El Desafío Central: El conjunto óptimo de covariables no es universal; depende del tipo específico de cambio encontrado. Dado que el tipo de cambio no se observa directamente, el desafío consiste en determinar, basándose únicamente en la distribución de covariables no etiquetadas del entorno objetivo, si un proxy sigue siendo fiable o se ha vuelto perjudicial.

Metodología: Selección de Covariables Adaptativa al Entorno (EACS)

La solución propuesta, Selección de Covariables Adaptativa al Entorno (EACS), es un algoritmo que aprende un mapeo desde los resúmenes a nivel de entorno de la distribución de las covariables hacia el subconjunto óptimo de covariables para ese entorno específico.

1. Marco de Trabajo y Supuestos

• Modelo Causal: Los datos se modelan mediante un Modelo Causal Estructural (SCM) con un resultado $Y$, padres causales observados $C_s$, padres causales no observados $U$ y covariables no causales observadas $X$ (que pueden ser proxies de $U$).
• Clase de Cambio: Los entornos difieren mediante intervenciones sobre las covariables $(C_s, U, X)$, mientras que la ecuación estructural para $Y$ permanece invariante.
• Condición de Optimalidad: El subconjunto óptimo de covariables $z^*(e)$ es una función de la intervención $i(e)$. EACS busca aprender un selector $g$ que mapee una representación del entorno $u_e$ hacia $z^*(e)$.

2. Componentes del Algoritmo

EACS consta de dos etapas principales:

1. Representación del Entorno ($u_e$): Un resumen de la distribución de las covariables del objetivo. Este puede ser:
   • Diseñado manualmente: Estadísticas simples (por ejemplo, varianzas, correlaciones) derivadas del conocimiento del dominio (como se demuestra en el ejemplo de ejecución).
   • Aprendido: Representaciones aprendidas a partir de datos de múltiples entornos utilizando codificadores invariantes a la permutación (por ejemplo, DeepSets) para capturar características distribucionales complejas.
2. Selector ($g$): Un modelo que mapea $u_e$ a un subconjunto de covariables. El artículo propone dos implementaciones:
   • Selector Discreto: Selecciona de una biblioteca finita de subconjuntos candidatos $\mathcal{Z}$. Se entrena minimizando el riesgo empírico del subconjunto seleccionado a través de los entornos de entrenamiento. Esta versión ofrece garantías teóricas e interpretabilidad.
   • Selector de Puerta Suave (Continuo/Soft-Gating): Genera un vector de puerta continuo $\tilde{z}_e \in (0, 1)^p$ aplicado elemento a elemento a las covariables. El predictor y la red de puerta se entrenan conjuntamente para minimizar el riesgo promediado por entorno. Esta versión escala a entornos de alta dimensionalidad donde enumerar subconjuntos es inviable.

3. Incorporación de Restricciones Causales

El marco permite la integración de conocimiento causal previo. Si se sabe que un subconjunto de covariables son padres causales, la biblioteca de candidatos se restringe para incluir únicamente subconjuntos que contengan dicho conjunto $S$. Esto reduce el espacio de búsqueda y mejora el rendimiento, particularmente cuando los tamaños de muestra son pequeños.

4. Garantías Teóricas

Para el selector discreto, el artículo establece límites de muestra finita sobre el exceso de riesgo. El error se descompone en:

• Error de estimación dentro del entorno: Disminuye con el tamaño de la muestra $n$ y el tamaño de la biblioteca $|\mathcal{Z}|$.
• Error de selección entre entornos: Disminuye con el número de entornos de entrenamiento $m$ y la complejidad (complejidad de Rademacher) de la clase del selector.
  Los autores demuestran la optimalidad asintótica bajo condiciones donde la representación del entorno es lo suficientemente informativa como para distinguir entre intervenciones que requieren diferentes subconjuntos de covariables.

Principales Contribuciones

1. Identificación del Mecanismo: El artículo identifica a los padres causales no observados como un mecanismo específico que causa el fallo de la selección puramente causal. Demuestra que los proxies no causales no son inherentemente espurios, sino que son condicionalmente útiles dependiendo del cambio.
2. Utilidad del Proxy Dependiente del Cambio: Establece que la utilidad de un proxy depende del cambio y que las firmas observables en la distribución de covariables no etiquetadas (por ejemplo, cambios en la estructura de varianza o correlación) pueden diagnosticar la fiabilidad del proxy.
3. Algoritmo EACS: La propuesta de un marco unificado que aprende reglas de selección de covariables específicas para cada entorno. Cierra la brecha entre la selección causal estática y el ERM al adaptarse a las firmas distribucionales del entorno objetivo.
4. Validación Teórica y Empírica: Los autores proporcionan garantías teóricas para el selector discreto y demuestran mejoras empíricas sobre las líneas base causales, invariantes y no adaptativas a través de diversos cambios.

Resultados Empíricos

El método fue evaluado en simulaciones y dos conjuntos de datos del mundo real:

• Simulaciones: EACS se aproxima al rendimiento de un predictor "oráculo" (que conoce el subconjunto óptimo para cada cambio) cuando hay suficientes entornos de entrenamiento y resúmenes informativos disponibles. Supera a los métodos estáticos causales e invariantes cuando los cambios interrumpen las relaciones de los proxies.
• Conjunto de Datos de Uso de Bicicletas (Bike-Sharing): En un escenario con muchos entornos (días) pero pocas muestras por entorno, EACS logró el menor Error Cuadrático Medio (MSE) entre las líneas base (incluyendo Lasso, Anchor Regression e Invariant Causal Prediction). Notablemente, ICP falló al rechazar todos los subconjuntos, colapsando a un modelo de solo intercepto.
• Conjunto de Datos ACS Income: En un entorno de alta dimensionalidad con menos entornos (estados) pero muchas muestras, la variante de puerta suave de EACS logró nuevamente el menor MSE medio, superando a OLS, Lasso y Anchor Regression.

Significado y Reivindicaciones

El artículo sostiene que la predicción robusta OOD no requiere la evitación total de las covariables espurias. En su lugar, la estrategia óptima es aprender cuándo se puede confiar en tales covariables.

• Adaptación Estructurada: EACS ofrece una forma estructurada de adaptación donde los parámetros de predicción se comparten, pero la elección de las covariables varía según el entorno. Esto se presenta como una alternativa de menor complejidad y más interpretable que los predictores contextuales completos que adaptan todos los parámetros al entorno.
• Utilidad Práctica: El método proporciona una solución práctica para escenarios donde los padres causales están parcialmente no observados, un escenario común en campos como la salud y la economía.
• Limitaciones: Los autores señalan modestamente que el éxito depende de la disponibilidad de representaciones de entorno informativas y de una diversidad suficiente en los entornos de entrenamiento. La variante de puerta suave introduce un error de aproximación, y el método requiere un lote de covariables de prueba para construir los resúmenes, lo que impide la predicción de una sola observación. Además, las restricciones causales mal especificadas pueden impactar negativamente el rendimiento.