Distributionally Robust Transfer Learning with Structurally Missing Covariates, with Application to Cross-National Cardiac Arrest Prediction

Resumen Técnico: Aprendizaje por Transferencia Robusto ante Distribuciones con Covariables Estructuralmente Faltantes

Enunciado del Problema
El artículo aborda un desafío crítico en el despliegue de modelos predictivos clínicos en diversos sistemas de salud: el escenario en el que un modelo entrenado en un entorno de "fuente" con altos recursos depende de un conjunto rico de covariables $(X, A)$, pero el entorno de implementación de "destino" carece por completo de covariables específicas y altamente predictivas $A$ debido a diferencias estructurales en la infraestructura de recolección de datos. A diferencia de los datos faltantes estándar donde las observaciones individuales están incompletas, esta "falta estructural" representa una ausencia de variables a nivel poblacional. Además, el dominio de destino a menudo carece de datos de resultados etiquetados, lo que imposibilita la adaptación supervisada o el reentrenamiento.

Los enfoques existentes fallan en este escenario. Los métodos de imputación requieren suposiciones no verificables sobre la distribución de $A$ en el dominio de destino. Las correcciones por desplazamiento de covariables (por ejemplo, ponderación por importancia) solo abordan las diferencias en las variables observadas $X$ y no pueden recuperar la información perdida por la ausencia de $A$. La optimización robusta ante distribuciones (DRO) estándar típicamente construye conjuntos de incertidumbre sobre la distribución conjunta de todas las variables, lo cual es excesivamente conservador y falla en distinguir entre covariables observadas estables y aquellas faltantes estructuralmente.

Metodología: El Marco DRUM
Los autores proponen DRUM (Aprendizaje por Transferencia No Supervisado Robusto ante Distribuciones con Covariables Estructuralmente Faltantes), un marco diseñado para transferir modelos predictivos a poblaciones objetivo no etiquetadas donde $A$ está ausente. La filosofía central es optimizar el rendimiento predictivo en el peor caso sobre un conjunto de incertidumbre de la distribución condicional desconocida del destino $A|X$, en lugar de intentar imputar $A$ o asumir que $A|X$ permanece estable.

La metodología procede en tres etapas:

1. Formulación del Problema:
   El objetivo es aprender un predictor $m(X)$ utilizando únicamente las covariables compartidas $X$. Los autores formulan esto como un problema minimax:
   $$\min_{m(\cdot)} \max_{P_{A|X} \in \mathcal{C}(\delta)} \mathbb{E}_{X \sim Q_X, A \sim P_{A|X}, Y \sim P^S_{Y|X,A}} \left[ Y^2 - (Y - m(X))^2 \right]$$
   Aquí, $\mathcal{C}(\delta)$ es un conjunto de incertidumbre de distribuciones condicionales para $A|X$ en el dominio de destino, controlado por un parámetro de robustez $\delta$. El objetivo maximiza la reducción en el peor caso del error cuadrático relativo a un predictor nulo.

2. Parametrización Basada en Generadores y DRO:
   La optimización directa sobre el espacio de dimensión infinita de las distribuciones condicionales es intratable. DRUM parametriza la distribución condicional $A|X$ utilizando un generador de red neuronal $g_\phi(X, \epsilon)$, donde $\epsilon$ es ruido latente.

   • Conjunto de Incertidumbre: El conjunto de incertidumbre se define utilizando la Distancia de Energía (mediante el marco Engression). El conjunto $\mathcal{C}_g(\delta)$ contiene generadores cuya puntuación de energía se desvía del generador condicional de la fuente $g^S$ en un máximo de $\delta$. Esto permite que el modelo explore distribuciones condicionales que se apartan de la fuente sin requerir estimación de densidad.
   • Optimización: El problema se resuelve mediante un enfoque primal-dual. Se entrena un generador de "peor caso" para minimizar el error cuadrático de predicción esperado en el $X$ objetivo (marginalizando sobre el $A$ generado), sujeto a la restricción de distancia de energía.

3. Corrección de Sesgo (Ortogonalidad de Neyman):
   Los autores identifican que el estimador "plug-in" (promediar el modelo de resultados de la fuente $\hat{f}(X, A)$ sobre el $A$ generado) hereda sesgos de primer orden de la estimación de $\hat{f}$. Para mitigar esto, derivan un estimador corregido de sesgo basado en estimación ortogonal de Neyman y ajuste cruzado.

   • Construyen un pseudo-resultado $F_i$ que combina residuos de la fuente (reponderados por una razón de densidad $\hat{\omega}$ para igualar la distribución inducida por el generador) y predicciones plug-in del destino.
   • Regresando este pseudo-resultado sobre $X$, se obtiene un estimador que es robusto a errores de primer orden en las funciones de incógnita ($\hat{f}$ y la razón de densidad $\hat{\omega}$), logrando tasas de convergencia paramétrica bajo condiciones de producto de tasas.

Contribuciones Clave

1. Un Nuevo Marco DRO para Falta Estructural: DRUM aísla la incertidumbre específicamente a la distribución condicional $A|X$ en lugar de la distribución conjunta, utilizando un modelo generativo para parametrizar el conjunto de incertidumbre. Esto evita la intratabilidad de la optimización de dimensión infinita.
2. Estimación Corregida de Sesgo: El artículo deriva un estimador desesgado que reduce la sensibilidad a errores en la estimación de funciones de incógnita, mejorando significativamente el rendimiento en muestras finitas en simulaciones y aplicaciones del mundo real.
3. Aplicación a la Predicción de ACER entre Países: El marco se aplica a la predicción de resultados neurológicos tras un paro cardíaco fuera del hospital (ACER), transfiriendo modelos del registro US-ROC (datos prehospitalarios ricos) a los registros PAROS asiáticos (donde variables prehospitalarias como la dosis de epinefrina y el pH sanguíneo están estructuralmente faltantes).

Resultados

• Simulaciones: En escenarios con relaciones condicionales lineales y no lineales y dimensiones variables de covariables faltantes, DRUM (particularmente las variantes desesgadas) superó sustancialmente a las líneas base estándar (ERM, DRO, ponderación por importancia) y a métodos de imputación de pseudo-etiquetas. Logró un Error Cuadrático Medio (MSE) normalizado medio y en el peor caso más bajo bajo diversos grados de desplazamiento distribucional.
• Aplicación en el Mundo Real (ACER):
  • Calibración: Al aplicarse a Singapur, Japón y Corea, DRUM produjo predicciones significativamente mejor calibradas que las líneas base. Las líneas base estándar sobrepredijeron sistemáticamente resultados favorables debido al desplazamiento de prevalencia y a las covariables faltantes, mientras que DRUM se mantuvo más cerca de las tasas de eventos observadas.
  • Rendimiento: Las variantes DRUM-Desesgadas lograron las puntuaciones Brier más bajas y el Error de Calibración Esperado (ECE) más bajo en todos los sitios.
  • Utilidad Clínica: En umbrales de probabilidad fijos relevantes para la triaje clínica, DRUM-Desesgado demostró mayor precisión y especificidad, indicando que sus probabilidades calibradas conducen a clasificaciones positivas más confiables en comparación con las líneas base, que sufrieron altas tasas de falsos positivos debido a una mala calibración.

Significado y Afirmaciones
El artículo afirma que DRUM proporciona una alternativa principista a la dicotomía actual en el despliegue de IA clínica: ya sea restringir los modelos a sitios con infraestructura de datos idéntica o descartar información predictiva ignorando las covariables faltantes. Al contabilizar explícitamente la incertidumbre en la distribución condicional no observada $A|X$ sin depender de suposiciones no verificables, DRUM permite el despliegue de modelos de altos recursos en entornos de bajos recursos.

Los autores enfatizan que la principal ventaja del método radica en la calibración y la estratificación de riesgo (puntuación Brier, ECE, precisión en umbral fijo) en lugar de la discriminación global (AUROC), lo cual es consistente con el objetivo de peor caso que penaliza el error cuadrático. El marco se presenta como una solución general para cualquier problema de aprendizaje por transferencia donde las covariables predictivas están disponibles durante el entrenamiento pero están ausentes o restringidas en el despliegue, con extensiones potenciales a la equidad algorítmica y la predicción de estabilidad farmacéutica.

El artículo se mantiene modesto respecto a las limitaciones, señalando que la parametrización actual del generador asume covariables continuas, el marco maneja actualmente una sola población de origen y la derivación se centra en pérdidas de error cuadrático y entropía cruzada. Las direcciones futuras incluyen el manejo de variables discretas/mixtas, aprendizaje federado con múltiples fuentes y resultados estructurados como datos de tiempo hasta el evento.