📊 statistics

Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias

Este artículo propone un procedimiento de aprendizaje automático doble basado en funciones de influencia para estimar con precisión el riesgo objetivo de modelos de predicción de caja negra bajo los desafíos conjuntos del desplazamiento de covariables y el etiquetado selectivo, demostrando un rendimiento superior sobre los métodos existentes en experimentos de registros electrónicos de salud.

Autores originales: Annie Ulichney, Amanda Coston

Publicado 2026-06-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Annie Ulichney, Amanda Coston

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef que ha pasado años perfeccionando una receta de sopa en una cocina específica (la Fuente). Sabes exactamente cómo sabe tu sopa allí porque has probado cada uno de los cuencos. Ahora, estás planeando abrir un nuevo restaurante en una ciudad diferente (el Objetivo).

El problema es doble:

Los ingredientes son diferentes: La nueva ciudad utiliza diferentes marcas de verduras y especias. El "perfil de sabor" de los ingredientes locales es diferente al de tu cocina de origen, aunque tu receta (el Modelo) se mantiene igual. Esto se llama Desplazamiento de Covariables (Covariate Shift).
Los catadores están sesgados: En tu antigua cocina, solo probabas la sopa si el jefe de cocina decidía servirla a un invitado VIP. Si la sopa se servía a un cliente habitual, nunca llegabas a probarla. Por lo tanto, tus registros de "qué tan buena era la sopa" se basaban solo en los VIP, no en todo el menú. Esto se llama Etiquetado Selectivo (Selective Labels).

Ahora, quieres predecir qué tan buena será tu sopa en la nueva ciudad. Pero no puedes simplemente mirar tus antiguos registros de catas VIP (porque los ingredientes son diferentes) y tampoco puedes simplemente mirar el menú de la nueva ciudad (porque aún no has probado la sopa allí).

Este artículo propone una nueva y astuta forma de adivinar la calidad de la sopa en la nueva ciudad antes de que siquiera abras las puertas.

Los dos grandes problemas

Los autores explican que la mayoría de los métodos actuales intentan solucionar solo uno de estos problemas a la vez:

El Método A intenta ajustarse a los diferentes ingredientes, pero asume que tus antiguos registros de catas VIP eran perfectos (ignorando el sesgo de los VIP).
El Método B intenta corregir el sesgo de los VIP, pero asume que la nueva ciudad utiliza exactamente los mismos ingredientes que la anterior (ignorando el desplazamiento de los ingredientes).

Cuando ambos problemas ocurren al mismo tiempo, estos métodos te dan una respuesta errónea. Podrían decirte que la sopa será deliciosa cuando, en realidad, podría estar salada o insípida debido a los nuevos ingredientes y al hecho de que no probaste los cuencos de los "clientes habituales".

La solución: Una receta de "doble comprobación"

Los autores crearon un nuevo método llamado Aprendizaje Automático Doble (Double Machine Learning - DML). Piensa en esto como un sistema de "doble comprobación" que corrige ambos problemas simultáneamente.

Así es como funciona su "receta", usando una analogía sencilla:

La simulación del "¿Qué pasaría si...?" (Las Funciones de Molestia):
Primero, el método utiliza una computadora para simular dos cosas:
- ¿Qué tan probable era que un cuenco fuera probado en la antigua cocina? (Esto corrige el sesgo de los VIP).
- ¿Cómo se comparan los nuevos ingredientes con los antiguos? (Esto corrige el desplazamiento de los ingredientes).
La corrección de los "Residuos":
En lugar de simplemente promediar las catas de sabor antiguas, el método observa los errores. Se pregunta: "Para los cuencos que sí probamos, ¿qué tan lejos estuvimos de la predicción?". Luego, ajusta estos errores basándose en qué tan probable era que fueran probados y qué tan diferentes eran los ingredientes.
La multitud "No Etiquetada":
Para la nueva ciudad, el método observa a las personas que no recibieron una prueba de sabor (los datos no etiquetados). Utiliza la simulación del "¿Qué pasaría si...?" para adivinar qué habrían pensado esas personas, basándose en los patrones aprendidos de la antigua cocina.
La mezcla final:
El método combina los "errores corregidos" de la antigua cocina con las "opiniones adivinadas" de la nueva ciudad. Al hacer esto, cancela los errores. Si la computadora adivina mal el sesgo de los VIP, la corrección del desplazamiento de ingredientes ayuda a arreglarlo, y viceversa. Esto hace que la predicción final sea muy estable y precisa.

Por qué esto es importante (Los resultados)

Los autores probaron este método utilizando datos reales de hospitales (específicamente, la base de datos eICU).

La configuración: Tomaron un modelo de predicción médica entrenado con pacientes de un hospital (Fuente) e intentaron predecir cómo funcionaría en otros tres hospitales (Objetivo) que tenían diferentes perfiles demográficos (diferentes edades, razas, etc.) y diferentes reglas sobre qué pacientes recibían pruebas médicas específicas (Etiquetado Selectivo).
El hallazgo: Su nuevo método de "doble comprobación" fue mucho más preciso que los métodos antiguos.
- Los métodos antiguos a menudo decían que el modelo funcionaría bien, pero se equivocaban porque pasaban por alto el sesgo o el desplazamiento.
- El nuevo método identificó correctamente cuándo el modelo tendría dificultades, ofreciendo una imagen mucho más real del riesgo.

La conclusión

Este artículo no se limita a decir "ten cuidado". Proporciona una herramienta matemática (una fórmula específica) que permite a los médicos, científicos de datos o cualquier persona que utilice IA decir: "Sé que mi modelo fue entrenado con el Grupo A, pero lo estoy implementando en el Grupo B, y solo tengo datos parciales. Esta es la forma más precisa de adivinar cómo funcionará realmente".

Es como tener una bola de cristal que corrige tanto el cambio de entorno como el hecho de que tus observaciones pasadas fueron incompletas, asegurando que no sirvas una mala sopa a tus nuevos clientes.

Resumen Técnico: Más allá de la distribución de entrenamiento: Evaluación de predicciones bajo cambio de distribución y sesgo de selección

Declaración del Problema

Los modelos de aprendizaje automático se degradan frecuentemente al ser desplegados en nuevos entornos debido a dos desafíos primarios, que a menudo coexisten: el cambio de covariables (covariate shift) y las etiquetas selectivas (selective labels).

Cambio de covariables: La distribución marginal de las características de entrada ( $P(X)$ ) difiere entre las poblaciones de entrenamiento (fuente) y de despliegue (objetivo), mientras que la relación condicional entre las características y los resultados ( $P(Y|X)$ ) permanece estable. La evaluación estándar sobre un conjunto de prueba retenido puede ocultar la degradación del rendimiento si los errores se concentran en regiones de características comunes en el entorno objetivo pero raras en la fuente.
Etiquetas Selectivas: En dominios de alto riesgo (por ejemplo, salud, préstamos), las etiquetas de los resultados se observan únicamente para individuos seleccionados por una política de decisión previa (por ejemplo, pacientes que reciben una prueba diagnóstica). Esto induce un sesgo de selección, ya que las etiquetas observadas se extraen de un subconjunto de la población dependiente de la decisión, lo que hace que los datos de entrenamiento sean un reflejo inexacto de la población completa de despliegue.

La literatura existente aborda estos problemas de forma aislada. Este artículo estudia la presencia conjunta del cambio de covariables y el etiquetado selectivo, un escenario común en la toma de decisiones clínicas donde los modelos entrenados en grupos demográficos específicos se despliegan en poblaciones diversas, y donde los resultados solo se observan para pacientes que se someten a protocolos clínicos específicos. El problema central es evaluar el riesgo objetivo (la pérdida esperada en el entorno de despliegue) de un modelo de predicción de caja negra arbitrario cuando los resultados objetivo no se observan y los resultados de la fuente se observan selectivamente.

Metodología

1. Formalización e Identificación del Problema

Los autores definen el riesgo objetivo $\psi$ como la pérdida esperada en la población objetivo:
$\psi := E_T [\ell(f(X), Y)]$
donde $f$ es un predictor de caja negra fijo y $\ell$ es una función de pérdida general.

Para identificar $\psi$ a partir de datos observables, el artículo se basa en cuatro supuestos estándar:

Selección sobre Observables (Fuente): Condicional a las covariables $X$ , la observabilidad de la etiqueta $D$ es independiente del resultado $Y$ en la población de la fuente ( $Y \perp\!\!\!\perp D \mid X, R=1$ ).
Cambio de Covariables: La distribución condicional de los resultados dados las características es invariante entre dominios ( $P_S(Y|X) = P_T(Y|X)$ ).
Positividad: Cada perfil de covariables tiene una probabilidad positiva de ser observado en la población de la fuente.
Relación de Verosimilitud Acotada: La razón de densidad entre las distribuciones objetivo y fuente está acotada.

Bajo estos supuestos, el riesgo objetivo se identifica mediante dos expresiones equivalentes (Proposición 3.5):

Expectativa Objetivo: $\psi = E_T [\mu(X)]$ , donde $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ es la pérdida esperada condicional en la fuente.
Expectativa de la Fuente con Correcciones: $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$ , donde $\frac{p_T(X)}{p_S(X)}$ corrige el cambio de covariables y $\frac{D}{\pi_S(X)}$ corrige las etiquetas selectivas mediante el ponderado de la inversa de la probabilidad (inverse propensity weighting).

2. Función de Influencia Eficiente (EIF)

Los autores derivan la Función de Influencia Eficiente (EIF) para el estimando del riesgo objetivo (Proposición 3.6). La EIF, $\phi(Z; P)$ , combina señales tanto de la distribución de la fuente como de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de la de