🤖 machine learning

Learning Under Treatment-Induced Label Indeterminacy with Expert Annotations of Counterfactual Outcomes: A Case Study in Neurological Prognostication

Este artículo propone un marco para evaluar y entrenar modelos de predicción clínica que aborda explícitamente el desafío de la indeterminación de la etiqueta inducida por el tratamiento mediante el aprovechamiento de resultados contrafácticos anotados por expertos para casos inciertos, revelando un compromiso crítico entre la precisión en los resultados observables y la fiabilidad para los mismos pacientes que más necesitan apoyo pronóstico.

Autores originales: Xiaobin Shen, Chloe Y. H. Huang, Jonathan Elmer, George H. Chen

Publicado 2026-08-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xiaobin Shen, Chloe Y. H. Huang, Jonathan Elmer, George H. Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo predecir el clima. Le muestras miles de fotos de nubes y le dices: "Esta significa lluvia, esta significa sol". El robot se vuelve muy bueno emparejando las fotos con el clima que tú viste. Pero, ¿qué pasa si, en algunas de las fotos, una mano gigante e invisible de repente arrebata el cielo antes de que puedas ver si llueve o hace sol? El robot no sabe qué pasó en esos momentos perdidos. En el mundo real, esto no se trata solo de nubes; sucede en los hospitales. A veces, los médicos tienen que tomar la difícil decisión de detener tratamientos vitales porque un paciente se ve muy enfermo. Si detienen el tratamiento, el paciente podría fallecer. Pero aquí está la parte complicada: nunca llegamos a ver si el paciente habría despertado y recuperado si los médicos hubieran seguido luchando. El resultado es "indeterminado": es un misterio. Esto crea un gran problema para los modelos informáticos que intentan aprender de los datos médicos. Solo pueden aprender de los pacientes cuyos resultados realmente vieron, pero los pacientes que más ayuda necesitan son a menudo aquellos cuyos resultados quedan ocultos por esas mismas decisiones de tratamiento.

Este artículo aborda exactamente ese misterio en el mundo de la recuperación de un ataque cardíaco. Los investigadores analizaron a casi 2,500 pacientes que sobrevivieron a un paro cardíaco pero que aún estaban en coma. Dividieron a estos pacientes en dos grupos: casos "Ciertos", donde el paciente claramente despertó o claramente no lo hizo, y casos "Inciertos", donde se detuvo el tratamiento o este falló por otras razones, dejando desconocido su verdadero potencial de recuperación. Para el grupo "Incierto", los investigadores no se limitaron a adivinar; pidieron a un equipo de médicos expertos que revisaran las historias clínicas y dijeran: "Si hubiéramos seguido tratando a esta persona, ¿qué creen que habría pasado?". Los expertos dieron sus mejores conjeturas, las cuales los investigadores trataron como una etiqueta "sombra": una pista sobre la verdad, pero no la verdad en sí misma.

El gran descubrimiento aquí es que los modelos informáticos estándar están jugando un peligroso juego de "escondite". Cuando los investigadores probaron diferentes modelos, descubrieron que un modelo podía parecer perfecto con los pacientes "Ciertos" (obteniendo el ranking correcto de quién se recuperaría) pero ser completamente erróneo con los pacientes "Inciertos". Es como un estudiante que saca la nota máxima en un examen de opción múltiple sobre historia, pero no logra comprender la historia real detrás de las fechas. El artículo muestra que existe un compromiso estricto: si ajustas el modelo para que escuche más de cerca las conjeturas de los expertos sobre los pacientes "Inciertos", el modelo mejora su capacidad para predecir los resultados ocultos, pero comienza a cometer más errores en los pacientes "Ciertos" cuyos resultados ya conocemos. Por el contrario, si haces que el modelo sea perfecto para el grupo "Cierto", tiende a ignorar al grupo "Incierto" y ofrece predicciones demasiado optimistas o pesimistas que no coinciden con la intuición de los expertos.

Los autores sugieren que no podemos simplemente elegir el "mejor" modelo basándonos en una sola puntuación. En su lugar, tenemos que elegir un equilibrio. Construyeron una herramienta especial que permite a los médicos deslizar una perilla para decidir cuánto quieren que el modelo confíe en las conjeturas de los expertos frente a ceñirse a los datos duros de lo que realmente sucedió. El estudio concluye que ignorar a los pacientes "Inciertos" porque sus datos son desordenados es un error. Esto oculta un modo de fallo donde el modelo podría dar malos consejos a las personas que más lo necesitan. Al reconocer que algunos resultados son conjeturas en lugar de hechos, y al aceptar que tenemos que sacrificar precisión en un grupo para obtener precisión en otro, podemos construir herramientas mejores y más honestas para salvar vidas.

Resumen Técnico: Aprendizaje bajo la Indeterminación de Etiquetas Inducida por el Tratamiento

Formulación del Problema
El artículo aborda una limitación fundamental en el modelado de predicción clínica conocida como indeterminación de etiquetas inducida por el tratamiento. En el aprendizaje supervisado estándar, se asume que el resultado objetivo se observa claramente para cada paciente. Sin embargo, en entornos de alto riesgo como la pronosticación neurológica tras un paro cardíaco, las decisiones de tratamiento (específicamente la retirada o limitación de terapias de soporte vital, WLST por sus siglas en inglés) o eventos terminales competitivos (por ejemplo, insuficiencia multiorgánica) pueden oscurecer permanentemente el resultado clínicamente relevante (la recuperación neurológica).

Esto crea un conjunto de datos dividido en dos subconjuntos distintos:

Casos Ciertos: Pacientes cuyos resultados se observan directamente (por ejemplo, recuperar la conciencia o fallecer sin limitación previa de tratamiento). Estos proporcionan etiquetas supervisadas válidas.
Casos Inciertos: Pacientes cuyos resultados fueron convertidos en indeterminados por decisiones de tratamiento. Para estos pacientes, el "verdadero" resultado contrafáctico (lo que habría sucedido si el tratamiento hubiera continuado) es inobservable.

El desafío central es que las métricas de evaluación estándar (como el AUROC) calculadas únicamente en casos ciertos no logran capturar el comportamiento del modelo en los casos inciertos, que es precisamente la población para la cual el apoyo pronóstico es más crítico. Además, las estrategias que asignan a los casos inciertos la misma etiqueta que los malos resultados observados (por ejemplo, la muerte) provocan que los modelos aprendan patrones de la toma de decisiones médicas (cuándo ocurre la WLST) en lugar de la verdadera capacidad de recuperación.

Metodología
Los autores proponen un marco que distingue explícitamente entre casos ciertos e inciertos tanto durante el entrenamiento como en la evaluación, utilizando evaluaciones de expertos para guiar el proceso de aprendizaje.

Datos y Evaluaciones de Expertos: El estudio utiliza una cohorte retrospectiva de 2,497 pacientes tras un paro cardíaco (1,068 ciertos, 1,429 inciertos). Para los casos inciertos, los autores aprovechan las evaluaciones contrafácticas estructuradas de expertos clínicos independientes (3 a 5 por paciente). Estas evaluaciones de expertos se tratan como pseudo-etiquetas imperfectas (referencias informadas por expertos) en lugar de la verdad de campo (ground truth).
Arquitectura del Modelo: El modelo principal es una red neuronal de una sola cabeza diseñada para predecir la probabilidad de una recuperación neurológica favorable.
Objetivo de Entrenamiento: Los autores introducen una función de objetivo de dos parámetros para controlar el compromiso (tradeoff) entre el ajuste de los datos observados y la alineación con las creencias de los expertos:
- $L_{certain}$ : Entropía cruzada binaria ponderada en casos ciertos. Se aplica un peso $\omega_{bad} \ge 1$ a los casos de mal resultado observados para controlar la influencia de la región de baja probabilidad.
- $L_{align}$ : Un término de error cuadrático medio en casos inciertos, que mide la diferencia entre la predicción del modelo y la probabilidad agregada derivada de los expertos ( $\tilde{p}_j$ ). Un hiperparámetro $\lambda_{align} \ge 0$ controla la fuerza de esta alineación.
- Pérdida Total: $L(\theta) = L_{certain}(\theta) + \lambda_{align} L_{align}(\theta)$ .
Marco de Evaluación: El artículo propone una estrategia de evaluación dividida (split evaluation):
- Casos Ciertos: Evaluados mediante métricas estándar (AUROC y puntuación de Brier) frente a resultados binarios observados.
- Casos Inciertos: Evaluados mediante el Error Absoluto Medio (MAE) frente a las probabilidades de referencia agregadas de los expertos.
- Análisis de Compromiso (Tradeoff): Los modelos no se seleccionan basándose en un único escalar métrico, sino que se analizan a lo largo de la frontera del compromiso entre la precisión de la probabilidad en casos ciertos (puntuación de Brier) y la alineación en casos inciertos (MAE).

Contribuciones Clave

Formalización de la Indeterminación de Etiquetas: El artículo formaliza el modelado predictivo donde las etiquetas objetivo difieren cualitativamente entre subconjuntos de la población (resultados observados frente a conjeturas contrafácticas de expertos).
Marco de Evaluación Dividida: Introduce un marco que evalúa los modelos en dos ejes: discriminación/exactitud estándar en casos ciertos y alineación con la creencia de los expertos en casos inciertos. Esto revela modos de fallo ocultos por las métricas agregadas.
Caracterización Empírica de los Compromisos: A través de experimentos con modelos base tabulares (XGBoost, Random Forest) y redes neuronales, los autores demuestran que los modelos con un AUROC similar en casos ciertos pueden exhibir comportamientos radicalmente distintos en casos inciertos.
Control Explícito del Compromiso: El objetivo de la red neuronal de dos parámetros propuesto ( $\omega_{bad}$ y $\lambda_{align}$ ) permite a los profesionales navegar explícitamente el compromiso entre el ajuste de los datos observados y la alineación con las creencias contrafácticas de los expertos.

Resultados

La Brecha Oculta: Modelos con un AUROC de casos ciertos casi idénticos (por ejemplo, 0.882 vs. 0.884) mostraron diferencias dramáticas en las puntuaciones de Brier de casos ciertos (0.116 vs. 0.407) y en el MAE de casos inciertos (0.410 vs. 0.053). Esto indica que el rendimiento de clasificación (AUROC) enmascara una descalibración significativa en las estimaciones de probabilidad.
La Frontera de Compromiso: Mejorar la alineación con las conjeturas de los expertos en casos inciertos (reduciendo el MAE de casos inciertos) generalmente conlleva un costo de menor exactitud de la probabilidad en casos ciertos (mayor puntuación de Brier).
Colocación de Probabilidades: Los modelos estándar de "solo observación" asignaban probabilidades de recuperación relativamente altas a los casos inciertos, solapándose significamente con los casos de "buenos ciertos". La incorporación de la alineación con expertos desplazó las predicciones de los casos inciertos hacia abajo, separándolos mejor de los resultados favorables pero comprimiendo la escala de probabilidad.
Comparación con Baselines: Los modelos base tabulares (XGBoost) exhibieron el mismo patrón de compromiso que las redes neuronales, lo que sugiere que el fenómeno es impulsado por la estructura de las etiquetas y no por la arquitectura específica del modelo.

Significado y Reivindicaciones
El artículo se posiciona principalmente como una formulación de problema y un marco de evaluación más que como una contribución algorítmica novedosa. Su principal importancia radica en demostrar que:

Las métricas de evaluación convencionales centradas únicamente en casos ciertos son insuficientes en entornos con indeterminación de etiquetas inducida por el tratamiento.
El "modo de fallo" en estos entornos es a menudo la colocación errónea de la probabilidad (descalibración) en la subpoblación más crítica (casos inciertos), la cual es invisible para el AUROC.
No existe un único "mejor" modelo; en su lugar, existe una decisión de diseño sobre cuánto peso otorgar a los resultados observados frente a las creencias contrafácticas de los expertos.
Las conjeturas de los expertos sobre los resultados contrafácticos, aunque imperfectas, sirven como supervisión necesaria para estudiar y mejorar el comportamiento del modelo en los casos inciertos.

Los autores declaran explícitamente que no pretenden recuperar las verdaderas probabilidades contrafácticas de la verdad de campo (ground truth) ni resolver la indeterminación de etiquetas de forma general. En su lugar, proporcionan un método para utilizar evaluaciones de expertos cuidadosamente elicitadas para hacer que el compromiso entre el rendimiento observado y la alineación contrafáctica sea explícito y navegable para los profesionales.

Más como este