🤖 AI

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

Este artículo presenta EarlyDx, un benchmark a gran escala para el diagnóstico de emergencia abierto y basado en evidencia utilizando únicamente datos de admisión de MIMIC-IV, el cual revela que los modelos de lenguaje extensos actuales tienen dificultades para inferir diagnósticos de manera confiable a partir de evidencia inicial limitada, a pesar de las mejoras tras el postentrenamiento.

Autores originales: Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Publicado 2026-08-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero solo se te permite observar la escena del crimen durante los primeros cinco minutos. Tienes un cuaderno lleno de pistas: una huella de barro, una ventana rota y un testigo que todavía está temblando. Tu trabajo es adivinar qué pasó justo ahora, antes de que llegue la policía, antes de que lleguen las pruebas de laboratorio y antes de que el sospechoso confiese. Este es el escenario diario de los médicos en una sala de emergencias (ER). Deben realizar un "diagnóstico de trabajo"—una mejor suposición sobre lo que le sucede al paciente—usando solo la información limitada disponible en el momento en que el paciente cruza la puerta.

Durante mucho tiempo, los científicos han intentado enseñar a las computadoras a hacer este trabajo utilizando Inteligencia Artificial (IA). Construyeron "benchmarks", que son como calificaciones de exámenes, para ver qué tan inteligentes son estas máquinas. Pero la mayoría de estas pruebas estaban amañadas. Le daban a la IA toda la historia de la estancia hospitalaria del paciente (incluyendo el diagnóstico final realizado días después) y le pedían que predijera el principio. Es como darle al detective la solución al misterio y pedirle que adivine las pistas. Además, estas pruebas obligaban a la IA a elegir de una lista corta y fija de respuestas, como un examen de opción múltiple, en lugar de permitirles escribir su propia respuesta en lenguaje natural. Este artículo, llamado EarlyDx, decide arreglar el juego. Construye una prueba nueva y más justa que obliga a la IA a actuar como un verdadero médico de emergencias: observando solo la evidencia disponible en el momento exacto de la admisión y redactando un diagnóstico en texto libre, tal como lo haría un humano.

El Nuevo Juego: EarlyDx

Los investigadores crearon un patio de juegos masivo llamado EarlyDx, construido a partir de más de 154,000 visitas a la sala de emergencias. Imagina una biblioteca gigante de historias de pacientes. En esta biblioteca, cortaron cuidadosamente cada historia justo en el momento en que el paciente era admitido en el hospital. Desecharon cualquier nota escrita después, cualquier resultado de laboratorio que llegara al día siguiente y cualquier diagnóstico final realizado después de que el paciente fuera tratado por completo. Mantuvieron solo la evidencia del "momento de la admisión": la edad del paciente, su motivo de consulta (qué le duele), sus signos vitales y cualquier prueba inmediata, como radiografías o monitores cardíacos, que se realizaron en ese mismo instante.

Pero aquí está la parte difícil: las "respuestas" en esta biblioteca no son solo los diagnósticos finales. Los investigadores utilizaron un "auditor" de IA especial para revisar cada uno de los diagnósticos registrados en el expediente del paciente. Preguntaron: "¿Puede este diagnóstico ser probado solo por la evidencia que tenemos en el momento de la admisión?"

Sustentado: La evidencia está ahí mismo (por ejemplo, una radiografía muestra un hueso roto).
Parcialmente Sustentado: La evidencia es una pista, pero no es una certeza absoluta (por ejemplo, el paciente tiene antecedentes de diabetes, pero aún no tenemos un análisis de sangre).
No Sustentado: El diagnóstico es cierto, pero no podríamos haberlo sabido en el momento de la admisión (por ejemplo, un cultivo de sangre que tarda tres días en crecer).

Los modelos de IA solo son calificados por las respuestas "Sustentadas" y "Parcialmente Sustentadas". Si la IA adivina un diagnóstico que requiere información que no teníamos en ese momento, no recibe crédito. Esto asegura que la prueba mida el razonamiento real, no solo el azar o la memorización de la clave de respuestas final.

La Gran Sorpresa: La IA Depende del Texto Explícito

Cuando los investigadores realizaron sus pruebas, descubrieron algo sorprendente. Probaron los modelos de IA más inteligentes del mundo, incluyendo modelos de propósito general gigantes y otros especializados en medicina. Los resultados mostraron que la mayoría de estos modelos "zero-shot" (modeles que no han sido entrenados específicamente para este nuevo test) son en realidad pésimos para inferir un diagnóstico.

En lugar de pensar como un detective, actúan como una fotocopiadora. Aproximadamente el 43% de las veces, el diagnóstico correcto estaba escrito textualmente en las notas del paciente (por ejemplo, la nota decía "sospecha de neumonía" y la IA simplemente copió "neumonía"). Cuando la IA tenía que inferir un diagnóstico —conectando puntos que no estaban explícitamente declarados— estos modelos colapsaban. Solo lograban encontrar entre el 3% y el 31% de los diagnósticos ocultos. Es como un estudiante que puede copiar la respuesta si está escrita en la pizarra, pero falla por completo si tiene que resolver el problema matemático por sí mismo.

Incluso cuando los investigadores realizaron un "fine-tuning" (reentrenamiento) de un modelo de IA más pequeño para esta tarea específica, este mejoró considerablemente, pero aun así no alcanzó el nivel de un médico humano. El modelo reentrenado pudo encontrar alrededor del 56% de los diagnósticos ocultos, lo cual es una gran mejora, pero todavía dejó atrás muchos casos críticos.

El Factor Humano y la Brecha de "Tiempo Crítico"

El estudio también comparó estos modelos de IA con un médico real que observó las mismas notas de admisión. El médico humano fue mucho mejor encontrando las pistas ocultas, capturando alrededor del 68% de los diagnósticos sustentados. Sin embargo, el médico humano también enumeró muchas más posibilidades, creando un "diagnóstico diferencial" (una lista de lo que podría ser). Los modelos de IA tendían a listar demasiadas cosas (perdiendo el peligro) o a ser demasiado vagos (listando demasiadas cosas aleatorias).

El hallazgo más preocupante surgió cuando observaron las condiciones críticas de tiempo—emergencias de vida o muerte como ataques cardíacos, accidentes cerebrovasculares o sepsis. En estos casos, omitir un diagnóstico es mucho peor que dar una falsa alarma. El médico humano logra un equilibrio cuidadoso: señala muchos peligros potenciales para estar seguro. Los modelos de IA, sin embargo, lucharon por encontrar este equilibrio. Algunos eran tan cautelosos que pasaban por alto el peligro; otros eran tan imprudentes que señalaban todo. Ningún sistema de IA probado hasta ahora pudo igualar la capacidad del médico humano para decir: "Esto parece peligroso, hay que revisarlo", con el nivel de confianza adecuado.

El Veredicto

El artículo concluye que, si bien la IA está mejorando en la lectura de notas médicas, aún no está lista para reemplazar el trabajo de detección de un detective humano requerido en una sala de emergencias. Los modelos actuales son mayormente buenos en la extracción (encontrar lo que ya está escrito) pero malos en la inferencia (descubrir lo que está implícito). Los investigadores sugieren que, para que la IA sea verdaderamente útil, necesita aprender a razonar con la incertidumbre, admitiendo cuándo no está segura y señalando peligros potenciales, en lugar de solo intentar adivinar la respuesta final. Hasta entonces, el juego del "diagnóstico temprano" sigue siendo una especialidad humana, con la IA actuando como un asistente útil pero imperfecto.

Resumen Técnico: EarlyDx

Planteamiento del Problema

El diagnóstico clínico en el momento del ingreso hospitalario requiere la síntesis de evidencia limitada e incompleta (signos vitales, laboratorios, imágenes, antecedentes) para formar un diagnóstico de trabajo bajo incertidumbre. Los benchmarks existentes para el diagnóstico médico no son adecuados para evaluar a los modelos de lenguaje de gran escala (LLMs) modernos en este escenario específico debido a tres limitaciones primarias:

Etiquetas de Conjunto Cerrado: Los diagnósticos se mapean a conjuntos fijos de códigos ICD, descartando el matiz clínico y la información que se pierde durante la conversión de texto a código.
Modalidades Restringidas: Los benchmarks suelen excluir señales ricas de texto libre (motivos de consulta, hallazgos radiológicos) en favor de características tabulares.
Inconsistencia Temporal: Los modelos reciben entradas del momento del ingreso, pero son supervisados con diagnósticos de alta que incorporan todo el curso intrahospitalario, incluyendo información que no estaba disponible al momento del ingreso.

Consecuentemente, los benchmarks actuales no logran distinguir entre la capacidad de un modelo para extraer información explícita de un registro y su capacidad para inferir diagnósticos a partir de señales parcialmente observadas.

Metodología

Los autores introducen EarlyDx, un benchmark a gran escala ( $N=154,834$ encuentros) derivado de MIMIC-IV, diseñado para evaluar el diagnóstico temprano de vocabulario abierto anclado estrictamente al tiempo de admisión ( $t_0$ ).

Construcción de Datos

Cohorte: Incluye todos los encuentros de la sala de emergencias (ED) que resultan en ingreso hospitalario.
Entrada: Un prompt de texto serializado que contiene solo los registros disponibles en o antes de $t_0$ (tiempo de admisión). Esto incluye demografía, motivo de consulta, signos vitales de triaje, signos vitales seriales de la ED, medicamentos habituales, mediciones basales, resultados de laboratorio, interpretaciones de ECG, hallazgos radiológicos e historia previa. Las imágenes y las señales fisiológicas se presentan como hallazgos de informes, no como datos brutos.
Etiquetas: Los diagnósticos de referencia son los títulos de ICD de vocabulario abierto de la tabla de diagnósticos del encuentro de la ED, en lugar de códigos de conjunto cerrado o diagnósticos de alta.

Verificación Basada en la Evidencia

Una innovación crítica es el uso de un auditor LLM (MiniMax M3) para verificar cada etiqueta de texto libre contra la evidencia del momento de la admisión. Las etiquetas se categorizan en:

Soportada: La evidencia directa en la entrada (laboratorios, imágenes, signos vitales) sustenta el diagnóstico.
Parcialmente Soportada: La evidencia es indirecta o circunstancial (p. ej., antecedentes, medicamentos habituales) pero no definitiva en la admisión.
No Soportada: El diagnóstico depende de información no disponible en la admisión (p. ej., cultivos microbiológicos, evaluación post-admisión).

La pista de evaluación principal califica a los modelos solo sobre etiquetas totalmente soportadas (32.7% del total de etiquetas), asegurando que el benchmark mida la inferencia diagnóstica en lugar de la recuperación de información futura.

Protocolo de Evaluación

Coincidencia Semántica: La coincidencia exacta de cadenas es poco fiable para el texto libre. Los autores emplean un protocolo de LLM-como-juez (Qwen3.5-27B) para computar la coincidencia uno a uno entre los diagnósticos predichos y los de referencia, manejando sinónimos y abreviaturas.
Métricas: Se reportan la Precisión, el Recall y el F1 promediados por micro.
Baselines: El estudio evalúa LLMs generales zero-shot (p. ej., GPT-5.5, Claude Opus), LLMs especializados en medicina (p. ej., MedGemma, HuatuoGPT) y un modelo post-entrenado (Qwen3.5-4B ajustado con Cadena de Pensamiento condicionada a la verdad/gold-conditioned).

Contribuciones Clave

Benchmark Anclado a la Admisión: Un conjunto de datos a gran escala donde la supervisión está estrictamente limitada a la evidencia disponible en la admisión, utilizando etiquetas de texto libre de vocabulario abierto en lugar de códigos cerrados.
Verificación de Evidencia: Un pipeline que filtra las etiquetas basadas en si están soportadas por la evidencia de entrada, separando tareas de "extracción" de tareas de "inferencia".
Análisis Empírico de las Capacidades de los LLM: Una evaluación sistemática que muestra que los LLM actuales tienen dificultades con la inferencia del diagnóstico temprano, recurriendo a menudo a la extracción de texto en lugar de razonar sobre la incertidumbre.

Resultados

Brecha de Rendimiento: Los modelos zero-shot (tanto generales como médicos) generalmente puntúan por debajo de 0.40 F1 en la pista principal. El post-entrenamiento produce ganancias significativas, con el Qwen3.5-4B ajustado logrando un F1 de 0.51 en etiquetas soportadas, superando al baseline zero-shot más fuerte por +0.11.
Extracción vs. Inferencia:
- El 43% de los diagnósticos soportados aparecen textualmente en la entrada (explícitos). Los modelos zero-shot recuperan entre el 37% y el 65% de estos.
- El 57% de los diagnósticos soportados son implícitos (deben ser inferidos). Los modelos zero-shot recuperan solo el 3–31% de estos, con los modelos especializados en medicina recuperando tan solo el 3–6% y los modelos generales el 9–31%.
- El post-entrenamiento mejora el recall implícito al 56% para el modelo ajustado, pero persiste una brecha significativa respecto al rendimiento humano.
Condiciones Críticas de Tiempo: En seis diagnósticos críticos de tiempo (p. ej., infarto de miocardio, sepsis), ningún sistema evaluado logra el equilibrio de sensibilidad y precisión de un clínico. Los modelos zero-shot tienden a tener alta sensibilidad pero muy baja precisión (25–28%), mientras que el modelo post-entrenado logra alta precisión (78%) pero menor sensibilidad (54%).
Referencia Humana: Un clínico humano evaluado con las mismas entradas logró el mayor recall soportado (0.68) pero un F1 comparable a los mejores modelos zero-shot, debido en gran medida a la sobre-predicción (listar un diferencial amplio), lo que sugiere que incluso los expertos luchan por estrechar el diferencial sin el encuentro clínico completo.

Significancia y Reivindicaciones

El artículo afirma que EarlyDx revela una limitación fundamental en los LLM actuales: son efectivos extrayendo diagnósticos declarados explícitamente en los registros, pero fallan al sintetizar la evidencia para inferir diagnósticos bajo incertidumbre.

Hallazgo Negativo pero Útil: El benchmark demuestra que los LLM "frontera", tanto generales como médicos, no sintetizan de manera confiable la evidencia del momento de la admisión. El cuello de botella no es el conocimiento médico, sino la capacidad de traducir ese conocimiento en un diagnóstico calibrado bajo incertidumbre.
Validez de la Evaluación: Al filtrar las etiquetas basadas en la evidencia, el benchmark evita la "fuga temporal" de usar diagnósticos de alta, proporcionando una prueba más rigurosa de la capacidad diagnóstica temprana.
Limitaciones: Los autores señalan que las etiquetas de referencia son códigos administrativos de facturación (no diagnósticos clínicos adjudicados) y que la entrada carece de hallazgos de examen físico (p. ej., apariencia del paciente), lo que limita el techo alcanzable tanto para los modelos como para los humanos. Sugieren que el trabajo futuro debería explorar predicciones graduadas (p. ej., diagnósticos "sospechosos") para alinearse mejor con la práctica clínica donde se deben plantear peligros no confirmados.

El artículo concluye que, si bien el post-entrenamiento reduce la brecha, ningún sistema actual alcanza el punto de operación de un clínico en condiciones críticas de tiempo, resaltando la necesidad de mayor investigación en el razonamiento basado en evidencia bajo incertidumbre.