🤖 AI

EviDx: Evidence-Aware Active Diagnosis with Scaffolded LLM Agents

El artículo presenta EviDx, un marco de diagnóstico activo consciente de la evidencia que utiliza agentes de LLM con andamiaje y un arnés de tiempo de ejecución para adquirir evidencia clínica de forma dinámica y gestionar la incertidumbre diagnóstica, mejorando así tanto el rendimiento diagnóstico como la estabilidad del proceso en comparación con los modelos de predicción estáticos.

Autores originales: Lihang Zeng, Shaoting Zhang, Xiaofan Zhang

Publicado 2026-08-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lihang Zeng, Shaoting Zhang, Xiaofan Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo real, un médico no diagnostica a un paciente leyendo un solo párrafo y adivinando instantáneamente una respuesta. El diagnóstico es una búsqueda lenta y activa de pistas. Un médico escucha la historia de un paciente, luego ordena un análisis de sangre, revisa una radiografía o pregunta sobre los antecedentes familiares. Con cada nueva pieza de información, el médico actualiza su lista de posibles causas, descartando algunas y agudizando el enfoque en otras. Deben decidir constantemente cuándo han reunido evidencia suficiente para tomar una decisión y cuándo necesitan seguir buscando. Este proceso de buscar evidencia, sopesar posibilidades y saber cuándo detenerse es el núcleo del razonamiento clínico.

Durante años, los investigadores han intentado enseñar a las computadoras a hacer esto utilizando modelos de lenguaje extensos, los poderosos sistemas de inteligencia artificial que pueden escribir y chatear como los humanos. Sin embargo, la mayoría de estos sistemas han sido entrenados para tratar el diagnóstico como un cuestionario estático. Se les entrega la historia completa de un paciente de una sola vez y se les pide que suelten una respuesta final inmediatamente. Este enfoque pierde el punto de cómo funciona la medicina real. Obliga a la computadora a adivinar la solución antes de que haya tenido la oportunidad de investigar, de forma muy parecida a pedirle a un estudiante que resuelva un problema matemático sin dejarle usar una calculadora o papel de borrador. Si bien estos modelos pueden recordar hechos médicos, a menudo fallan al intentar imitar la recopilación cuidadosa y paso a paso de evidencia que evita errores.

Un nuevo estudio presenta un sistema llamado EviDx, diseñado para cambiar la forma en que estos agentes de inteligencia artificial abordan el diagnóstico médico. En lugar de entregar a la computadora un expediente de caso terminado, los investigadores construyeron un entorno virtual donde la IA debe buscar información activamente. Imagine una habitación de hospital digital donde los registros del paciente, los resultados de laboratorio y las imágenes diagnósticas están guardados en cajones separados. El agente de IA no puede verlos todos a la vez; debe solicitar pruebas específicas, esperar los resultados y luego decidir qué pedir a continuación. Este sistema incluye un conjunto de reglas que guían el comportamiento del agente, asegurando que verifique los tipos correctos de información y no deje de buscar hasta que haya cubierto el terreno necesario.

Los investigadores también añadieron un monitor de seguridad, un supervisor digital que observa el progreso del agente en tiempo real. Este monitor verifica dos cosas: qué tan confundido sigue estando el agente respecto al diagnóstico y cuánta de la evidencia disponible ha consultado realmente. Si el agente intenta declarar un diagnóstico demasiado pronto, mientras aún tiene incertidumbre o ha omitido pruebas importantes, el monitor lo detiene y lo obliga a seguir investigando. Esto evita que la computadora tome una decisión segura basada en información incompleta. El sistema fue probado en cientos de casos clínicos del mundo real, que iban desde escenarios complejos de la sala de emergencias hasta detallados reportes de revistas médicas, utilizando una variedad de diferentes modelos de IA.

Los resultados mostraron que este enfoque activo de búsqueda de evidencia funcionó significantemente mejor que el viejo método de adivinación estática. Los agentes de IA que utilizaban EviDx fueron mucho más precisos al identificar el diagnóstico correcto, especialmente cuando tenían que elegir de una lista de opciones. El sistema ayudó incluso a los modelos más pequeños y menos potentes a desempeñarse mucho mejor, guiándolos para encontrar las pistas adecuadas. Sin embargo, el estudio también encontró un límite claro: si bien el sistema podía enseñar a un agente cómo reunir evidencia y organizar sus pensamientos, no podía solucionar la falta de conocimiento médico fundamental. Si el modelo de IA no sabía ya lo suficiente sobre una enfermedad específica para comprender las pistas que encontraba, seguía teniendo dificultades para alcanzar la conclusión correcta.

Los investigadores también descubrieron que el mayor obstáculo para estos sistemas no era solo el conocimiento médico, sino la capacidad de seguir instrucciones estrictas. Muchos de los modelos de IA más pequeños cometían errores frecuentemente en la forma en que solicitaban la información, como formatear sus peticiones incorrectamente o no utilizar las herramientas adecuadas. Estos fallos técnicos a menudo causaban que el proceso de diagnóstico se rompiera por completo. El estudio sugiere que, para que la inteligencia artificial se convierta en un socio confiable en la medicina, debe ser evaluada no solo por si obtiene la respuesta final correcta, sino por cómo se comporta durante la investigación. ¿Buscó la evidencia adecuada? ¿Se detuvo cuando tuvo suficiente? El nuevo marco de trabajo demuestra que construir un sistema que imite la naturaleza activa y cautelosa del diagnóstico humano es posible, pero requiere un diseño cuidadoso para asegurar que la computadora se mantenga en el camino correcto.

Resumen Técnico: EviDx

Formulación del Problema

El diagnóstico clínico es, fundamentalmente, un proceso activo e iterativo donde los clínicos adquieren evidencia, actualizan hipótesis competidoras y determinan cuándo existe información suficiente para concluir. Sin embargo, los sistemas de diagnóstico basados en Modelos de Lenguaje de Gran Escala (LLM) existentes tratan mayoritariamente el diagnóstico como un problema de predicción estático de "caso-a-respuesta". En estas configuraciones, los modelos reciben una viñeta clínica completa de antemano y generan un diagnóstico en una sola pasada, colapsando la adquisición de evidencia, la integración y la terminación en un solo prompt. Este enfoque no logra modelar los fallos de proceso inherentes al diagnóstico activo, tales como el compromiso prematuro antes de haber reunido la evidencia suficiente.

Si bien los sistemas aumentados por herramientas y los sistemas agénticos ofrecen un camino hacia el diagnóstico dinámico al permitir el acceso a registros de pacientes y conocimiento externo, a menudo carecen de mecanismos explícitos para controlar cómo se expone la evidencia, cómo se estructuran las acciones y cuándo debe terminar el proceso diagnóstico. Los sistemas existentes suelen depender de flujos de trabajo fijos o presupuestos de turnos, dejando la decisión crítica de la suficiencia de la evidencia débilmente modelada.

Metodología: El Marco EviDx

Los autores presentan EviDx, un marco de diagnóstico activo consciente de la evidencia diseñado para transformar casos clínicos estáticos en entornos diagnósticos interactivos. El sistema acopla entornos específicos del paciente con un andamiaje de diagnóstico clínico y un armazón de ejecución guiado por un observador. EviDx consta de cuatro componentes principales:

1. E-Synthesis (Construcción de Entorno Interactivo)

E-Synthesis convierte el texto clínico bruto en un entorno interactivo específico del paciente ( $E_x$ ). Un Inicializador de Contexto procesa el texto bruto en datos estructurados del paciente (EHR), preservando ambigüedades clínicamente relevantes, calificadores y hallazgos negativos. Estos datos estructurados se cargan en un Servidor de EHR, acoplado con herramientas de acceso a la evidencia para formar un entorno donde las acciones diagnósticas pueden consultar registros de pacientes específicos y conocimiento médico externo a través del Protocolo de Contexto de Modelo (MCP).

2. Clinical Dx Scaffold (Ejecución Estructurada)

El andamiaje organiza la ejecución diagnóstica a través de agentes especializados por roles y estados de evidencia en evolución, en lugar de un prompting genérico:

Agente Diagnosticador: El componente central de razonamiento que mantiene el conjunto de diagnóstico diferencial ( $D_t$ ) y el estado de creencia ( $bP_t$ ). Decide la siguiente acción (consultar datos, consultar conocimiento o finalizar) basándose en la trayectoria actual.
Ejecutor de EHR: Gestiona el acceso determinista al Servidor de EHR, recuperando datos demográficos, antecedentes, laboratorios e informes de imagenología.
Consultor Clínico: Gestiona el acceso a la evidencia externa mediante la descomposición de solicitudes y la recuperación de literatura relevante de un Servidor de Conocimiento (usando recuperación híbrida densa y BM25) para apoyar al Diagnosticador.

3. Observer-Guided Harness (Control en Tiempo de Ejecución)

Un andamiaje por sí solo es insuficiente; el sistema requiere control en tiempo de ejecución para prevenir la terminación prematura. El Observer-Guided Harness (Armazón Guiado por Observador) monitorea la trayectoria diagnóstica y regula la terminación basándose en dos métricas:

Incertidumbre Diagnóstica ( $H(t)$ ): Calculada como la entropía del diagnóstico diferencial reportado. Una entropía alta indica hipótesis no resueltas.
Cobertura de Evidencia en Tiempo de Ejecución ( $V(T_t)$ ): La fracción de las secciones del EHR disponibles que han sido consultadas explícitamente por el agente.

La terminación se aprueba solo cuando la trayectoria satisface ambos criterios: $H(t) < \tau_H$ (suficientemente resuelto) y $V(T_t) > \tau_V$ (suficientemente explorado). El armazón utiliza umbrales dinámicos sensibles a los pasos que relajan gradualmente los requisitos a medida que la interacción progresa, evitando bucles infinitos pero bloqueando salidas sin fundamento.

4. Pirámide de Evaluación de 3 Niveles

Para evaluar el marco, los autores proponen una estrategia de evaluación multidimensional:

Nivel 1 (Robustez de Ejecución): Mide la fiabilidad de la interacción con herramientas, específicamente los errores de Sintaxis y Esquema de MCP.
Nivel 2 (Dinámicas de Razonamiento): Evalúa la Convergencia de Incertidumbre (qué tan efectivamente se concentran los estados de creencia) y la frecuencia de Intervención del Observador (qué tan seguido el armazón bloquea la terminación prematura).
Nivel 3 (Resultados Diagnósticos): Evalúa la precisión final y la Recuperación de Evidencia de Referencia, distinguiendo entre la mera recuperación de evidencia (Adquisición) y su utilización activa en el razonamiento (Cognición).

Contribuciones Clave

Marco EviDx: Una arquitectura novedosa que transforma casos clínicos estáticos en entornos interactivos, dotando a los agentes LLM de andamiajes de evidencia específicos, herramientas de evidencia y gestión de estado.
Observer-Guided Harness: Un mecanismo de control en tiempo de ejecución que gestiona explícitamente la terminación diagnóstica mediante el seguimiento de la incertidumbre y la cobertura de evidencia, evitando conclusiones prematuras.
Pirámide de Evaluación de 3 Niveles: Una metodología de evaluación exhaustiva que va más allá de la precisión final para evaluar la robustez de la ejecución, las dinámicas de razonamiento y los resultados fundamentados en la evidencia.
Med-Evidence-2.6k: Un conjunto de datos curado de 2,660 instancias clínicas ricamente anotadas creadas mediante un proceso asistido por LLM con revisión médica. Aunque el conjunto de datos completo soporta la evaluación de recuperación de evidencia, los experimentos principales utilizan un subconjunto controlado de 100 instancias de cada benchmark para permitir la comparación entre modelos.

Resultados Experimentales

El marco fue evaluado en tres conjuntos de datos (JAMA, MedXpertQA-Diag, DiagnosisArena) utilizando una gama de modelos, desde modelos de pesos abiertos de 8B de parámetros hasta modelos de frontera (GPT-5.2, Claude Sonnet 4.6, etc.).

Robustez de Ejecución: Los modelos de frontera de gran tamaño (GPT-5.2, DeepSeek-V3.2) demostraron una alta robustez en el uso de herramientas. Los modelos más pequeños (p. ej., Llama3.1-8B) exhibieron errores significativos de esquema y sintaxis, resaltando que la robustez de ejecución es un prerrequisito para el diagnóstico activo.
Desempeño Diagnóstico: EviDx mejoró el desempeño diagnóstico de Opción Múltiple (MC) en todos los modelos. Notablemente, los modelos de 8B de parámetros experimentaron mejoras sustanciales (p. ej., Qwen3-8B en JAMA aumentó del 18% al 44%). Sin embargo, el diagnóstico de código abierto siguió limitado por el conocimiento médico paramétrico del modelo base, con modelos pequeños puntuando cerca del 0% en algunos entornos de código abierto.
Estabilidad del Proceso: El Observer-Guided Harness mitigó con éxito la terminación no sustentada. Los estudios de caso mostraron que, sin el armazón, los agentes a menudo concluían prematuramente bajo alta incertidumbre o hallazgos negativos engañosos. El armazón forzó la continuación de la adquisición de evidencia, llevando a diagnósticos correctos en escenarios donde los agentes sin restricciones fallaron.
Recuperación de Evidencia: Mientras que la precisión de MC mejoró, algunos modelos pequeños mostraron puntuaciones de "Cognición" (utilización de la evidencia en el razonamiento) más bajas en comparación con las líneas base de un solo agente. Esto sugiere una tensión donde la coordinación de herramientas conduce a trazas más comprimidas o parafraseadas, reduizando la coincidencia exacta de texto a pesar de un razonamiento correcto.

Significancia y Reivindicaciones

El artículo afirma que EviDx demuestra que los agentes clínicos de LLM se vuelven más capaces cuando los entornos de diagnóstico interactivos se acoplan con andamiajes de evidencia explícitos y armazones de tiempo de ejecución. Los resultados sugieren que el progreso en el diagnóstico de LLM clínico debe evaluarse no solo por la respuesta final, sino también por la calidad de la adquisición de evidencia, el mantenimiento de las trayectorias diagnósticas y el proceso de toma de decisiones respecto a la suficiencia de la evidencia.

Los autores señalan modestamente que, si bien EviDx mejora la estabilidad del proceso y el desempeño de MC, no puede compensar totalmente las limitaciones en el conocimiento médico paramétrico de los modelos fundacionales más pequeños. El marco se presenta estrictamente como una herramienta de investigación para estudiar el diagnóstico activo consciente de la evidencia, no como un sistema clínico listo para su despliegue, enfatizando la necesidad de la supervisión humana para la seguridad.