Resumen Técnico: Automatización de la Búsqueda de Evidencia Multimodal para el Razonamiento Clínico Agente

1. Declaración del Problema

Los sistemas actuales de apoyo a la decisión clínica basados en Modelos de Lenguaje Grande (LLM) y marcos de agentes dependen en gran medida de un paradigma de "evidencia curada". En las pruebas de referencia y flujos de trabajo existentes, los datos relevantes del paciente (por ejemplo, tablas específicas de la Historia Clínica Electrónica, informes de radiología seleccionados o viñetas resumidas) se pre-seleccionan y se entregan al modelo antes de la inferencia. Esto se desvía de la práctica clínica real, donde los clínicos deben buscar activamente, planificar y sintetizar evidencia de fuentes heterogéneas, incluidas Historias Clínicas Electrónicas (EHR) crudas, imágenes médicas y conocimiento médico externo.

El desafío central no es simplemente razonar sobre la evidencia dada, sino determinar dónde recuperar la evidencia, qué recuperar y cómo integrar estas señales dispares en una decisión fundamentada. Los sistemas de agentes EHR existentes a menudo carecen del alcance para manejar datos multimodales (texto + imágenes) o dependen de patrones de uso de herramientas fijos que no se adaptan a las necesidades específicas de una consulta clínica.

2. Metodología: ClinSeekAgent

Los autores presentan ClinSeekAgent, un marco de agente automatizado diseñado para cambiar el razonamiento clínico del consumo pasivo de evidencia a la adquisición activa de evidencia.

2.1 Arquitectura del Marco

ClinSeekAgent opera como un pipeline dinámico donde el agente interactúa con un espacio de herramientas unificado para recopilar evidencia de forma iterativa. Dada una consulta clínica ($q$), un identificador de paciente ($p$) y un sello de tiempo de referencia ($t$), el agente:

1. Accede a Fuentes Heterogéneas: Consulta bases de datos de EHR crudas, repositorios de imágenes médicas y bases de conocimiento externas.
2. Planificación Iterativa: El agente observa la tarea y el historial de interacciones anteriores ($h_{k-1}$) para decidir la siguiente acción ($a_k$), que puede ser una invocación de herramienta o una predicción final.
3. Síntesis: Integra la evidencia recuperada para refinar hipótesis y generar una decisión clínica fundamentada.

2.2 Espacio de Herramientas

El marco expone 20 herramientas en tres dominios complementarios:

• Recuperación de EHR (11 herramientas): Incluye inspección de esquemas, recuperación temporal, consultas basadas en SQL (ehr.run_sql_query) y anclaje de términos candidatos. Estas permiten que el agente trate la EHR como una base de datos programable en lugar de un bloque de texto estático.
• Búsqueda Web (3 herramientas): Herramientas de navegador para adquirir conocimiento médico externo (por ejemplo, indicaciones de fármacos, taxonomías).
• Imágenes Médicas (6 herramientas): Herramientas para preprocesamiento DICOM, clasificación de radiografías de tórax (CXR), generación de informes, anclaje de frases y segmentación anatómica.

2.3 Pruebas de Referencia de Evaluación

Para validar el marco, los autores construyeron ClinSeek-Bench, que empareja las pruebas de referencia existentes en dos configuraciones para la misma tarea:

• Entrada Curada: El modelo recibe evidencia pre-seleccionada y relevante para la tarea (imitando trabajos anteriores).
• Búsqueda de Evidencia Automatizada: El modelo recibe solo el ID del paciente y el acceso al espacio de herramientas de ClinSeekAgent, requiriendo que recupere la evidencia necesaria de forma autónoma.

La prueba de referencia cubre:

• Tareas de EHR solo texto: Derivadas de EHR-Bench (45 subtasas sobre toma de decisiones y predicción de riesgo).
• Tareas multimodales: Adaptadas de EHRXQA y MedMod (6 grupos de tareas que involucran la integración de CXR y EHR).

2.4 Pipeline de Entrenamiento

Más allá de la evaluación en tiempo de inferencia, los autores utilizan ClinSeekAgent como un pipeline de entrenamiento. Utilizan un modelo maestro potente (Claude Opus 4.6) para generar trayectorias de búsqueda de evidencia de alta calidad (llamadas a herramientas y observaciones). Estas trayectorias se utilizan para ajustar finamente un modelo de código abierto (Qwen3.5-35B-A3B) mediante Ajuste Fino Supervisado (SFT), dando como resultado ClinSeek-35B-A3B.

3. Resultados Clave

3.1 Rendimiento en Tiempo de Inferencia

Cuando se empareja con modelos agentes capaces, ClinSeekAgent supera significativamente a la línea base de Entrada Curada, particularmente en tareas que requieren evidencia dispersa o longitudinal.

• EHR solo texto: Claude Opus 4.6 mejoró de 60.0 a 63.2 en F1 general. MiniMax M2.5 mejoró de 43.1 a 47.3.
• Predicción de Riesgo: Las ganancias fueron más pronunciadas en la predicción de riesgo (7 de 9 modelos mostraron ganancias positivas). Por ejemplo, Claude Opus 4.6 vio una ganancia de +9.7 puntos en tareas de predicción de riesgo.
• Tareas Multimodales: El marco mostró mejoras sustanciales en todos los modelos evaluados. Claude Opus 4.6 mejoró de 47.5 a 62.6 (+15.1 puntos). Los seis modelos evaluados mejoraron en tareas relacionadas con CXR, con ganancias atribuidas a la capacidad del agente para combinar evidencia visual (clasificadores/informes de CXR) con datos estructurados de EHR y conocimiento externo.

3.2 Rendimiento en Tiempo de Entrenamiento

El modelo destilado, ClinSeek-35B-A3B, logró un rendimiento de vanguardia entre los modelos de código abierto en AgentEHR-Bench.

• Mejoró el modelo base Qwen3.5-35B-A3B de 22.1 a 34.0 en F1 promedio (+11.9 puntos).
• Superó a otras líneas base de código abierto (por ejemplo, Kimi K2.5, MiniMax-M2.5) y se acercó al rendimiento del modelo maestro, Claude Opus 4.6 (34.0 vs. 36.0).
• El análisis del uso de herramientas reveló que el modelo destilado aprendió una política de recuperación más diversa y flexible, aumentando específicamente el uso de consultas SQL (ehr.run_sql_query) del 2.0% al 12.5% de las llamadas a herramientas, tratando la EHR como una base de datos en lugar de depender de plantillas fijas.

3.3 Limitaciones Observadas

El artículo señala que el marco es menos efectivo en tareas de toma de decisiones en comparación con la predicción de riesgo. En algunas subtasas de toma de decisiones, el agente tuvo dificultades para identificar señales críticas entre el ruido recuperado, a veces desempeñándose peor que la línea base de Entrada Curada. Esto sugiere que, si bien la recuperación activa sobresale en encontrar evidencia dispersa para el riesgo, puede recuperar ocasionalmente información irrelevante excesiva para escenarios complejos de toma de decisiones.

4. Significado y Afirmaciones

El artículo afirma que ClinSeekAgent representa un cambio de paradigma desde el consumo pasivo de evidencia hacia la adquisición activa de evidencia. Su significado radica en tres áreas:

1. Realismo: Alinea la evaluación de la IA con flujos de trabajo clínicos reales donde la evidencia no está preempaquetada, sino que debe buscarse activamente en fuentes crudas y heterogéneas.
2. Integración Multimodal: Demuestra que los sistemas agentes pueden cerrar eficazmente la brecha entre datos estructurados de EHR, imágenes médicas no estructuradas y conocimiento externo, recuperando señales clínicas que los contextos fijos pasan por alto.
3. Escalabilidad: Valida que las trayectorias de agentes de alta calidad pueden destilarse en modelos compactos de código abierto, permitiendo que modelos más pequeños realicen búsquedas complejas de evidencia clínica de largo alcance sin requerir modelos propietarios de escala masiva en tiempo de inferencia.

Los autores concluyen que automatizar el proceso de búsqueda de evidencia es una dirección prometedora para construir agentes de IA clínica más flexibles, fundamentados y capaces, y se comprometen a publicar su modelo, datos y código para facilitar la investigación futura.