Resumen Técnico: ABRA – Benchmark de Agentes para Aplicaciones de Radiología

Declaración del Problema

Los benchmarks existentes para agentes médicos suelen entregar datos de imagen como muestras estáticas preseleccionadas (por ejemplo, una única imagen o un registro de paciente concatenado). Este enfoque no logra capturar la realidad de los flujos de trabajo radiológicos, donde el agente debe navegar por un entorno complejo e interactivo para localizar, inspeccionar y anotar hallazgos específicos. Los benchmarks actuales de agentes médicos a menudo tratan la imagen como una entrada fija en lugar de un entorno consultable, desacoplando así la orquestación de herramientas de la percepción visual. Además, los benchmarks anteriores específicos de radiología, como RadABench, utilizan simuladores simbólicos donde las entradas de imagen se reemplazan por tokens de marcador de posición para establecer un límite superior de las capacidades de planificación, excluyendo explícitamente la percepción visual del alcance de la evaluación.

Existe una necesidad crítica de un benchmark que sitúe a un agente dentro de una estación de trabajo radiológica en vivo, requiriendo que realice navegación basada en herramientas, ajuste de ventanas y anotación sobre datos DICOM reales, mientras mide simultáneamente su capacidad para orquestar estas herramientas y percibir información visual.

Metodología

El Entorno ABRA

ABRA construye una pila ejecutable de estación de trabajo radiológica compuesta por:

1. Visor OHIF: Un visor de radiología de código abierto (v3.9.0) extendido con una interfaz personalizada para exponer el estado interno.
2. PACS Orthanc: Un servidor DICOM que actúa como Sistema de Archivo y Comunicación de Imágenes, alojando los datos de imagen.
3. Puente de Controlador: Un controlador de navegador sin cabeza (Puppeteer) y un sidecar de preprocesamiento en Python que gestionan la interacción entre el agente y el visor.

El entorno se expone a los agentes mediante una interfaz de llamada a funciones uniforme compuesta por 21 herramientas. Estas herramientas se dividen en:

• Categorías de Observación: Consultas de metadatos (etiquetas DICOM), capturas de pantalla del visor, recuperación de píxeles DICOM (a través de seis pipelines de preprocesamiento distintos para diferentes modalidades) y predicciones de oráculo (modelos CAD externos simulados).
• Clases de Acción: Navegación/visualización (desplazamiento de cortes, ajuste de ventana/nivel, zoom, cambio de series), segmentación (colocación de círculos, cajas delimitadoras y polígonos en coordenadas de píxeles) y generación de informes (informes BI-RADS estructurados, hallazgos longitudinales o respuestas de texto libre).

Generación de Tareas y Estructura del Benchmark

El benchmark contiene 655 tareas generadas programáticamente derivadas de tres conjuntos de datos públicos de TCIA:

• LIDC-IDRI: TC torácico con nódulos de consenso de múltiples radiólogos.
• Duke Breast Cancer MRI: RM mamaria multi-secuencia con etiquetas BI-RADS.
• NLST New-Lesion LongCT: Pares de TC de línea base y seguimiento con anotaciones de nuevas lesiones.

Las tareas se estratifican en tres niveles de dificultad (Fácil, Medio, Difícil) y ocho tipos de tarea:

• Fácil: Control del visor, preguntas y respuestas sobre metadatos y sondas de visión (reconocimiento de modalidad).
• Medio: Anotación (percibir patología y contornear) y Anotación de Oráculo (actuar sobre hallazgos de detectores simulados).
• Difícil: Comparación longitudinal (detectar nuevas lesiones a lo largo del tiempo) y generación de informes BI-RADS (informes estructurados sobre estudios completos de RM).

Una característica clave de diseño es la variante emparejada de oráculo/real para tareas intensivas en percepción. En la variante "Oráculo", se le proporciona al agente hallazgos estructurados de un detector simulado y solo debe orquestar herramientas para reportarlos. En la variante "Real", el agente debe acceder a herramientas a nivel de píxel para percibir los hallazgos por sí mismo. Este diseño aísla la percepción visual de la orquestación de herramientas.

Marco de Evaluación

Adoptando el marco propuesto por Bluethgen et al. [2025], ABRA puntúa los episodios a lo largo de tres dimensiones utilizando calificadores automáticos:

1. Planificación (20% de peso): Compara la trayectoria de llamadas a herramientas del agente contra una trayectoria de referencia programática (coincidencia de multiconjunto no ordenada) para evaluar la eficiencia del flujo de trabajo.
2. Ejecución (30% de peso): Evalúa el éxito de las llamadas a herramientas, la calidad de los parámetros, la eficiencia de turnos y la recuperación de errores.
3. Resultado (50% de peso): Mide el éxito de la tarea basándose en el entregable final (por ejemplo, Intersección sobre Unión para segmentación, coincidencia exacta para metadatos o acuerdo de campos para informes BI-RADS).

La puntuación compuesta se calcula como $S = 0.20P + 0.30E + 0.50O$.

Resultados Clave

Los autores evaluaron diez modelos actuales (cinco de pesos cerrados y cinco de pesos abiertos) en ABRA:

• Orquestación de Herramientas vs. Percepción: Los modelos demostraron alta competencia en la orquestación de herramientas. Las puntuaciones de ejecución estuvieron consistentemente cerca del techo (aproximadamente 0.90–1.00) en todos los niveles y modelos, lo que indica que los agentes pueden navegar con éxito por el visor, consultar metadatos e invocar acciones de envío.
• El Cuello de Botella de la Percepción: Se observó una brecha significativa de rendimiento entre las variantes Oráculo y Real.
  • En las tareas de Anotación de Oráculo e Informes BI-RADS de Oráculo (donde se omite la percepción), los modelos alcanzaron puntuaciones de Resultado que oscilaron entre 0.69 y 1.00.
  • En las tareas de Anotación Real (que requieren percepción visual de píxeles DICOM), las puntuaciones de Resultado colapsaron a 0.00–0.25 en todo el conjunto de modelos.
  • De manera similar, en tareas de nivel Difícil, la detección longitudinal de nuevas lesiones (que requiere localización visual) resultó en puntuaciones cercanas a cero, mientras que la generación de informes BI-RADS (que permite algunas conjeturas basadas en conocimientos previos) alcanzó puntuaciones moderadas (0.06–0.64).
• Rendimiento del Modelo: Ningún modelo individual logró un alto rendimiento en las variantes Reales. Aunque algunos modelos (por ejemplo, Gemini 3 Flash) mostraron un rendimiento ligeramente superior en tareas específicas de detección de nódulos, la tendencia general indica que los modelos de vanguardia actuales son "competentes en herramientas pero limitados en percepción" al operar sobre datos DICOM reales.

Significado y Afirmaciones

El artículo posiciona a ABRA no como un veredicto sobre la preparación clínica de los agentes de IA actuales, sino como un sustrato de medición para la brecha específica entre la orquestación de herramientas y la percepción visual en radiología.

• Primer Benchmark de Visor en Vivo: Se afirma que ABRA es el primer benchmark de agentes médicos que sitúa al agente dentro de un visor clínico en vivo (OHIF) en lugar de un conjunto de datos estático o un simulador simbólico.
• Aislamiento del Cuello de Botella: Al comparar las variantes Oráculo y Real, los autores demuestran que la restricción principal en los agentes actuales es la percepción visual, no la capacidad de planificar o ejecutar llamadas a herramientas.
• Implicaciones Operativas: Los resultados sugieren que el punto de operación a corto plazo para asistentes clínicos implica un modelo de percepción especializado que proporcione hallazgos, mientras que un Modelo de Lenguaje Grande (LLM) orquesta el flujo de trabajo en torno a esos hallazgos.
• Limitaciones: Los autores reconocen que las trayectorias de referencia son programáticas y no validadas por radiólogos, el alcance del conjunto de datos se limita a tres cohortes de TCIA (excluyendo mamografía, ultrasonido, etc.) y las tareas son proxies manejables en lugar de reproducciones completas de flujos de trabajo clínicos complejos que involucran integración de historias clínicas electrónicas (EHR) o colaboración entre múltiples agentes.

En resumen, ABRA proporciona un entorno riguroso e interactivo para evaluar agentes de radiología, revelando que, aunque los agentes pueden gestionar eficazmente la interfaz de la estación de trabajo radiológica, actualmente carecen de la percepción visual robusta necesaria para interpretar datos de imagen médica cruda de forma autónoma.