INFORM-CT: INtegrating LLMs and VLMs FOR Incidental Findings Management in Abdominal CT

1. Planteamiento del Problema

Los hallazgos incidentales en las tomografías computarizadas (TC) abdominales son comunes y, aunque a menudo benignos, pueden tener implicaciones clínicas significativas que requieren ser reportadas siguiendo directrices establecidas (como las del Colegio Americano de Radiología, ACR).

• Desafío actual: La inspección manual por radiólogos es lenta, propensa a la variabilidad inter-observador y difícil de escalar debido al gran volumen de hallazgos, especialmente en pacientes mayores.
• Limitaciones de métodos existentes:
  • Los métodos tradicionales de detección de anomalías (autoencoders, GANs) suelen aprender distribuciones de "normalidad" y fallan al detectar hallazgos específicos o múltiples en diferentes órganos.
  • Los enfoques de modelos de visión-idioma (VLM) como CLIP o MERLIN mejoran la clasificación zero-shot, pero carecen de la capacidad para realizar tareas diagnósticas complejas que requieren lógica secuencial, mediciones precisas (tamaño, densidad) y adherencia estricta a protocolos clínicos.

2. Metodología: INFORM-CT

El artículo propone un marco de trabajo novedoso basado en una arquitectura de agente "Planificar y Ejecutar" (Plan-and-Execute) que integra Modelos de Lenguaje Grande (LLM) y Modelos Visuales-Lingüísticos (VLM). El objetivo es automatizar la detección, clasificación y reporte de hallazgos incidentales en TC abdominales.

El pipeline se divide en tres etapas principales:

A. Análisis de Directrices (Parsing)

• Las directrices médicas (originalmente en PDF) se procesan utilizando un LLM (GPT-4o) y el framework LangChain.
• Se extraen figuras, tablas y texto para convertir las directrices en árboles de decisión estructurados en formato JSON. Estos árboles contienen nodos de verificación, detección, mediciones y recomendaciones finales.

B. Marco Planificador-Ejecutor

El núcleo del sistema es un agente que genera y ejecuta código Python dinámicamente:

1. Planificador (Planner): Un agente LLM (Claude 3.5) actúa como planificador. Utiliza el árbol de decisión JSON y una lista de funciones base predefinidas para generar un script de Python. El agente opera en un modo interactivo (ReAct), generando un borrador, ejecutándolo, recibiendo retroalimentación y refinando el código iterativamente hasta que cumple criterios de corrección sintáctica y semántica.
2. Ejecutor (Executor): Ejecuta el script de Python generado. Este script orquesta una serie de funciones base especializadas:
   • Segmentación de órganos y masas: Basado en modelos como TotalSegmentator y nnUNet.
   • Mediciones de imagen: Cálculo de diámetros (mm/cm), grosor de bordes (distancia de Hausdorff) e intensidad de nivel de gris (Unidades Hounsfield - HU).
   • Etiquetado (Labeler): Uso del modelo VLM MERLIN (estado del arte para TC abdominal 3D) para clasificar atributos de alto nivel (ej. "benigno", "sospechoso", "relleno rápido") en regiones segmentadas.

C. Generación de Código Clínico

A diferencia de sistemas VQA anteriores que generan programas cortos, INFORM-CT genera programas complejos que combinan lógica condicional (if/else, or, not) con primitivas de procesamiento de imágenes de bajo nivel para simular el razonamiento clínico de un radiólogo.

3. Contribuciones Clave

1. Primera tubería integral para hallazgos incidentales abdominales: Se propone el primer pipeline automatizado que cubre múltiples órganos (hígado, páncreas, riñón) basándose en directrices clínicas reales, utilizando un enfoque de agente LLM-VLM.
2. Síntesis de programas basada en directrices: Un método que traduce automáticamente documentos PDF de directrices médicas en programas Python ejecutables y robustos, capaces de realizar detecciones y evaluaciones clínicas.
3. Nuevo Benchmark y Metodología de Evaluación: Creación de un conjunto de datos de referencia basado en informes de TC abdominales reales, donde las "recomendaciones correctas" se extraen y validan mediante la trazabilidad en los árboles de decisión de las directrices.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos interno con miles de TC abdominales, seleccionando 168 casos de hígado, 188 de páncreas y 98 de riñón, cubriendo diversas fases de contraste.

• Comparativa: INFORM-CT se comparó contra una predicción aleatoria y contra el modelo VLM puro MERLIN.
• Rendimiento (Precisión y F1): INFORM-CT superó significativamente a los enfoques basados puramente en VLM.
  • Hígado: INFORM-CT alcanzó una precisión del 63.09% (vs. 12.5% de MERLIN).
  • Riñón: Precisión del 60.0% (vs. 48.8% de MERLIN).
  • Páncreas: Precisión del 41.48% (vs. 11.17% de MERLIN).
• Explicabilidad: El modelo no solo predice la recomendación, sino que genera la "trayectoria" del árbol de decisión (la explicación). INFORM-CT logró una precisión del 54.76% en la coincidencia de la explicación con el informe del radiólogo, frente a solo 4.76% de MERLIN.
• Estudio de Ablación: Se demostró que la componente de segmentación (nnUNet) es crítica. Al reemplazar la segmentación por VLM, la precisión cayó drásticamente (de 63.09% a 20.45% en hígado), confirmando que la combinación de segmentación precisa, procesamiento de imágenes y VLM es superior a la suma de sus partes.

5. Significado e Impacto

INFORM-CT representa un avance significativo hacia la radiología asistida por agentes inteligentes.

• Adherencia a Protocolos: Garantiza que las recomendaciones sigan estrictamente las directrices clínicas actuales, reduciendo la variabilidad humana.
• Interpretabilidad: Al generar código y seguir árboles de decisión explícitos, el sistema ofrece una "caja blanca" donde cada paso (medición, comparación, decisión) es trazable, a diferencia de las "cajas negras" de los modelos de deep learning tradicionales.
• Escalabilidad: El enfoque permite adaptar el sistema a nuevas directrices o protocolos hospitalarios simplemente actualizando el PDF de entrada, sin necesidad de reentrenar modelos complejos desde cero.

En conclusión, el trabajo demuestra que integrar la capacidad de razonamiento lógico de los LLMs con la percepción visual de los VLMs y la precisión de los modelos de segmentación médica ofrece una solución viable y superior para la gestión automatizada de hallazgos incidentales en imágenes médicas.