Generalised Medical Phrase Grounding

Resumen Técnico: Localización de Frases Médicas Generalizada

Definición del Problema y Motivación
La Localización de Frases Médicas (MPG, por sus siglas en inglés) tiene como objetivo mapear descripciones textuales de hallazgos radiológicos a regiones espaciales correspondientes en imágenes médicas. Aunque los sistemas de MPG existentes se adhieren mayoritariamente al paradigma de Comprensión de Expresiones de Referencia (REC), operan bajo una restrictiva suposición de "una frase a una caja". Esta formulación no se alinea con la realidad clínica, donde los informes radiológicos contienen frecuentemente:

1. Hallazgos de múltiples regiones: Frases que describen patologías que abarcan múltiples áreas anatómicas (p. ej., "opacidades bilaterales en los lóbulos inferiores").
2. Frases no localizables: Negaciones (p. ej., "Sin neumotórax"), descripciones de anatomía normal o texto no diagnóstico (p. ej., "Se proporcionan proyecciones PA").
3. Incertidumbre: La falta de puntuaciones de confianza explícitas en los modelos REC impide que el sistema se abstenga cuando la evidencia de la imagen es insuficiente.

Los métodos actuales basados en REC suelen filtrar estos casos complejos durante el entrenamiento y la evaluación, lo que limita su utilidad clínica. Además, la escasez de conjuntos de datos de anotación de cajas delimitadoras (bounding boxes) costosos y realizados por expertos dificulta el entrenamiento de modelos robustos capaces de manejar estos matices.

Metodología: MedGrounder y GMPG-ImaGenome
Los autores proponen la Localización de Frases Médicas Generalizada (GMPG), reformulando la tarea como un problema de predicción de conjuntos que admite cero, uno o múltiples regiones puntuadas por frase, junto con puntuaciones de confianza. Para lograr esto, introducen MedGrounder, un modelo basado en la arquitectura MDETR (Transformer de Detección), y un novedoso currículo de entrenamiento de dos etapas de "débil a experto".

1. Supervisión Débil mediante GMPG-ImaGenome:

   • Los autores aprovechan Chest ImaGenome, un conjunto de datos a gran escala que contiene grafos de escena que vinculan oraciones de informes con regiones anatómicas. Sin embargo, los datos brutos de Chest ImaGenome son ruidosos para GMPG, ya que contienen alineaciones redundantes de regiones padre-hijo y vinculan oraciones no localizables (negaciones/hallazgos normales) con cajas.
   • Desarrollaron un proceso de limpieza asistido por LLM (utilizando LLaMA-3-70B) para transformar estos datos. El proceso elimina regiones anatómicas redundantes y filtra cajas espurias para oraciones no localizables.
   • El GMPG-ImaGenome resultante reduce el recuento de cajas en aproximadamente un 80%, proporcionando una supervisión débil más limpia donde las oraciones no localizables se mapean correctamente a cero cajas.

2. Currículo de Entrenamiento de Dos Etapas:

   • Etapa 1 (Preentrenamiento): MedGrounder se preentrena en el GMPG-ImaGenome limpio. Esta etapa enseña al modelo a alinear las oraciones del informe con las regiones anatómicas y, crucialmente, a abstenerse (predecir cero cajas) para las frases no localizables.
   • Etapa 2 (Ajuste Fino): El modelo preentrenado se ajusta mediante técnicas de fine-tuning en conjuntos de datos más pequeños y anotados por expertos (PadChest-GR y MS-CXR). Estos conjuntos de datos contienen cajas delimitadoras precisas para hallazgos específicos en lugar de regiones anatómicas generales.

3. Arquitectura y Pérdida:

   • MedGrounder utiliza un backbone ResNet-101 para imágenes y BioClinical ModernBERT para el texto.
   • Emplea un decodificador Transformer con consultas de objetos aprendibles para predecir un conjunto de cajas delimitadoras y puntuaciones de confianza.
   • El objetivo de entrenamiento utiliza el emparejamiento húngaro para asignar las predicciones a las cajas de verdad fundamental (ground-truth). Para frases no localizables ($K=0$), todas las consultas son supervisadas para predecir una baja confianza. Para casos de múltiples regiones, múltiples consultas se asignan a las cajas de verdad fundamental.

Contribuciones Clave

• Formulación de la Tarea: El artículo define la GMPG como una tarea de predicción de conjuntos clínicamente alineada, yendo más allá de la restricción de una sola caja de la REC para admitir un número variable de regiones localizadas y la abstención basada en la confianza.
• Creación de Conjunto de Datos: El lanzamiento de GMPG-ImaGenome, un recurso de preentrenamiento débilmente anotado derivado de Chest ImaGenome mediante un proceso de limpieza asistido por LLM, abordando la escasez de datos de localización a gran escala.
• Rendimiento del Modelo: La introducción de MedGrounder, que logra un rendimiento de estado del arte (SOTA) general en PadChest-GR y resultados competitivos en MS-CXR, con mejoras significativas específicamente en frases de múltiples regiones.
• Generación de Informes Localizados Modular (GRG): Demostración de que MedGrounder puede componerse post-hoc con generadores de informes existentes (p. ej., MAIRA-2, CXRMate-RRG24) para producir informes localizados sin necesidad de reentrenar el generador o requerir tríos costosos de imagen-informe-caja.

Resultos

• Transferencia Zero-Shot: MedGrounder demuestra un sólido rendimiento zero-shot tanto en PadChest-GR como en MS-CXR, superando a los modelos de base que dependen únicamente de preentrenamiento de dominio general o ajuste fino directo.
• Localización de Múltiples Regiones: El modelo logra las mayores ganancias de rendimiento en frases de múltiples regiones en comparación con los modelos de base de REC (p. ej., MedRPG, AGPT), que tienen dificultades con frases que requieren múltiples cajas.
• Localizabilidad: MedGrounder logra una alta Precisión Negativa (N-Acc), absteniéndose correctamente de generar cajas para hallazgos negados o normales, una capacidad que está mayormente ausente en los modelos REC estándar.
• Estudios de Ablación:
  • Se demuestra que el entrenamiento de dos etapas (Débil-a-Experto) es necesario; el ajuste fino directo en conjuntos de datos de expertos pequeños produce un rendimiento cercano a cero.
  • La limpieza asistida por LLM de Chest ImaGenome es crítica; el preentrenamiento en la versión no limpia falla en aprender la localizabilidad (0.0 N-Acc).
  • El uso de un codificador de texto de dominio médico (BioClinical ModernBERT) supera significativamente a los codificadores generales (RoBERTa).
• Eficiencia de GRG: Al integrarse en un flujo de trabajo para la generación de informes localizados, MedGrounder logra una calidad de localización competitiva (F1 de Localización > 95% en subconjuntos) ofreciendo una aceleración de 5.5× y una reducción de 19× en parámetros en comparación con modelos de extremo a extremo como MAIRA-2.

Significancia y Limitaciones
El artículo afirma que MedGrounder proporciona una vía práctica y eficiente en términos de datos para la localización de frases clínicamente relevantes. Al desacoplar la localización de la generación de informes, permite un despliegue modular donde las capacidades de localización pueden añadirse a cualquier generador de texto sin necesidad de reentrenamiento.

Los autores reconocen limitaciones:

• El rendimiento sigue siendo menor en hallazgos pulmonares con baja alineación anatómica (p. ej., nódulos) en comparación con hallazgos con restricciones anatómicas (p. ej., cardiomegalia).
• El rendimiento de caja única es comparable, pero no supera significativamente, a los métodos de MPG existentes.
• Los conjuntos de datos de evaluación consisten en fragmentos de texto cortos y enfocados, mientras que los informes del mundo real son más largos y complejos; actualmente no existe un conjunto de datos de oraciones de informes de longitud completa con cajas delimitadoras.

El trabajo sugiere direcciones futuras tales como la incorporación de conjuntos de datos de detección de objetos para mejorar la localización de hallazgos de baja alineación y el uso de MedGrounder como una herramienta de anotación para generar supervisión débil para conjuntos de datos más grandes no anotados.