Resumen Técnico: ReportQA: Evaluación de Informes Radiológicos Basada en QA

Declaración del Problema

El avance de la generación automatizada de informes radiológicos (RRG) se ve actualmente limitado por la falta de marcos de evaluación fiables. Los métodos existentes de Evaluación de Informes Radiológicos (RRE) sufren dos limitaciones primarias:

1. Métricas de Generación de Lenguaje Natural (NLG): Métricas como BLEU y ROUGE dependen de la superposición léxica superficial, lo que no logra capturar la corrección clínica. Un informe puede ser léxicamente similar a uno de referencia pero clínicamente inexacto respecto a entidades y atributos clave.
2. Métricas de Eficacia Clínica (CE): Aunque métricas como CheXbert y RadGraph evalúan la presencia de entidades clínicas específicas, están limitadas a un modelado de existencia de grano grueso. A menudo no logran capturar atributos de grano fino (p. ej., localización, forma, tamaño, certeza) y dependen fuertemente de modelos supervisados entrenados con anotaciones manuales extensas, lo que las dificulta para extenderse a nuevas entidades o atributos.

Además, los sistemas RRG actuales suelen tener dificultades para aprender representaciones clínicas de grano fino y exhiben un fuerte sesgo de prioridad negativo, un fenómeno que no es detectado adecuadamente por las métricas actuales a nivel de informe.

Metodología

Los autores proponen ReportQA, un marco de evaluación flexible relacionado con la clínica que trata los informes radiológicos como contexto para el Cuestionamiento y Respuesta (QA). El marco opera a través de un pipeline de cuatro etapas:

1. Preparación del Conjunto de Datos

El marco agrega diversos conjuntos de datos de informes radiológicos que cubren múltiples modalidades de imagen (Rayos X, TC, RM, Ultrasonido) y regiones anatómicas (Cerebro, Tórax, Abdomen, Rodilla). Las fuentes incluyen MIMIC-CXR, CTRG-Brain, CT-RATE y AMOS-MM.

2. Extracción de Informes Estructurados

Para alinearse con los escenarios clínicos del mundo real, los informes de texto libre se transforman en formatos estructurados utilizando árboles de conocimiento definidos por radiólogos.

• Árboles de Conocimiento: Los radiólogos construyen árboles para entidades clínicas (hallazgos y diagnósticos) y un conjunto exhaustivo de 15 atributos clínicos (presencia, localización, distribución, número, dimensión, densidad, forma, margen, realce, características internas, efectos secundarios, severidad, cronicidad, puntuación clínica y certeza).
• Proceso de Extracción: Modelos de Lenguaje de Gran Tamaño (LLMs) extraen información estructurada de los informes brutos mediante un proceso de dos etapas: extracción preliminar seguida de un refinamiento utilizando los árboles de conocimiento para asegurar la alineación con los nodos predefinidos y eliminar entidades inválidas.

3. Generación de QA

Los informes estructurados se convierten en pares de QA utilizando plantillas predefinidas. La generación incluye tres categorías:

• Base (Nivel de hoja): Preguntas dirigidas a combinaciones específicas de (entidad, atributo).
• Jerárquica (Nivel de ancestro): Preguntas dirigidas a conceptos de grano más grueso para dar cuenta de la corrección parcial (p. ej., "atrofia cerebral" frente a "atrofia cerebral difusa").
• Negativa: Preguntas sobre entidades ausentes en el informe de referencia para probar falsos positivos.
• Control de Calidad: Un proceso de filtrado de dos etapas utilizando LLMs elimina los pares de QA que pueden responderse sin contexto o que tienen una precisión baja cuando el informe de referencia se proporciona como contexto. Esto resulta en aproximadamente 660,000 pares de QA de alta calidad.

4. Evaluación Basada en QA y QAScore

Durante la evaluación, un informe generado sirve como contexto para que un modelo de juicio LLM responda a los pares de QA filtrados. El rendimiento se cuantifica mediante QAScore, una métrica agregada definida como la media armónica de dos componentes:

• $Score_{pos}$: Mide la consistencia positiva (precisión en preguntas base y jerárquicas). Si se omite la presencia de una entidad, todas las preguntas de atributos asociadas a esa entidad se marcan como incorrectas.
• $Score_{neg}$: Mide la evitación de entidades espurias, calculado como $exp(-\lambda \cdot FPR_{neg})$, donde $FPR_{neg}$ es la tasa de falsos positivos para preguntas negativas.

Contribuciones Clave

1. Marco ReportQA: Un novedoso marco de RRE basado en QA que soporta un análisis cuantitativo detallado de los sistemas RRG al simular cómo los clínicos interactúan con los informes (usándolos como contexto para consultas diagnósticas).
2. Métrica QAScore: Una nueva métrica que demuestra una mayor alineación con los juicios de los radiólogos en comparación con las métricas existentes de NLG y CE.
3. Descubrimiento de Modos de Fallo: El marco revela que los paradigmas actuales de inferencia basados en informes luchan con los atributos clínicos de grano fino y exhiben un fuerte sesgo de prioridad negativo (tendencia a clasificar entidades como ausentes incluso sin evidencia de la imagen).
4. Liberación de Recursos: Los autores liberan los árboles de conocimiento, los informes estructurados, los pares de QA y el código del pipeline para asegurar la reproducibilidad y extensibilidad.

Resultados Experimentales

Los autores realizaron experimentos exhaustivos en modelos de Lenguaje-Visión (VLMs) de última generación, incluyendo APIs propietarias (GPT-5.4, Gemini, Claude) y modelos de código abierto (Qwen, InternVL, Hulu-Med, CT-CHAT).

• Alineación con Radiólogos: En el conjunto de datos RadEvalX, QAScore logró la mayor correlación con los errores anotados por humanos (Pearson = 0.4507, Spearman = 0.4612), superando métricas como GREEN, RaTEScore, CheXbert y BLEU.
• Rendimiento de los Modelos: Los VLMs propietarios generalmente superaron a los modelos de código abierto. El rendimiento fue mayor en radiografías de tórax 2D (MIMIC-CXR) que en conjuntos de datos de TC 3D, resaltando el desafío de la comprensión de imágenes médicas 3D.
• Dificultad de los Atributos: Los modelos funcionaron bien en juicios de "presencia", pero tuvieron dificultades significativas con atributos de grano fino como margen, cronicidad y realce.
• Paradigmas de Inferencia:
  • Basado en Informe vs. Dirigido por Pregunta: El ajuste fino supervisado (SFT) basado en informes mostró mejoras limitadas en la percepción de entidades de grano fino en comparación con la inferencia dirigida por preguntas no entrenada.
  • Análisis de Sesgo: La inferencia basada en informes exhibió fuertes sesgos de prioridad negativa (clasificando la mayoría de las entidades como ausentes sin entrada de imagen). En contraste, la inferencia dirigida por preguntas mostró un sesgo positivo más leve.
  • Anclaje Visual: Incluso sin entrada de imagen, los VLMs lograron puntuaciones no triviales basadas en prioridades textuales, lo que sugiere una dependencia de patrones estadísticos en lugar de evidencia visual. Sin embargo, la inferencia dirigida por preguntas con imágenes superó consistentemente a la inferencia sin imagen.

Significado y Reivindicaciones

El artículo afirma que ReportQA proporciona una medida más fiel de la utilidad de los informes al alinear la evaluación con el uso clínico de los informes radiológicos como medios de transferencia de información. Los autores postulan que la inferencia dirigida por preguntas representa una alternativa más prometedora a la inferencia tradicional basada en informes para los sistemas RRG, ya que sus sesgos pueden mitigarse mediante muestras de entrenamiento tanto positivas como negativas. El marco destaca que los modelos actuales aún no han dominado la alineación de la evidencia visual con la generación de texto estructurado, particularmente para atributos clínicos de grano fino, identificando esto como una dirección crítica para la investigación futura.