VERT: Reliable LLM Judges for Radiology Report Evaluation

1. Planteamiento del Problema

La literatura actual sobre la evaluación de informes radiológicos se ha centrado predominantemente en el ajuste fino (fine-tuning) de modelos pequeños y en el diseño de métricas basadas en Grandes Modelos de Lenguaje (LLM) para la detección de errores, pero con una limitación crítica: la mayoría de estos enfoques están optimizados exclusivamente para radiografías de tórax.

Esto genera dos problemas principales:

• Falta de generalización: Los modelos entrenados en un solo modo (rayos X de tórax) y anatomía fallan al aplicarse a otras modalidades (como MRI o CT) o regiones anatómicas debido a la variabilidad inherente en la imagen médica y las convenciones de reporte.
• Incertidumbre en la configuración óptima: No está claro qué modelos (código abierto vs. cerrado, razonadores vs. no razonadores) ni qué estrategias de prompting (instrucciones) funcionan mejor como "jueces" automáticos para evaluar la calidad de los informes radiológicos de manera robusta.

2. Metodología

Los autores proponen un análisis exhaustivo para identificar las mejores configuraciones de LLM como jueces y presentan una nueva métrica llamada VERT.

• Datasets Utilizados:

  • RadEval: 148 estudios de rayos X de tórax con anotaciones detalladas de errores por categoría (falsos positivos, omisiones, ubicación incorrecta, etc.).
  • RaTE-Eval: Un conjunto de datos más diverso con 1,856 pares de informes (referencia y candidato) que abarcan 9 modalidades de imagen y 22 anatomías, con puntuaciones de calidad experta de 0 a 5.

• Estrategias Evaluadas:

  • Comparación de Métricas Existentes: Se evaluaron RadFact, GREEN y FineRadScore.
  • Propuesta VERT: Una nueva métrica basada en LLM que instruye al modelo para generar directamente una puntuación de precisión global (0.0-1.0) en lugar de calcularla a partir de conteos de errores posteriores.
  • Configuraciones de Prompting: Se probaron enfoques zero-shot, few-shot (con ejemplos aleatorios y curados de tipos de errores), y estrategias de ensembles (promedio y regresión lineal).
  • Ajuste Fino (Fine-Tuning): Se aplicó LoRA (Low-Rank Adaptation) al modelo Qwen3-30B utilizando el conjunto de entrenamiento de RaTE-Eval.
  • Análisis de Errores: Se realizó un estudio sistemático de inyección de errores (falsos positivos y omisiones) para evaluar la capacidad de los modelos para detectar y categorizar errores clínicos específicos.

3. Contribuciones Clave

1. Introducción de VERT: Una nueva métrica basada en LLM que supera a los métodos anteriores en correlación con juicios expertos.
2. Estudio Comparativo Exhaustivo: Evaluación de múltiples modelos (GPT-4.1, Gemini, Claude, Qwen) y estrategias de prompting en datasets multi-modalidad, demostrando que la elección del modelo y la estrategia de instrucción es crucial.
3. Validación de Adaptación Ligera: Demostración de que el ajuste fino eficiente (LoRA) y el ensembling mejoran significativamente el rendimiento más allá del prompting solo.
4. Análisis de Fallos: Identificación de que, aunque las puntuaciones globales correlacionan bien, los modelos tienden a subestimar el número total de errores y tienen dificultades para categorizar errores específicos (como ubicación anatómica incorrecta o severidad).

4. Resultados Principales

• Correlación con Expertos:
  • VERT superó a la métrica GREEN en un 11.7% en correlación con los juicios de radiólogos.
  • El ajuste fino de Qwen3-30B con solo 1,300 muestras de entrenamiento logró una mejora de hasta un 25% en la correlación respecto a los modelos zero-shot.
  • El modelo ajustado redujo el tiempo de inferencia en 37.2 veces (36 segundos vs. 22.3 minutos para Claude Opus 4.6) manteniendo un alto rendimiento.
• Mejores Modelos: Los modelos Claude (Opus 4.6, Sonnet 4.6) y la familia GPT-4.1 mostraron el mejor rendimiento general. Curiosamente, los modelos con capacidades de "razonamiento" (thinking) no mejoraron consistentemente la correlación; en algunos casos, el razonamiento extenso degradó el rendimiento.
• Ensamblaje (Ensembling): La combinación de puntuaciones de múltiples modelos mediante regresión lineal alcanzó una correlación de Kendall's $\tau$ de 0.5683, superando a cualquier modelo individual.
• Detección de Errores:
  • Los modelos detectaron bien los errores de tipo "falsa predicción" (F1 ~0.90), pero tuvieron dificultades para detectar "omisiones de hallazgos" (F1 ~0.69) y errores de categorías c-f (ubicación, severidad, comparaciones).
  • Existe una tendencia a sobreestimar errores en informes con pocos errores y subestimarlos en informes con muchos errores.

5. Significado e Impacto

Este trabajo es fundamental porque desafía la noción de que los modelos pequeños o específicos de tórax son suficientes para la evaluación radiológica general. Demuestra que:

• Los LLM generales, cuando se configuran correctamente (como VERT) y se adaptan ligeramente (LoRA), pueden servir como jueces fiables y eficientes para una amplia gama de modalidades y anatomías.
• La eficiencia computacional es alcanzable: un modelo ajustado (Qwen3-30B) ofrece un rendimiento superior a modelos cerrados masivos con un coste de inferencia drásticamente menor.
• Se identifica una brecha crítica: aunque los LLM son buenos para dar una puntuación global, aún necesitan mejoras para la categorización granular de errores, lo que abre nuevas direcciones para la investigación en la detección automática de errores clínicos específicos.

En resumen, el artículo establece un nuevo estándar para la evaluación de informes radiológicos, proponiendo VERT como una solución robusta, escalable y adaptable que supera las limitaciones de los enfoques anteriores centrados únicamente en rayos X de tórax.