Automated Fracture Image Captioning Using Multimodal Vision-Language Models: A Comprehensive Comparative Study on a Clinically Curated Dataset

Resumen Técnico: Generación Automática de Descripciones de Imágenes de Fracturas Mediante Modelos Multimodales de Visión y Lenguaje

Planteamiento del Problema
Si bien el aprendizaje profundo ha alcanzado un rendimiento de nivel experto en la detección y clasificación de fracturas, la generación automatizada de informes radiológicos en lenguaje natural (descripción de imágenes o image captioning) para radiografías musculoesqueléticas sigue siendo un campo poco explorado. La literatura existente se centra predominantemente en radiografías de tórax (p. ej., MIMIC-CXR), lo que deja una brecha significativa en la descripción específica de fracturas. Las radiografías de fracturas presentan desafíos únicos, incluyendo características visuales sutiles que distinguen los tipos, ubicaciones y severidades de las fracturas, así como un registro lingüístico especializado que difiere de la imagen pulmonar. Además, la elaboración manual de informes consume mucho tiempo y es propensa a errores, particularmente en entornos con recursos limitados. Existe una falta de estudios comparativos sistemáticos que evalúen diversas arquitecturas de visión-lenguaje en conjuntos de datos específicos de fracturas, y las condiciones bajo las cuales ciertos modelos no logran converger en escenarios médicos de pocos datos no están bien caracterizadas.

Metodología
El estudio presenta un banco de pruebas (benchmark) exhaustivo de nueve arquitecturas de codificador-decodificador entrenadas en un nuevo conjunto de datos curado clínicamente del Colegio Médico Ibn Sina, Dhaka, Bangladesh. El conjunto de datos consta de 710 imágenes de rayos X de fracturas emparejadas con descripciones anotadas por expertos generadas por radiólogos ortopédicos certificados.

• Procesamiento de Datos: El conjunto de datos se dividió en conjuntos de entrenamiento (75%), validación (10%) y prueba (15%) mediante una división estratificada aleatoria. Para mitigar el sobreajuste en el limitado conjunto de datos, se aplicó un flujo de trabajo de aumentación estocástica on-the-fly durante el entrenamiento, que incluyó volteo horizontal, rotación, ajuste de brillo/contraste, ruido gaussiano, fluctuación de color (color jitter) y coarse dropout.
• Arquitecturas de Modelos: El estudio evaluó diez combinaciones de modelos (agrupadas en nueve configuraciones distintas) que abarcan tres paradigmas:
  1. Sistemas Modulares de Codificador-Decodificador: Seis codificadores visuales (ViT-Base, Swin-Tiny, DeiT-Base, BEiT-Base, ConvNeXt-Tiny, CLIP-ViT) emparejados con decodificadores GPT-2 de diversas capacidades (Small, Medium, Large).
  2. Modelos de Preentrenamiento de Visión-Lenguaje de Extremo a Extremo (VLP): BLIP-Base y GIT-Base.
  3. Línea Base Preentrenada: Un checkpoint de ViT-GPT2 preentrenado en descripción de imágenes generales.
• Protocolo de Entrenamiento: Todos los modelos fueron entrenados bajo un protocolo unificado utilizando optimización AdamW, un esquema de tasa de aprendizaje de recocido de coseno (cosine annealing) con calentamiento lineal, entrenamiento de precisión mixta (FP16) y recorte de gradiente (gradient clipping). La evaluación se realizó utilizando métricas estándar de generación de lenguaje natural: BLEU-1 a BLEU-4, METEOR, ROUGE-L y una puntuación de consenso tipo CIDEr.

Contribuciones Clave

1. Curación de Datos: Introducción del primer conjunto de datos de descripciones de radiografías de fracturas anotado por expertos de una institución médica terciaria del sur de Asia, consistente en 710 pares de imagen-descripción.
2. Evaluación Sistemática (Benchmarking): La primera evaluación comparativa exhaustiva de nueve arquitecturas de codificador-decodificador para la descripción de fracturas, realizada bajo condiciones experimentales idénticas para asegurar una comparación justa entre arquitecturas.
3. Análisis de Modos de Fallo: Una caracterización sistemática de tres modos de fallo distintos observados en arquitecturas de visión-lenguaje aplicadas a pequeños conjuntos de datos médicos:
   • Colapso de Solución Trivial: Observado en modelos basados en CLIP, donde los objetivos de preentrenamiento contrastivo llevaron a distribuciones de tokens degeneradas.
   • Divergencia de Optimización: Observada al acoplar codificadores compactos con decodificadores excesivamente grandes (p. ej., ViT-Base + GPT2-Large), lo que provocó inestabilidad en el entrenamiento.
   • Desalineación del Objetivo de Preentrenamiento: Observada en modelos como BEiT y GIT, donde el modelado de imagen enmascarada o los objetivos auto-regresivos unificados fueron menos transferibles a la generación de descripciones clínicas densas que las arquitecturas de atención cruzada.
4. Perspectivas de Eficiencia y Rendimiento: Evidencia empírica que demuestra que el preentrenamiento de visión-lenguaje con objetivos unificados (BLIP) supera sustancialmente a los sistemas de codificador-decodificador acoplados independientemente, identificando además a Swin-Tiny como la solución más eficiente en términos de parámetros.

Resultados

• Alto Rendimiento: BLIP-Base alcanzó el mayor rendimiento en todas las métricas (BLEU-4 = 0.3529, METEOR = 0.5297, ROUGE-L = 0.4640, CIDEr-like = 0.5051). Su éxito se atribuye a su estrategia de preentrenamiento unificado que optimiza conjuntamente la alineación de contraste imagen-texto, el emparejamiento y el modelado de lenguaje.
• Mejor Configuración Modular: DeiT-Base + GPT2-Medium emergió como el mejor modelo ensamblado a medida (BLEU-4 = 0.3058), demostrando la eficacia de los transformadores con destilación de conocimiento en el dominio médico.
• Mejor Eficiencia: Swin-Tiny + GPT2-Small ofreció la mayor eficiencia de BLEU-4 por parámetro (1.493 × 10⁻³) y el menor tiempo de entrenamiento, lo que lo convierte en la opción preferida para despliegues en entornos con recursos limitados.
• Modelos Degenerados: Varias configuraciones no lograron converger de manera significativa. CLIP-ViT + GPT2-Small colapsó hacia una solución trivial (BLEU-4 = 0.0030). ViT-Base + GPT2-Large sufrió una severa divergencia de optimización (pérdida de validación = 7.3868). GIT-Base y BEiT-Base también tuvieron un rendimiento significativamente inferior, sugiriendo que sus objetivos de preentrenamiento están menos alineados con las demandas específicas de la descripción de fracturas en conjuntos de datos pequeños.
• Calibración de la Longitud de la Descripción: Los modelos con buen desempeño generaron descripciones con longitudes que coinciden estrechamente con la media de la verdad de referencia (ground truth) (25.9 palabras), mientras que los modelos degenerados exhibieron una sobregeneración sistemática, produciendo descripciones entre un 20% y un 87% más largas que la referencia.

Significancia y Reivindicaciones
El artículo sostiene que este trabajo proporciona el primer estudio comparativo riguroso y controlado de modelos de visión-lenguaje específicamente para la descripción de radiografías de fracturas. La principal significancia radica en demostrar que la alineación del objetivo de preentrenamiento es más crítica que el recuento bruto de parámetros; un modelo de 247 millones de parámetros (BLIP-Base) superó sustancialmente a una configuración de 1,098 millones de parámetros (ViT-Base + GPT2-Large).

El estudio ofrece orientación práctica para la comunidad de IA médica:

• Selección de Arquitectura: Para requisitos de alta precisión, los modelos de VLP unificados como BLIP son superiores. Para entornos con recursos limitados, Swin-Tiny + GPT2-Small proporciona un equilibrio óptimo entre rendimiento y eficiencia.
• Estabilidad del Entrenamiento: Los hallazgos advierten contra el acoplamiento de codificadores pequeños con decodificadores muy grandes en datos médicos limitados, ya que esto conduce a la divergencia de la optimización.
• Utilidad Diagnóstica: La calibración de la longitud de la descripción se propone como un criterio diagnóstico rápido y libre de parámetros para identificar modelos que no han convergido antes de la computación completa de métricas.

Los autores reconocen las limitaciones, señalando que el conjunto de datos es relativamente pequeño y proviene de una sola institución, lo que puede limitar la generalización. Concluyen que, si bien las métricas actuales proporcionan puntos de referencia estandarizados, el trabajo futuro debe incorporar la evaluación de expertos clínicos y explorar conjuntos de datos más grandes y diversos para validar plenamente la utilidad clínica de estos sistemas automatizados.