Automated Fracture Image Captioning Using Multimodal Vision-Language Models: A Comprehensive Comparative Study on a Clinically Curated Dataset

Resumo Técnico: Legendagem Automatizada de Imagens de Fraturas Usando Modelos Multimodais de Visão-Linguagem

Definição do Problema
Embora o aprendizado profundo tenha alcançado um desempenho de nível especialista na detecção e classificação de fraturas, a geração automatizada de relatórios radiológicos em linguagem natural (legendagem de imagens) para radiografias musculoesqueléticas permanece subexplorada. A literatura existente foca predominantemente em radiografias de tórax (ex: MIMIC-CXR), deixando uma lacuna significativa na legendagem específica de fraturas. As radiografias de fratura apresentam desafios únicos, incluindo características visuais sutis que distinguem tipos, localizações e severidades de fraturas, bem como um registro linguístico especializado que difere da imagem pulmonar. Além disso, a elaboração manual de relatórios é demorada e propensa a erros, particularmente em ambientes com recursos limitados. Há uma falta de estudos comparativos sistemáticos que avaliem diversas arquiteturas de visão-linguagem em conjuntos de dados específicos de fraturas, e as condições sob as quais certos modelos falham em convergir em cenários médicos de baixos dados não estão bem caracterizadas.

Metodologia
O estudo apresenta um benchmark abrangente de nove arquiteturas encoder-decoder treinadas em um novo conjunto de dados clinicamente curado do Ibn Sina Medical College, Dhaka, Bangladesh. O conjunto de dados compreende 710 imagens de raio-X de fratura pareadas com legendas anotadas por especialistas geradas por radiologistas ortopédicos certificados.

• Processamento de Dados: O conjunto de dados foi dividido em conjuntos de treinamento (75%), validação (10%) e teste (15%) usando divisão estratificada aleatória. Para mitigar o overfitting no conjunto de dados limitado, um pipeline de aumento estocástico on-the-fly foi aplicado durante o treinamento, incluindo inversão horizontal, rotação, ajuste de brilho/contraste, ruído gaussiano, jitter de cor e coarse dropout.
• Arquiteturas de Modelos: O estudo avaliou dez combinações de modelos (agrupadas em nove configurações distintas) abrangendo três paradigmas:
  1. Sistemas Modulares Encoder-Decoder: Seis encoders visuais (ViT-Base, Swin-Tiny, DeiT-Base, BEiT-Base, ConvNeXt-Tiny, CLIP-ViT) pareados com decoders GPT-2 de diferentes capacidades (Small, Medium, Large).
  2. Modelos de Pré-treinamento de Visão-Linguagem End-to-End (VLP): BLIP-Base e GIT-Base.
  3. Baseline Pré-treinado: Um checkpoint ViT-GPT2 pré-treinado em legendagem de imagens gerais.
• Protocolo de Treinamento: Todos os modelos foram treinados sob um protocolo unificado usando otimização AdamW, um cronograma de taxa de aprendizado de cosine annealing com linear warm-up, treinamento de precisão mista (FP16) e gradient clipping. A avaliação foi conduzida usando métricas padrão de geração de linguagem natural: BLEU-1 a BLEU-4, METEOR, ROUGE-L e um escore de consenso tipo CIDEr.

Principais Contribuições

1. Curadoria de Dados: Introdução do primeiro conjunto de dados de legendagem de radiografia de fratura anotado por especialistas de uma instituição médica terciária do Sul da Ásia, consistindo em 710 pares imagem-legenda.
2. Benchmarking Sistemático: A primeira avaliação comparativa abrangente de nove arquiteturas encoder-decoder para legendagem de fraturas, conduzida sob condições experimentais idênticas para garantir uma comparação justa entre arquiteturas.
3. Análise de Modos de Falha: Uma caracterização sistemática de três modos de falha distintos observados em arquiteturas de visão-linguagem aplicadas a pequenos conjuntos de dados médicos:
   • Colapso de Solução Trivial: Observado em modelos baseados em CLIP, onde objetivos de pré-treinamento contrastivo levaram a distribuições de tokens degeneradas.
   • Divergência de Otimização: Observada ao acoplar encoders compactos com decoders excessivamente grandes (ex: ViT-Base + GPT2-Large), levando à instabilidade do treinamento.
   • Desalinhamento do Objetivo de Pré-treinamento: Observado em modelos como BEiT e GIT, onde objetivos de modelagem de imagem mascarada ou objetivos auto-regressivos unificados foram menos transferíveis para a geração de legendas clínicas densas do que arquiteturas de atenção cruzada (cross-attention).
4. Insights de Eficiência e Desempenho: Evidência empírica demonstrando que o pré-treinamento de visão-linguagem com objetivos unificados (BLIP) supera substancialmente os sistemas encoder-decoder independentemente acoplados, identificando o Swin-Tiny como a solução mais eficiente em termos de parâmetros.

Resultados

• Desempenho Superior: O BLIP-Base alcançou o maior desempenho em todas as métricas (BLEU-4 = 0.3529, METEOR = 0.5297, ROUGE-L = 0.4640, CIDEr-like = 0.5051). Seu sucesso é atribuído à sua estratégia de pré-treinamento unificada que otimiza conjuntamente o alinhamento contrastivo imagem-texto, correspondência (matching) e modelagem de linguagem.
• Melhor Configuração Modular: DeiT-Base + GPT2-Medium emergiu como o melhor modelo montado customizadamente (BLEU-4 = 0.3058), demonstrando a eficácia de transformers com destilação de conhecimento no domínio médico.
• Melhor Eficiência: Swin-Tiny + GPT2-Small ofereceu a maior eficiência de BLEU-4 por parâmetro (1.493 × 10⁻³) e o menor tempo de treinamento, tornando-se a escolha preferencial para implantação em ambientes com recursos limitados.
• Modelos Degenerados: Diversas configurações não convergiram de forma significativa. CLIP-ViT + GPT2-Small colapsou para uma solução trivial (BLEU-4 = 0.0030). ViT-Base + GPT2-Large sofreu severa divergência de otimização (perda de validação = 7.3868). GIT-Base e BEiT-Base também tiveram desempenho significativamente inferior, sugerindo que seus objetivos de pré-treinamento estão menos alinhados com as demandas específicas de legendagem de fraturas em pequenos conjuntos de dados.
• Calibragem de Comprimento de Legenda: Modelos de bom desempenho geraram legendas com comprimentos que se aproximam da média da verdade fundamental (ground truth) (25.9 palavras), enquanto modelos degenerados exibiram sobre-geração sistemática, produzindo legendas de 20 a 87% mais longas que a referência.

Significância e Alegações
O artigo afirma que este trabalho fornece o primeiro estudo comparativo rigoroso e controlado de modelos de visão-linguagem especificamente para a legendagem de radiografias de fratura. A principal significância reside em demonstrar que o alinhamento do objetivo de pré-treinamento é mais crítico do que a contagem bruta de parâmetros; um modelo de 247M de parâmetros (BLIP-Base) superou substancialmente uma configuração de 1.098M de parâmetros (ViT-Base + GPT2-Large).

O estudo oferece orientações práticas para a comunidade de IA médica:

• Seleção de Arquitetura: Para requisitos de alta precisão, modelos de VLP unificados como o BLIP são superiores. Para ambientes com recursos limitados, o Swin-Tiny + GPT2-Small oferece um equilíbrio ideal entre desempenho e eficiência.
• Estabilidade de Treinamento: As descobertas alertam contra o acoplamento de encoders pequenos com decoders muito grandes em dados médicos limitados, pois isso leva à divergência de otimização.
• Utilidade Diagnóstica: A calibragem do comprimento da legenda é proposta como um critério diagnóstico rápido e livre de parâmetros para identificar modelos que não convergem antes da computação total das métricas.

Os autores reconhecem limitações, observando que o conjunto de dados é relativamente pequeno e originário de uma única instituição, o que pode limitar a generalização. Eles concluem que, embora as métricas atuais forneçam benchmarks padronizados, trabalhos futuros devem incorporar avaliação de especialistas clínicos e explorar conjuntos de dados maiores e mais diversos para validar totalmente a utilidade clínica desses sistemas automatizados.