Automated Fracture Image Captioning Using Multimodal Vision-Language Models: A Comprehensive Comparative Study on a Clinically Curated Dataset

Sintesi Tecnica: Didascalia Automatica di Immagini di Fratture mediante Modelli Multimodali Vision-Language

Problematica
Sebbene il deep learning abbia raggiunto prestazioni di livello esperto nella rilevazione e classificazione delle fratture, la generazione automatica di referti radiologici in linguaggio naturale (image captioning) per le radiografie muscoloscheletriche rimane ampiamente inesplorata. La letteratura esistente si concentra prevalentemente sulle radiografie del torace (ad es., MIMIC-CXR), lasciando un significativo vuoto nella generazione di didascalie specifiche per le fratture. Le radiografie delle fratture presentano sfide uniche, tra cui caratteristiche visive sottili che distinguono i tipi, le localizzazioni e le gravità delle fratture, nonché un registro linguistico specializzato che differisce dall'imaging polmonare. Inoltre, la redazione manuale dei referti è dispendiosa in termini di tempo ed è soggetta a errori, particolarmente in contesti con scarse risorse. Manca uno studio comparativo sistematico che valuti diverse architetture vision-language su dataset specifici per le fratture, e le condizioni in cui determinati modelli non riescono a convergere in scenari medici con pochi dati non sono ben caratterizzate.

Metodologia
Lo studio presenta un benchmark completo di nove architetture encoder-decoder addestrate su un nuovo dataset curato clinicamente presso l'Ibn Sina Medical College, Dhaka, Bangladesh. Il dataset comprende 710 immagini di radiografie di fratture accoppiate a didascalie annotate da esperti e generate da radiologi ortopedici certificati.

• Elaborazione dei Dati: Il dataset è stato suddiviso in set di addestramento (75%), validazione (10%) e test (15%) utilizzando una suddivisione stratificata. Per mitigare l'overfitting su un dataset limitato, durante l'addestramento è stata applicata una pipeline di aumento stocastico "on-the-fly", che include flipping orizzontale, rotazione, regolazione di luminosità/contrasto, rumore gaussiano, color jitter e coarse dropout.
• Architetture dei Modelli: Lo studio ha valutato dieci combinazioni di modelli (raggruppate in nove distinte configurazioni) che spaziano su tre paradigmi:
  1. Sistemi Modulari Encoder-Decoder: Sei encoder visuali (ViT-Base, Swin-Tiny, DeiT-Base, BEiT-Base, ConvNeXt-Tiny, CLIP-ViT) accoppiati a decoder GPT-2 di diverse capacità (Small, Medium, Large).
  2. Modelli di Pre-training Vision-Language End-to-End (VLP): BLIP-Base e GIT-Base.
  3. Baseline Pre-addestrata: Un checkpoint ViT-GPT2 pre-addestrato sulla generazione di didascalie generiche.
• Protocollo di Addestramento: Tutti i modelli sono stati addestrati sotto un protocolo unificato utilizzando l'ottimizzazione AdamW, uno schema di learning rate con cosine annealing con warm-up lineare, addestramento a precisione mista (FP16) e gradient clipping. La valutazione è stata condotta utilizzando metriche standard di generazione di linguaggio naturale: BLEU-1 attraverso BLEU-4, METEOR, ROUGE-L e un punteggio di consenso simile a CIDEr.

Contributi Chiave

1. Curatela del Dataset: Introduzione del primo dataset di didascalie per radiografie di fratture annotato da esperti proveniente da un'istituzione medica terziaria dell'Asia meridionale, composto da 710 coppie immagine-didascalia.
2. Benchmarking Sistematico: La prima valutazione comparativa completa di nove architetture encoder-decoder per la didascalia delle fratture, condotta sotto identiche condizioni sperimentali per garantire un confronto equo tra le architetture.
3. Analisi delle Modalità di Fallimento: Caratterizzazione sistematica di tre distinte modalità di fallimento osservate nelle architetture vision-language applicate a piccoli dataset medici:
   • Collasso della Soluzione Trivial: Osservato nei modelli basati su CLIP, dove gli obiettivi di pre-training contrastivo hanno portato a distribuzioni di token degenerate.
   • Divergenza di Ottimizzazione: Osservata quando si accoppiano encoder compatti con decoder eccessivamente grandi (ad es., ViT-Base + GPT2-Large), portando a instabilità nell'addestramento.
   • Disallineamento dell'Obiettivo di Pre-training: Osservato in modelli come BEiT e GIT, dove il masked image modeling o gli obiettivi auto-regressivi unificati erano meno trasferibili alla generazione di didascalie cliniche dense rispetto alle architetture a cross-attention.
4. Intuizioni su Efficienza e Prestazioni: Evidenza empirica che dimostra come il pre-training vision-language con obiettivi unificati (BLIP) superi sostanzialmente i sistemi encoder-decoder accoppiati indipendentemente, identificando al contempo Swin-Tiny come la soluzione più efficiente in termini di parametri.

Risultati

• Prestazioni Superiori: BLIP-Base ha ottenuto le prestazioni più elevate in tutte le metriche (BLEU-4 = 0.3529, METEOR = 0.5297, ROUGE-L = 0.4640, CIDEr-like = 0.5051). Il suo successo è attribuito alla sua strategia di pre-training unificata che ottimizza congiuntamente l'allineamento contrastivo immagine-testo, il matching e il language modeling.
• Miglior Configurazione Modulare: DeiT-Base + GPT2-Medium è emerso come il miglior modello assemblato custom (BLEU-4 = 0.3058), dimostrando l'efficacia dei transformer con conoscenza distillata nel dominio medico.
• Migliore Efficienza: Swin-Tiny + GPT2-Small ha offerto la massima efficienza BLEU-4 per parametro (1.493 × 10⁻³) e il tempo di addestramento più breve, rendendolo la scelta preferita per l'implementazione in ambienti con scarse risorse.
• Modelli Degeneri: Diverse configurazioni non sono riuscite a convergere in modo significativo. CLIP-ViT + GPT2-Small è collassato verso una soluzione banale (BLEU-4 = 0.0030). ViT-Base + GPT2-Large ha subito una grave divergenza di ottimizzazione (loss di validazione = 7.3868). Anche GIT-Base e BEiT-Base hanno performato significativamente peggio, suggerendo che i loro obiettivi di pre-training siano meno allineati con le richieste specifiche della didascalia delle fratture su piccoli dataset.
• Calibrazione della Lunghezza della Didascalia: I modelli con buone prestazioni generavano didascalie con lunghezze vicine alla media del ground truth (25.9 parole), mentre i modelli degeneri esibivano una sovra-generazione sistematica, producendo didascalie del 20–87% più lunghe rispetto al riferimento.

Significato e Rivendicazioni
Il documento rivendica che questo lavoro fornisce il primo studio comparativo rigoroso e controllato di modelli vision-language specificamente per la didascalia di radiografie di fratture. Il significato primario risiede nel dimostrare che l'allineamento dell'obiettivo di pre-training è più critico del numero di parametri grezzi; un modello da 247 milioni di parametri (BLIP-Base) ha superato sostanzialmente una configurazione da 1.098 milioni di parametri (ViT-Base + GPT2-Large).

Lo studio offre indicazioni pratiche per la comunità dell'IA medica:

• Selezione dell'Architettura: Per requisiti di alta accuratezza, i modelli VLP unificati come BLIP sono superiori. Per ambienti con scarse risorse, Swin-Tiny + GPT2-Small fornisce un equilibrio ottimale tra prestazioni ed efficienza.
• Stabilità dell'Addestramento: I risultati mettono in guardia contro l'accoppiamento di encoder piccoli con decoder molto grandi su dati medici limitati, poiché ciò porta alla divergenza di ottimizzazione.
• Utilità Diagnostica: La calibrazione della lunghezza della didascalia è proposta come un criterio diagnostico rapido e privo di parametri per identificare i modelli che non convergono prima del calcolo completo delle metriche.

Gli autori riconoscono i limiti, notando che il dataset è relativamente piccolo e proviene da un'unica istituzione, il che potrebbe limitarne la generalizzazione. Concludono che, sebbene le metriche attuali forniscano benchmark standardizzati, il lavoro futuro deve incorporare la valutazione di esperti clinici ed esplorare dataset più ampi e diversificati per validare pienamente l'utilità clinica di questi sistemi automatizzati.