Automated Fracture Image Captioning Using Multimodal Vision-Language Models: A Comprehensive Comparative Study on a Clinically Curated Dataset

Résumé technique : Légendage automatisé d'images de fractures à l'aide de modèles de vision-langage multimodaux

Énoncé du problème
Bien que l'apprentissage profond ait atteint des performances de niveau expert dans la détection et la classification des fractures, la génération automatisée de rapports radiologiques en langage naturel (légendage d'images) pour les radiographies musculo-squelettiques reste sous-explorée. La littérature existante se concentre principalement sur les radiographies thoraciques (par exemple, MIMIC-CXR), laissant une lacune importante dans le légendage spécifique aux fractures. Les radiographies de fractures présentent des défis uniques, notamment des caractéristiques visuelles subtiles distinguant les types, les localisations et les sévérités de fractures, ainsi qu'un registre linguistique spécialisé qui diffère de l'imagerie pulmonaire. De plus, la rédaction manuelle des rapports est chronophage et sujette à l'erreur, particulièrement dans les contextes à ressources limitées. Il existe un manque d'études comparatives systématiques évaluant diverses architectures vision-langage sur des ensembles de données spécifiques aux fractures, et les conditions dans lesquelles certains modèles ne parviennent pas à converger dans des scénarios médicaux à faibles données ne sont pas bien caractérisées.

Méthodologie
L'étude présente un benchmark complet de neuf architectures encodeur-décodeur entraînées sur un nouvel ensemble de données cliniquement organisé provenant de l'Ibn Sina Medical College, Dhaka, Bangladesh. L'ensemble de données comprend 710 images de fractures par rayons X appariées à des légendes annotées par des experts, générées par des radiologues orthopédistes certifiés.

• Traitement des données : L'ensemble de données a été divisé en ensembles d'entraînement (75 %), de validation (10 %) et de test (15 %) en utilisant une division stratifiée aléatoire. Pour atténuer le surapprentissage sur le jeu de données limité, un pipeline d'augmentation stochastique "on-the-fly" a été appliqué pendant l'entraînement, incluant le retournement horizontal, la rotation, l'ajustement de la luminosité/du contraste, le bruit gaussien, la dérive de couleur (color jitter) et le dropout grossier.
• Architectures de modèles : L'étude a évalué dix combinaisons de modèles (regroupées en neuf configurations distinctes) couvrant trois paradigmes :
  1. Systèmes encodeur-décodeur modulaires : Six encodeurs visuels (ViT-Base, Swin-Tiny, DeiT-Base, BEiT-Base, ConvNeXt-Tiny, CLIP-ViT) couplés à des décodeurs GPT-2 de capacités variables (Small, Medium, Large).
  2. Modèles de pré-entraînement vision-langage (VLP) de bout en bout : BLIP-Base et GIT-Base.
  3. Ligne de base pré-entraînée : Un checkpoint ViT-GPT2 pré-entraîné sur le légendage d'images général.
• Protocole d'entraînement : Tous les modèles ont été entraînés sous un protocole unifié utilisant l'optimisation AdamW, un calendrier de taux d'apprentissage par recuit cosinus avec warm-up linéaire, un entraînement en précision mixte (FP16) et l'écrêtage de gradient (gradient clipping). L'évaluation a été réalisée à l'aide de métriques de génération de langage naturel standard : BLEU-1 à BLEU-4, METEOR, ROUGE-L et un score de consensus de type CIDEr.

Contributions clés

1. Curation de l'ensemble de données : Introduction du premier ensemble de données de légendage de radiographies de fractures annoté par des experts provenant d'une institution médicale tertiaire sud-asiatique, composé de 710 paires image-légende.
2. Benchmarking systématique : Première évaluation comparative complète de neuf architectures encodeur-décodeur pour le légendage de fractures, menée sous des conditions expérimentales identiques pour assurer une comparaison équitable entre les architectures.
3. Analyse des modes de défaillance : Caractérisation systématique de trois modes de défaillance distincts observés dans les architectures vision-langage appliquées à de petits ensembles de données médicales :
   • Effondrement de la solution triviale : Observé dans les modèles basés sur CLIP, où les objectifs de pré-entraînement contrastif ont conduit à des distributions de tokens dégénérées.
   • Divergence d'optimisation : Observée lors du couplage d'encodeurs compacts avec des décodeurs excessivement larges (par exemple, ViT-Base + GPT2-Large), entraînant une instabilité de l'entraînement.
   • Désalignement de l'objectif de pré-entraînement : Observé dans des modèles comme BEiT et GIT, où les objectifs de modélisation d'image masquée ou les objectifs auto-régressifs unifiés étaient moins transférables à la génération de légendes cliniques denses que les architectures à attention croisée.
4. Aperçus sur l'efficacité et la performance : Preuve empirique démontrant que le pré-entraînement vision-langage avec des objectifs unifiés (BLIP) surpasse substantiellement les systèmes encodeur-décodeur couplés indépendamment, tout en identifiant Swin-Tiny comme la solution la plus efficace en termes de paramètres.

Résultats

• Performance de pointe : BLIP-Base a obtenu la meilleure performance sur toutes les métriques (BLEU-4 = 0,3529, METEOR = 0,5297, ROUGE-L = 0,4640, CIDEr-like = 0,5051). Son succès est attribué à sa stratégie de pré-entraînement unifiée qui optimise conjointement l'alignement contrastif image-texte, l'appariement et la modélisation du langage.
• Meilleure configuration modulaire : DeiT-Base + GPT2-Medium s'est imposé comme le meilleur modèle assemblé de manière personnalisée (BLEU-4 = 0,3058), démontant l'efficacité des transformeurs distillés par connaissance dans le domaine médical.
• Meilleure efficacité : Swin-Tiny + GPT2-Small a offert l'efficacité la plus élevée de BLEU-4 par paramètre (1,493 × 10⁻³) et le temps d'entraînement le plus court, ce qui en fait le choix privilégié pour un déploiement dans des environnements à ressources limitées.
• Modèles dégénérés : Plusieurs configurations n'ont pas réussi à converger de manière significative. CLIP-ViT + GPT2-Small s'est effondré vers une solution triviale (BLEU-4 = 0,0030). ViT-Base + GPT2-Large a souffert d'une grave divergence d'optimisation (perte de validation = 7,3868). GIT-Base et BEiT-Base ont également sous-performé de manière significative, suggérant que leurs objectifs de pré-entraînement sont moins alignés avec les demandes spécifiques du légendage de fractures sur de petits ensembles de données.
• Calibration de la longueur des légendes : Les modèles performants généraient des légendes dont les longueurs correspondaient étroitement à la moyenne de la vérité terrain (25,9 mots), tandis que les modèles dégénérés présentaient une sur-génération systématique, produisant des légendes 20 à 87 % plus longues que la référence.

Signification et revendications
L'article affirme que ce travail constitue la première étude comparative rigoureuse et contrôlée des modèles vision-langage spécifiquement pour le légendage de radiographies de fractures. La principale signification réside dans la démonstration que l'alignement de l'objectif de pré-entraînement est plus critique que le nombre brut de paramètres ; un modèle de 247 millions de paramètres (BLIP-Base) a largement surpassé une configuration de 1 098 millions de paramètres (ViT-Base + GPT2-Large).

L'étude offre des conseils pratiques pour la communauté de l'IA médicale :

• Sélection d'architecture : Pour des exigences de haute précision, les modèles VLP unifiés comme BLIP sont supérieurs. Pour les environnements à ressources limitées, Swin-Tiny + GPT2-Small offre un équilibre optimal entre performance et efficacité.
• Stabilité de l'entraînement : Les résultats mettent en garde contre le couplage de petits encodeurs avec des décodeurs très larges sur des données médicales limitées, car cela conduit à une divergence d'optimisation.
• Utilité diagnostique : La calibration de la longueur des légendes est proposée comme un critère de diagnostic rapide et sans paramètres pour identifier les modèles ne convergeant pas avant le calcul complet des métriques.

Les auteurs reconnaissent les limites, notant que l'ensemble de données est relativement petit et provient d'une seule institution, ce qui peut limiter la généralisation. Ils concluent que, bien que les métriques actuelles fournissent des benchmarks standardisés, les travaux futurs devront intégrer l'évaluation par des experts cliniques et explorer des ensembles de données plus larges et plus diversifiés pour valider pleinement l'utilité clinique de ces systèmes automatisés.