Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

Résumé Technique : Évaluation des modèles de vision-langage médicaux sur des images de plaies réelles

Énoncé du problème
L'évaluation des plaies chroniques est une tâche cliniquement exigeante qui nécessite l'interprétation précise de la morphologie de la plaie, de la composition tissulaire, des caractéristiques vasculaires et du risque d'infection. Bien que l'intelligence artificielle (IA) ait été explorée pour l'interprétation d'images médicales, les approches traditionnelles reposant sur les réseaux de neurones convolutifs (CNN) se sont largement limitées à des tâches étroites telles que la segmentation et la classification des tissus, manquant des capacités de raisonnement plus larges nécessaires à une gestion clinique complexe. Bien que des modèles de vision-langage (VLM) récents soient apparus pour combler le fossé entre l'interprétation visuelle et le raisonnement clinique, il reste à déterminer si les modèles médicalement spécialisés (ajustés pour la santé) surpassent systématiquement les systèmes multimodaux généralistes dans le domaine spécifique des soins des plaies. De plus, les références existantes reposent souvent sur des ensembles de données organisés plutôt que sur des images cliniques réelles et inédites avec des questions de gestion structurées.

Méthodologie
Cette étude a évalué les performances de six VLM — quatre modèles open-source/médicalement spécialisés et deux systèmes généralistes propriétaires — en utilisant un ensemble de données organisé de 20 images de plaies réelles et inédites. L'ensemble de données, approuvé par un comité d'examen institutionnel (IRB) et anonymisé, comprenait diverses étiologies, notamment les ulcères diabétiques/neuropathiques, l'insuffisance ischémique/artérielle, les ulcères veineux, les plaies chirurgicales, les plaies liées à l'amputation et les plaies associées au lymphœdème.

Le cadre d'évaluation consistait en une matrice clinique structurée de douze questions conçue pour évaluer à la fois l'interprétation visuelle directe et le raisonnement clinique de haut niveau. Les questions couvraient :

1. La classification de l'étiologie.
2. L'évaluation vasculaire et les indications d'intervention.
3. L'analyse morphologique (tissu fibrineux, couverture de granulation).
4. Le triage pathologique (risque d'infection).
5. La planification diagnostique et procédurale (besoins d'imagerie, cadre de débridement).
6. Le raisonnement pronostique et la gestion avancée (sélection de pansements, thérapie de compression, thérapie par pression négative, substituts cutanés).

Une norme de référence clinique a été établie par un panel d'experts en soins de plaies qui ont annoté chaque cas de manière indépendante avec des critères textuels spécifiques. Les modèles ont été testés dans des conditions de "zero-shot". Les réponses ont été évaluées selon un cadre binaire strict : un score de 1 était attribué uniquement si la sortie du modèle correspondait aux critères médicaux absolus définis par les experts. Les réponses présentant de l'hésitation, une ambiguïté structurelle ou un langage non engagé étaient notées 0, pénalisant les modèles qui ne fournissaient pas de décisions claires et exploitables.

Résultats clés
À travers 240 décisions évaluées par des cliniciens (20 cas × 12 questions), une hiérarchie claire de performance est apparue :

• Systèmes généralistes propriétaires : ChatGPT a obtenu la précision globale la plus élevée avec 174/240 réponses correctes, suivi de Claude avec 149/240.
• Modèles open-source/médicalement spécialisés : HuluMed a mené ce groupe avec 96/240 (40,00 %), suivi de Gemma 3 (81/240, 33,75 %), MedGemma 4B (62/240, 25,83 %) et MedGemma 27B (42/240, 17,50 %).

Analyse de performance :

• Visuel vs Raisonnement : Tous les modèles ont performé relativement mieux sur les tâches impliquant la reconnaissance visuelle directe (ex. : identification de la nécrose, du tissu de granulation ou des signes d'infection visibles) par rapport aux tâches nécessitant la synthèse des découvertes visuelles en plans de gestion (ex. : sélection de modalités d'imagerie, détermination de l'urgence du débridement ou recommandation de thérapies spécifiques).
• Spécialisation vs Généralisation : Contrairement à l'hypothèse selon laquelle l'ajustement médical spécialisé produirait de meilleurs résultats, les modèles généralistes de pointe ont nettement surpassé les alternatives médicalement spécialisées. Notamment, aucune variante de MedGemma n'a surpassé la base non médicale de Gemma 3.
• Modes de défaillance : Les modèles médicalement spécialisés, particulièrement MedGemma, ont fréquemment fait preuve d'une incertitude excessive, d'une verbosité linguistique et d'une confusion étiologique (ex. : mauvaise classification des causes artérielles versus veineuses). Ils ont également généré des recommandations de gestion inappropriées, comme suggérer un débridement avant la restauration de la perfusion dans les plaies ischémiques. Le score inférieur de Claude par rapport à ChatGPT a été en partie attribué à sa tendance à utiliser un langage protecteur et conditionnel, qui a été pénalisé par le schéma de notation binaire strict.

Signification et affirmations
Les auteurs affirment que cette étude fournit une référence reflétant le support à la décision en soins de plaies en conditions réelles, en utilisant des images réelles et inédites ainsi qu'un cadre cliniquement structuré qui s'étend au-delà du diagnostic pour inclure la planification de la gestion. La conclusion principale est que les systèmes multimodaux généralistes de pointe actuels démontrent une performance d'analyse des plaies substantiellement plus forte que les alternatives open-source médicalement spécialisées. Cela suggère que les capacités de raisonnement multimodal étendues, dérivées de l'échelle massive du pré-entraînement, l'emportent actuellement sur les bénéfices d'un ajustement spécifique au domaine étroit pour la gestion complexe des plaies.

L'article conclut que bien que les VLM soient prometteurs en tant qu'outils d'assistance pour la documentation et le triage clinique, des limites substantielles subsistent en matière de raisonnement avancé, de planification procédurale et de fiabilité autonome. Par conséquent, les auteurs affirment que ces systèmes doivent actuellement fonctionner comme des aides au support de décision interactives sous la supervision directe d'un clinicien plutôt que comme des plateformes de diagnostic autonomes. L'étude souligne la nécessité d'améliorer le raisonnement multimodal et les méthodologies d'évaluation plus rigoureuses avant tout déploiement clinique.