Generative Artificial Intelligence for Opportunistic Osteoporosis Screening Using Lumbar Spine Imaging: Diagnostic Performance, Reproducibility, Effects of Few-Shot Prompting, and Comparison with Physicians

Résumé Technique : L'IA générative pour le dépistage opportuniste de l'ostéoporose

Problématique
L'ostéoporose reste largement sous-diagnostiquée et sous-traitée malgré la disponibilité de thérapies efficaces et l'acquisition de routine de radiographies lombaires et de scanners (TDM) pour d'autres indications. Bien que la densitométrie osseuse (DXA) soit la référence pour le diagnostic, de nombreux patients ne bénéficient pas d'une évaluation de la densité minérale osseuse (DMO) lors de leurs soins de routine. Bien que les médecins forment des impressions intuitives de la qualité osseuse à partir d'images spinales, des études antérieures indiquent que la précision de ces évaluations visuelles n'est que modérée, même chez les chirurgiens orthopédistes expérimentés. Si les algorithmes d'apprentissage profond ont montré des promesses, ils nécessitent un développement spécifique à chaque tâche. En revanche, l'intelligence artificielle (IA) générative multimodale offre une alternative largement accessible, capable d'interpréter des images médicales sans entraînement de modèle dédié. Cependant, la performance diagnostique de ces modèles pour le dépistage opportuniste de l'ostéoporose, leur reproductibilité et l'impact du « few-shot prompting » (fournir des cas d'exemple pour guider les réponses) restent mal compris.

Méthodologie
Cette étude comparative basée sur l'image a évalué la performance diagnostique de l'IA générative multimodale par rapport aux médecins en utilisant un ensemble de données de 45 radiographies lombaires latérales et 45 reconstructions sagittales de scanner lombaire.

• Référence standard : L'ostéoporose et la faible masse osseuse ont été définies selon les seuils de T-score de la DXA de l'OMS de −2,5 et −1,0, respectivement.
• Participants :
  • Médecins : 42 chirurgiens orthopédistes certifiés et 50 médecins non spécialistes (données issues d'une étude précédente).
  • Modèles d'IA : Trois systèmes d'IA générative multimodale accessibles au public : ChatGPT (OpenAI, GPT-5, accès janvier 2026), Claude 4 Opus et Gemini 3.1 Pro.
• Protocole d'évaluation :
  • Zero-shot vs. Few-shot : Les modèles d'IA ont évalué les images en conditions « zero-shot » (instructions uniquement) et en conditions « few-shot » (fourniture de 20 cas de référence étiquetés incluant images, classifications et valeurs YAM).
  • Reproductibilité : Chaque modèle d'IA a évalué l'ensemble du jeu de données cinq fois dans des sessions de chat indépendantes. Les classifications finales ont été déterminées par vote majoritaire (≥3 réponses sur 5).
  • Combinaison Humain-IA : Une analyse post-hoc exploratoire a combiné les votes majoritaires des spécialistes et les votes majoritaires de Claude en utilisant les règles « OU » (positif si l'un des deux est positif) et « ET » (positif uniquement si les deux sont positifs) pour évaluer les erreurs diagnostiques complémentaires.
• Métriques : Les résultats primaires comprenaient l'exactitude diagnostique, la sensibilité, la spécificité et la reproductibilité intra-modèle (kappa de Cohen).

Résultats Clés

• Exactitude Diagnostique :
  • Au seuil de T-score de −1,0 pour les radiographies, Claude a obtenu l'exactitude la plus élevée (73,3 %), suivi de Gemini (64,4 %), des spécialistes (57,4 %), de ChatGPT (55,6 %) et des non-spécialistes (44,0 %). Les spécialistes ont significativement surpassé les non-spécialistes (P < 0,001).
  • Au seuil conventionnel de −2,5, aucune différence significative n'a été trouvée entre les spécialistes et les non-spécialistes pour les radiographies, bien que les spécialistes aient été significativement plus précis pour les images de scanner (P < 0,001).
  • Les modèles d'IA ont montré une exactitude globalement similaire à celle des spécialistes dans les comparaisons descriptives pour les scanners.
• Impact du Prompting :
  • Exactitude : Le prompting de type « few-shot » n'a pas amélioré de manière cohérente l'exactitude diagnostique pour les médecins ou les modèles d'IA. Les variations par modèle et par condition étaient diverses, allant d'une diminution de 24,4 points de pourcentage à une augmentation de 11,1 points de pourcentage.
  • Reproductibilité : Le prompting de type « few-shot » a amélioré la reproductibilité intra-modèle dans plusieurs modèles, notamment pour Claude (le κ est passé de 0,543 à 0,855 pour les radiographies). Cette dissociation entre l'amélioration de la cohérence et l'absence de changement de l'exactitude est une découverte clé.
• Complémentarité Humain-IA :
  • La règle « OU » (combinant le spécialiste et Claude) a augmenté la sensibilité pour les radiographies au seuil de −1,0 de 66,7 % à 80,0 % et pour le scanner de 83,3 % à 90,0 %, bien que la spécificité ait diminué.
  • L'analyse de secours des erreurs a confirmé des erreurs partiellement non chevauchantes : Claude a correctement classifié 40 à 50 % des faux négatifs des spécialistes, et les spécialistes ont corrigé une partie des erreurs de Claude.

Contributions Clés

1. Performance Comparative : L'étude fournit une preuve directe que certains modèles d'IA générative peuvent atteindre une performance diagnostique comparable, voire supérieure dans certaines conditions, à celle des médecins pour le dépistage opportuniste de l'ostéoporose via l'imagerie lombaire.
2. Effets du Prompting : Elle démontre que le prompting « few-shot » ne garantit pas une amélioration de l'exactitude diagnostique mais peut considérablement renforcer la reproductibilité intra-modèle (cohérence), un facteur critique pour l'intégration dans le flux de travail clinique.
3. Complémentarité : La recherche offre une preuve quantitative de la complémentarité diagnostique, montrant que les erreurs humaines et de l'IA sont partiellement non chevauchantes. Cela suggère que la combinaison des jugements pourrait réduire les cas manqués (faux négatifs) dans les scénarios de dépistage, bien qu'au prix d'une augmentation des faux positifs.
4. Variabilité des Modèles : Les conclusions soulignent une variabilité substantielle de la performance et de la reproductibilité entre les différents modèles d'IA générative, indiquant qu'ils ne sont pas des outils de diagnostic interchangeables.

Signification et Revendications
L'article conclut que l'IA générative doit être considérée comme un potentiel outil d'aide à la décision plutôt que comme un système autonome pour le dépistage opportuniste de l'ostéoporose. Les auteurs affirment que, bien que l'IA ne surpasse pas universellement les médecins, sa capacité à fournir des jugements diagnostiques complémentaires pourrait aider à identifier les patients nécessitant une évaluation formelle de la DMO, répondant ainsi au problème du sous-diagnostic.

L'étude souligne que la valeur clinique de l'IA générative réside dans son intégration dans les flux de travail cliniques aux côtés du jugement du médecin. Les auteurs mettent en garde contre le fait que les règles de combinaison simples impliquent un compromis entre sensibilité et spécificité, et que les effets de complémentarité apparents nécessitent une validation prospective dans des cohortes indépendantes. De plus, l'étude note que l'amélioration de la reproductibilité via le prompting « few-shot » n'équivaut pas nécessairement à une amélioration de la validité diagnostique, soulignant la nécessité d'évaluer l'exactitude et la cohérence comme deux dimensions distinctes de la performance de l'IA.