High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

Résumé Technique : Évaluation Transversale de ChatGPT dans les Fractures Pathologiques des Tumeurs à Plasmocytes

Énoncé du Problème
Les modèles de langage étendu (LLM) sont de plus en plus utilisés par les patients pour accéder à l'information médicale ; cependant, leur performance dans des scénarios oncologiques multidisciplinaires complexes reste sous-évaluée. Alors que des études antérieures ont évalué l'IA dans des cadres spécialisés uniques, il existe une lacune dans la compréhension de la manière dont ces modèles gèrent la prise de décision coordonnée requise pour les fractures pathologiques associées aux tumeurs à plasmocytes (par exemple, le plasmacytome solitaire et le myélome multiple). Ces pathologies nécessitent une collaboration complexe entre chirurgiens orthopédistes et oncologues radiothérapeutes concernant la stabilisation chirurgicale, le calendrier de la radiothérapie et le séquençage du traitement. L'étude vise à déterminer si les réponses générées par l'IA peuvent répondre de manière précise et cohérente aux questions orientées vers le patient à travers ces domaines cliniques divergents.

Méthodologie
Cette étude transversale a évalué la performance de ChatGPT-5.1 (OpenAI) en utilisant un cadre structuré :

• Génération de Questions : Un panel multidisciplinaire de quatre spécialistes seniors (deux chirurgiens orthopédistes et deux oncologues radiothérapeutes, ayant chacun plus de 20 ans d'expérience) a élaboré 25 questions orientées vers le patient. Celles-ci ont été dérivées de rencontres réelles en consultation externe et de discussions en comité de concertation pluridisciplinaire, classées en cinq domaines : (1) Diagnostic et Compréhension, (2) Stabilisation Chirurgicale, (3) Radiothérapie, (4) Séquençage du Traitement, et (5) Récupération et Suivi.
• Génération de Réponses : Les questions ont été soumises individuellement à l'IA via un prompt neutre standardisé (« Veuillez répondre à la question suivante de manière à ce qu'un patient puisse facilement la comprendre ») dans des sessions de chat distinctes et temporaires afin de minimiser les effets de mémoire. Seule la première réponse générée a été enregistrée.
• Évaluation : Quatre médecins experts (le même panel) ont évalué indépendamment les réponses à l'aide d'une échelle de Likert en 5 points selon cinq critères : Exactitude Scientifique, Suffisance de l'Information, Compréhensibilité pour le Patient, Pertinence Clinique et Actualité de l'Information. Les évaluateurs étaient en aveugle les uns par rapport aux autres.
• Analyse Statistique : La fiabilité inter-juges a été évaluée à l'aide de coefficients de corrélation intraclasse (CCI) basés sur un modèle à deux effets aléatoires. Les différences entre les évaluateurs et les critères ont été analysées à l'aide du test de Friedman. La lisibilité a été évaluée à l'aide des métriques de Flesch–Kincaid.

Résultats Clés

• Performance Globale : L'IA a obtenu un score moyen global élevé de 21,90 ± 0,83 sur 25, indiquant une performance généralement élevée en termes de précision et de clarté.
• Variabilité des Domaines : La performance a été la plus élevée dans le domaine « Diagnostic et Compréhension » (22,55 ± 0,62) et « Radiothérapie » (22,15 ± 0,74). Des scores légèrement inférieurs ont été observés dans les domaines multidisciplinaires nécessitant un raisonnement complexe, spécifiquement la « Stabilisation Chirurgicale » (21,60 ± 0,72) et le « Séquençage du Traitement » (21,65 ± 0,42).
• Critères d'Évaluation : La « Compréhensibilité pour le Patient » a systématiquement reçu les scores les plus élevés (jusqu'à 4,80 ± 0,21), tandis que la « Suffisance de l'Information » a été systématiquement le critère le moins bien noté (moyenne ≈ 3,95), particulièrement dans les contextes chirurgicaux et de séquençage. Cela suggère que les réponses sont claires mais peuvent manquer de profondeur technique.
• Fiabilité Inter-Juges : L'accord entre les experts évaluateurs était globalement faible, avec des valeurs de CCI allant de négatives à modérées. Notamment, des valeurs de CCI négatives ont été observées pour la « Stabilisation Chirurgicale » et le « Séquençage du Traitement », indiquant que les jugements des évaluateurs divergeaient considérablement, dépassant souvent les attentes liées au hasard.
• Lisibilité : Le niveau de grade Flesch–Kincaid calculé était de 8,05, correspondant à un niveau scolaire de la 10e-12e année (fin de lycée/début d'université).

Contributions Clés

1. Cadre Multidisciplinaire : Contra�à les évaluations précédentes à spécialité unique, cette étude a explicitement testé la performance de l'IA à l'interface de la chirurgie orthopédique et de l'oncologie radiothérapeutique, soulignant comment les attentes disciplinaires influencent l'évaluation de la production de l'IA.
2. Identification de la Variabilité comme une Caractéristique : L'étude recadre la faible fiabilité inter-juges observée non pas comme un simple défaut statistique, mais comme le reflet de la complexité intrinsèque et de la dépendance au contexte du jugement clinique multidisciplinaire. La divergence dans les scores souligne que l'« adéquation clinique » est interprétée différemment par les différentes spécialités.
3. Différenciation des Capacités : La recherche délimite une distinction claire entre la capacité de l'IA à synthétiser des informations générales et accessibles aux patients, et sa faiblesse relative à fournir la profondeur nuancée et exploitable requise pour le séquençage complexe des traitements et la prise de décision chirurgicale.

Signification et Revendications
L'article conclut que bien que ChatGPT génère des réponses claires, généralement précises et adaptées aux patients, convenables pour l'éducation générale et l'explication conceptuelle, elle fonctionne actuellement comme un « vulgarisateur généraliste » plutôt que comme un « outil de décision de niveau spécialiste ». Les auteurs affirment que dans le contexte des fractures pathologiques des tumeurs à plasmocytes, l'IA doit être considérée comme un outil informationnel d'appoint pour soutenir la littératie des patients, mais qu'elle est insuffisante pour remplacer le jugement clinique expert dans des scénarios multidisciplinaires complexes. L'étude souligne que la variabilité de l'évaluation par les experts reflète la complexité réelle des soins multidisciplinaires, suggérant que l'intégration future de l'IA doit tenir compte de ces nuances spécifiques aux spécialités plutôt que de se fier à un score de performance composite unique.