Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability

Résumé Technique : Les Grands Modèles de Langage pour l'Éducation à la Santé sur l'Embolie Pulmonaire

Énoncé du Problème
L'embolie pulmonaire (EP) est une affection potentiellement mortelle qui nécessite des informations publiques opportunes, fiables et compréhensibles. Bien que les grands modèles de langage (LLM) soient de plus en plus utilisés pour les requêtes de santé, leurs performances dans la génération d'éducation thérapeutique spécifique à l'EP n'ont pas été comparées systématiquement entre plusieurs modèles. La littérature existante souligne des préoccupations concernant les « hallucinations », l'excès de confiance, le manque de transparence des sources et l'utilisation d'un langage dépassant les niveaux de littératie en santé recommandés. Il existe un besoin critique d'évaluer si les LLM grand public peuvent simultanément fournir un contenu fiable, un sourçage transparent et un texte accessible au grand public (spécifiquement à un niveau de lecture de sixième classe/niveau CM2-6ème).

Méthodologie
Cette étude transversale a comparé quatre LLM accessibles au public via interface web : ChatGPT (GPT-5.5), Gemini (3.5 Flash), Microsoft Copilot et Perplexity AI. L'étude a respecté la directive de rapport CHART (Chatbot Assessment Reporting Tool).

• Collecte de données : Trente et une requêtes liées à l'EP à haute fréquence ont été sélectionnées à partir des données mondiales de Google Trends (17 juillet 2021 – 17 juillet 2026) après une mise en correspondance avec les termes MeSH (Medical Subject Headings) et un filtrage de pertinence. Ces requêtes couvraient les symptômes, les facteurs de risque, le diagnostic, le traitement, le pronostic et les populations spéciales.
• Conception expérimentale : Chaque requête a été soumise une seule fois à chacun des quatre modèles lors d'une session "zero-shot" à tour unique, en utilisant les paramètres par défaut et en effaçant l'historique du navigateur pour minimiser la personnalisation. Cela a produit un total de 124 réponses.
• Métriques d'évaluation :
  • Fiabilité et Qualité : Évaluées à l'aide de DISCERN (16 items, échelle 16–75), EQIP (20 items, 0–100 %), des critères de référence JAMA (4 items pour la transparence des sources) et de l'échelle de qualité globale (GQS, 1–5).
  • Lisibilité : Évaluée à l'aide de six indices : l'Automated Readability Index (ARI), le Flesch Reading Ease Score (FRES), le Flesch-Kincaid Grade Level (FKGL), le Gunning Fog Index (GFI), le Coleman-Liau Index (CLI) et le Simple Measure of Gobbledygook (SMOG).
• Analyse Statistique : Deux chercheurs cliniques indépendants ont noté toutes les réponses. Les différences entre les modèles ont été analysées à l'aide de tests de Kruskal-Wallis avec des tailles d'effet epsilon-carré, suivis de comparaisons post hoc de Dunn-Bonferroni. La lisibilité a été comparée par rapport au seuil de la sixième classe via des tests de Wilcoxon signés.

Résultats Clés

• Achèvement des réponses : Les quatre modèles ont répondu à chaque requête sans refus ni sortie vide.
• Qualité et Fiabilité :
  • DISCERN : Copilot et Perplexity ont obtenu des scores médians de 41 (« qualité passable »), surpassant de manière significative ChatGPT (35) et Gemini (33), qui se situaient tous deux dans la plage « médiocre » ($P < 0,001$). Aucun modèle n'a atteint le seuil « bon » (51+).
  • EQIP : Tous les modèles se sont généralement situés dans la plage « bon avec des problèmes mineurs » (55–75 %), Copilot (75) et Perplexity (70) ayant des scores plus élevés que ChatGPT (60) et Gemini (55).
  • Référence JAMA : Copilot et Perplexity ont démontré une meilleure transparence des sources (médiane 1,0) par rapport à ChatGPT et Gemini (médiane 0,0), grâce à l'affichage des citations ($P < 0,001$).
  • GQS : Il n'y avait pas de différence significative dans les évaluations de qualité globale entre les modèles (médiane 4,0 pour tous, $P = 0,652$).
• Lisibilité :
  • Échec des normes : Aucun modèle n'a respecté le niveau de lecture recommandé de la sixième classe sur aucun des six indices de lisibilité.
  • Niveaux de classe : Les indices de niveau de classe médians variaient d'environ 9 à 16. ChatGPT a produit le texte le plus lisible (médiane FKGL ~9, FRES ~47,9), tandis que Copilot a produit le texte le plus complexe (médiane FKGL ~11, FRES ~34,8).
  • Variabilité : Une variation significative de la lisibilité et de la qualité existait au sein de chaque modèle selon la requête spécifique (par exemple, les sujets sur les directives et la grossesse étaient plus techniques).

Principales Contributions

1. Benchmarking Comparatif : Cette étude constitue la première comparaison multi-modèles spécifiquement pour l'éducation sur l'EP, utilisant un ensemble standardisé de requêtes de recherche réelles.
2. Différenciation entre Fluidité et Fiabilité : Les résultats démontrent que les scores élevés de l'échelle de qualité globale (GQS) (fluidité et organisation) ne sont pas corrélés à la transparence des sources (JAMA) ou à la fiabilité structurelle (DISCERN). Les modèles affichant des citations (Copilot, Perplexity) ont obtenu des scores plus élevés en transparence mais n'ont pas nécessairement produit un texte plus lisible.
3. Écart de Lisibilité : L'étude quantifie l'écart persistant entre la production des LLM et les normes de littératie en santé, montrant que même les modèles les plus performants génèrent un texte nettement supérieur au niveau de la sixième classe recommandé par l'American Medical Association.
4. Variabilité par Requête : L'analyse souligne que la performance des modèles n'est pas uniforme ; un modèle peut fournir une réponse de haute qualité à une requête tout en échouant sur une autre, particulièrement concernant la complexité technique et la communication des risques.

Signification et Revendications
L'article conclut que bien que les LLM grand public puissent générer une éducation à la santé sur l'EP fluide et largement structurée, aucun modèle actuel ne combine contenu fiable, transparence des sources et lisibilité appropriée.

• Rôle Supplémentaire : Les auteurs affirment que les LLM doivent servir uniquement de complément, et non de remplacement, au jugement médical professionnel. Ils sont adaptés aux tâches explicatives à faible risque (ex: définitions générales, conseils de mode de vie) mais sont dangereux pour le diagnostic indépendant, la stratification des risques ou la sélection de traitements.
• Gouvernance et Conception : L'étude appelle les développeurs de modèles à intégrer la récupération de preuves faisant autorité, à proposer des versions de langage adaptées à la littératie en santé et à mettre en œuvre des cycles de révision humaine.
• Sécurité Clinique : Les auteurs soulignent que dans des conditions à haut risque comme l'EP, une prose confiante peut masquer une faible transparence des preuves. Par conséquent, les institutions cliniques utilisant l'IA pour les documents destinés aux patients doivent adopter un flux de travail « génération par machine – révision professionnelle – test auprès des patients » pour garantir la sécurité, l'exactitude et la clarté.

L'étude reconnaît des limites, notamment la nature dynamique des LLM (les résultats sont spécifiques à un instant T), l'utilisation de requêtes exclusivement en anglais et le recours à des formules de lisibilité plutôt qu'à des tests directs de compréhension par les patients. Par conséquent, les conclusions sont présentées comme un instantané exploratoire de la performance des modèles plutôt que comme un classement universel définitif.