Evaluation of Large Language Models for Post-Cystectomy Sexual Health Counseling in Women: A Pilot Study

Résumé technique : Évaluation des modèles de langage de grande taille pour le conseil en santé sexuelle post-cystectomie chez les femmes

Énoncé du problème
Les femmes atteintes de cancer de la vessie infiltrant le muscle (CVIM) sont confrontées à des taux de survie disproportionnellement faibles et à des taux élevés de dysfonctionnement sexuel suite à une cystectomie radicale. Malgré l'importance clinique de ces problèmes, le conseil en santé sexuelle est dispensé de manière incohérente, les patientes féminines étant moins susceptibles que les hommes de bénéficier de discussions initiées par les prestataires concernant la fonction sexuelle et le bien-être psychosocial. Bien que les modèles de langage de grande taille (LLM) soient de plus en plus utilisés pour l'éducation des patients, leur fiabilité pour générer un conseil conforme aux directives, empathique et lisible pour cette population spécifique et sensible reste sous-étudiée. La littérature existante se concentre souvent sur l'exactitude clinique mais néglige le « fossé de lisibilité », où le contenu généré par l'IA dépasse fréquemment les niveaux de littératie en santé de la population générale, ce qui pourrait exacerber les disparités. De plus, les limites méthodologiques des recherches antérieures sur la lisibilité — spécifiquement le traitement des mesures de lisibilité corrélées comme des résultats indépendants — risquent d'inflater les erreurs de type I et d'obscurcir les réelles différences entre les modèles.

Méthodologie
L'étude a évalué trois LLM largement utilisés : ChatGPT, Gemini et Perplexity. Le cadre d'évaluation comprenait les composantes suivantes :

• Génération de données : Les modèles ont été sollicités par six questions cliniques dérivées des directives de l'American Urological Association (AUA) et de l'American Society of Clinical Oncology (ASCO) concernant les soins post-cystectomie. Les prompts ont été délivrés sous deux formats : long (langage technique/clinique) et court (langage profane). Pour minimiser le transfert de contenu entre les prompts, les réponses ont été générées dans des sessions incognito distinctes.
• Évaluation de l'adhérence : Deux examinateurs indépendants ont évalué les 36 réponses générées (6 questions × 3 modèles × 2 examinateurs) à l'aide d'une liste de contrôle à 4 points basée sur les domaines des directives : (1) conseil sur les complications et la qualité de vie, (2) discussion sur les options chirurgicales de préservation de la fonction sexuelle, (3) soins de soutien et conseil en santé mentale, et (4) modifications du mode de vie. Les scores ont été convertis en une métrique d'adhérence proportionnelle (0–1).
• Analyse statistique (Adhérence) : Un modèle linéaire à effets mixtes a été employé pour prédire l'adhérence aux directives en fonction du type de LLM, du format du prompt et de l'examinateur, la question clinique étant traitée comme un intercept aléatoire pour tenir compte du regroupement et de la variance de difficulté. Des comparaisons par paires post-hoc ont été effectuées à l'aide de moyennes marginales estimées (EMM) avec correction de Tukey-Kramer.
• Analyse de la lisibilité et de la dimensionnalité : Cinq indices de lisibilité standards (Flesch Reading Ease, Flesch-Kincaid Grade, Automated Readability Index, SMOG et Coleman-Liau) ont été calculés. Pour traiter la multicolinéarité et identifier les structures latentes, une analyse en composantes principales (ACP) et une classification hiérarchique agglomérative ont été appliquées aux mesures de lisibilité.

Principales contributions

1. Référencement de l'adhérence aux directives : L'étude fournit une évaluation comparative de ChatGPT, Gemini et Perplexity spécifiquement concernant le conseil sur le dysfonctionnement sexuel féminin post-cystectomie, un créneau souvent négligé dans les évaluations médicales plus larges de l'IA.
2. Impact de l'ingénierie de prompt : Elle démontre que le cadrage du prompt (langage profane vs clinique) influence significativement la qualité de la sortie, remettant en question l'hypothèse selon laquelle des prompts cliniques plus complexes produisent une meilleure adhérence aux directives.
3. Rigueur méthodologique de la lisibilité : L'article introduit un pipeline analytique fondé sur la psychométrie utilisant l'ACP et le clustering hiérarchique. Cette approche valide que les mesures de lisibilité standard mesurent souvent un seul construit sous-jacent de complexité linguistique, soutenant l'utilisation de mesures composites ou primaires (comme Flesch-Kincaid) plutôt que de les traiter comme des variables indépendantes.
4. Évaluation systémique : L'étude conceptualise les LLM comme des « systèmes d'information » transformant les prompts cliniques en sorties de conseil, soulignant la nécessité d'évaluer à la fois l'exactitude de l'information et la charge cognitive (lisibilité) imposée au patient.

Résultats

• Performance des modèles : ChatGPT a démontré l'adhérence la plus élevée aux directives cliniques (moyenne marginale estimée [EMM] = 0,769), surpassant significativement Gemini (EMM = 0,499) et Perplexity (EMM = 0,457). Aucune différence significative n'a été trouvée entre Gemini et Perplexity.
• Effet du prompt : Les prompts de forme courte, en langage profane, ont suscité une adhérence significativement plus élevée (EMM = 0,667) par rapport aux prompts de forme longue, formulés en langage clinicien (EMM = 0,483).
• Lisibilité : Tous les modèles ont produit un contenu dépassant les niveaux de littératie en santé recommandés. Perplexity a généré le texte le plus complexe (niveau de grade Flesch-Kincaid approximatif ~16), suivi de ChatGPT, Gemini produisant le contenu de niveau de grade le plus bas (environ grade 11). Cependant, même les sorties les plus « simples » restaient au-dessus du niveau de lecture recommandé de la sixième année.
• Dimensionnalité : L'ACP a révélé qu'une seule composante dominante (PC1) expliquait 76,7 % de la variance à travers les cinq indices de lisibilité, confirmant que ces mesures reflètent largement un construit partagé de difficulté textuelle.

Signification et affirmations
L'article affirme que les LLM fonctionnent comme des systèmes d'information médicale variables dont les sorties dépendent fortement à la fois de l'architecture spécifique du modèle et de la structure du prompt d'entrée. Les conclusions suggèrent que, bien que ChatGPT offre actuellement les informations les plus conformes aux directives pour ce scénario clinique spécifique, une haute complexité linguistique demeure une barrière universelle à la compréhension des patients à travers tous les modèles testés.

Les auteurs soulignent que l'état actuel de l'IA dans ce domaine, tel que caractérisé par l'étude, présente une « haute complexité linguistique observée à travers les modèles, soulignant une barrière à la compréhension des patients ». Ils concluent que, bien que les LLM puissent avoir le potentiel de compléter le conseil, leur déploiement dans des contextes sensibles comme la santé sexuelle post-cystectomie nécessite une surveillance prudente et supervisée par un clinicien. L'étude ne prétend pas que les LLM sont prêts pour une utilisation clinique autonome, mais plutôt qu'ils servent d'outils dont la fiabilité varie considérablement selon la sélection du modèle et la conception du prompt. La recherche souligne la nécessité d'évaluer à la fois le contenu (adhérence aux directives) et la forme (lisibilité) de l'information de santé générée par l'IA afin de prévenir l'amplification des disparités de santé existantes.