Prompting language influences diagnostic reasoning and accuracy of large language models

Résumé technique : La langue de l'incitation influence le raisonnement diagnostique et la précision des grands modèles de langage

Énoncé du problème
Bien que les grands modèles de langage (LLM) montrent des promesses dans le soutien à la décision clinique, leur fiabilité dans les langues autres que l'anglais reste incertaine. La plupart des évaluations reposent sur des données en anglais et des benchmarks standardisés à choix multiples, qui ne parviennent pas à capturer la complexité du raisonnement clinique réel. Étant donné que la pratique médicale est profondément imbriquée avec la langue, la culture et l'épidémiologie locale, il existe un fossé critique dans la compréhension de la capacité des LLM entraînés principalement sur des corpus anglais à effectuer un raisonnement diagnostique avec une fidélité égale dans d'autres langues, comme le français. Cette disparité pose des risques pour le déploiement équitable des soins de santé et la sécurité des patients, en particulier dans des contextes multilingues.

Méthodologie
Les auteurs ont mené une évaluation comparative bilingue du raisonnement diagnostique et de la précision du diagnostic final à travers cinq LLM : o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct et BioMistral-7B.

• Jeu de données : L'étude a utilisé 180 vignettes cliniques couvrant 16 spécialités médicales (à l'exclusion des domaines purement techniques ou chirurgicaux). Les vignettes ont été dérivées de créations synthétiques, de matériaux de référence et de rencontres réelles anonymisées. Chaque vignette a été construite en français et traduite indépendamment en anglais par deux médecins, assurant une équivalence sémantique et une précision clinique.
• Incitation (Prompting) : Les modèles ont été interrogés une fois par vignette dans les deux langues en utilisant un prompt standardisé instruisant le modèle d'agir comme un médecin, de fournir un raisonnement clinique et de produire le diagnostic final au format JSON.
• Cadre d'évaluation : Deux médecins ont indépendamment évalué toutes les sorties des modèles en utilisant une échelle de 18 points comprenant six critères :
  1. Validité interne (0–5) : Extraction et interprétation des données de la vignette.
  2. Validité externe (0–3) : Précision des connaissances médicales au-delà de la vignette.
  3. Hypothèses et diagnostic différentiel (0–1) : Génération de diagnostics différentiels pertinents.
  4. Structure logique (0–4) : Cohérence et organisation du raisonnement.
  5. Expression (0–2) : Correction syntaxique et sémantique.
  6. Précision du diagnostic final (0–3) : Alignement avec le diagnostic de référence.
• Analyse statistique : Les différences de performance entre l'anglais et le français ont été analysées à l'aide de modèles linéaires mixtes (LMM) avec la langue comme effet fixe et la vignette/le juge comme interceptrices aléatoires. Des tests unilatéraux ont été utilisés pour évaluer l'hypothèse selon laquelle la performance en anglais dépasse celle en français, avec une correction de Bonferroni pour les comparaisons multiples. La fiabilité inter-juges a été évaluée à l'aide du coefficient de corrélation intraclasse (ICC) et du kappa de Cohen.

Résultats clés

• Performance globale : Quatre des cinq modèles (DeepSeek-R1, GPT-4-Turbo, Llama-405B, BioMistral-7B) ont performé significativement mieux en anglais qu'en français. La différence moyenne des scores globaux variait de 0,37 à 0,91 point sur l'échelle de 18 points (p ajusté < 0,05).
  • Llama-405B a montré l'écart le plus large (0,91 point).
  • BioMistral-7B, malgré sa spécialisation médicale, a obtenu un score global nettement inférieur (médiane ~8–9/18) et a présenté un écart linguistique significatif (0,78 point).
  • o3 était le seul modèle ne montrant aucun effet linguistique global (différence moyenne 0,08, p = 1,000), atteignant une performance proche du plafond (médiane 18/18) dans les deux langues.
• Dimensions du raisonnement : L'écart linguistique n'était pas uniforme à travers les types de raisonnement. Des disparités significatives favorisant l'anglais ont été observées dans :
  • Diagnostic différentiel : Llama-405B, GPT-4-Turbo et DeepSeek-R1 ont généré des différentiels plus cohérents en anglais.
  • Structure logique : GPT-4-Turbo, Llama-405B et BioMistral-7B ont démontré une organisation du raisonnement plus cohérente en anglais.
  • Validité interne : Llama-405B et DeepSeek-R1 ont montré une meilleure extraction et interprétation des données cliniques en anglais.
  • Expression : BioMistral-7B a présenté des erreurs syntaxiques plus fréquentes en français.
• Types de raisonnement : L'écart linguistique était le plus prononcé pour les raisonnements hypothético-déductifs et algorithmiques, qui nécessitent un inférence complexe en plusieurs étapes. Aucun effet linguistique n'a été observé pour le raisonnement probabiliste chez aucun modèle.
• Corrélation : Pour BioMistral-7B, la corrélation entre la qualité du raisonnement et la précision du diagnostic était significativement plus forte en anglais ($\rho=0,75$) qu'en français ($\rho=0,60$), suggérant que le raisonnement et la précision sont plus étroitement couplés dans le contexte anglais pour ce modèle.

Signification et affirmations
L'article affirme que la langue de l'incitation reste un déterminant critique de la performance des LLM dans le raisonnement diagnostique clinique. Les résultats démontrent que l'écart de performance n'est pas simplement une question de rappel factuel, mais s'étend à la qualité, la cohérence et la validité interne du processus de raisonnement clinique lui-même.

Les auteurs soutiennent que :

1. Implications pour l'équité : Si les modèles produisent un raisonnement de moindre qualité et des diagnostics moins précis dans la langue maternelle d'un patient (non anglaise), cela pourrait exacerber les disparités de santé existantes. Ceci est particulièrement préoccupant car les LLM sont de plus en plus utilisés directement par les patients pour obtenir des informations de santé.
2. Au-delà des examens : Contrairement aux études précédentes limitées aux examens à choix multiples des conseils médicaux, cette étude confirme que les écarts linguistiques persistent dans des tâches de raisonnement diagnostique en libre réponse qui imitent plus étroitement la pratique clinique réelle.
3. L'architecture du modèle compte : L'absence d'écart linguistique chez o3 suggère que les avancées dans les capacités de raisonnement (par exemple, l'augmentation du calcul au moment du test, la chaîne de pensée étendue) peuvent atténuer partiellement les disparités liées à la langue, même lorsque les données d'entraînement sont principalement en anglais.
4. Disparité des ressources : Étant donné que le français est une langue relativement riche en ressources avec une représentation substantielle dans les corpus d'entraînement, les auteurs postulent que ces disparités sont susceptibles d'être amplifiées pour les langues à ressources plus faibles.

L'étude conclut que garantir une performance équitable à travers les langues doit être une priorité pour le développement des modèles et l'évaluation réglementaire afin d'empêcher les LLM de manquer l'opportunité de réduire, plutôt que d'élargir, les inégalités d'accès à des informations de santé fiables. Pour soutenir la recherche future, les auteurs ont publié l'ensemble complet du jeu de données bilingue et le code d'évaluation.