Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study
Cette étude transversale multi-modèle démontre que, bien que les modèles de langage de grande taille dominants actuels aient atteint une précision proche du plafond dans la conversion des mesures de risque cardiovasculaire pour les personnes âgées, leur performance est principalement différenciée par la cohérence d'un cycle à l'autre, DeepSeek présentant une stabilité significativement plus faible que Doubao et Kimi, et les incohérences découlant presque exclusivement d'erreurs d'arrondi bénignes plutôt que d'erreurs cliniquement significatives.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les maladies cardiaques restent la cause la plus fréquente de maladie et de décès dans le monde, et leur impact est particulièrement lourd chez les personnes âgées. Lorsque les médecins tentent de prévenir ces problèmes avant qu'ils ne surviennent, ils recommandent souvent des médicaments quotidiens comme les statines. La décision de prendre un tel médicament dépend d'une compréhension partagée entre le patient et le médecin : à quel point cela aidera-t-il, et quels sont les risques ? Cette conversation repose sur des chiffres. Un médecin peut expliquer qu'un traitement réduit la probabilité d'une crise cardiaque d'un certain pourcentage, ou que pour cent personnes prenant le médicament, un nombre spécifique évitera un événement indésirable. Ces différentes manières d'énoncer un même fait sont toutes mathématiquement équivalentes, mais elles peuvent être perçues de manière très différente par l'esprit humain. Traduire un chiffre en un autre nécessite une compétence appelée numératie, que même certains professionnels de la santé trouvent difficile. À mesure que les outils d'intelligence artificielle deviennent plus courants dans le secteur de la santé, de nombreuses personnes se tournent désormais vers eux pour obtenir ces explications. Mais si un ordinateur donne à un patient un chiffre aujourd'hui et un chiffre légèrement différent demain pour la même question, la confiance envers cet outil commence à s'effriter.
Une équipe de chercheurs s'est donné pour mission de tester la capacité de trois systèmes d'intelligence artificielle populaires à gérer cette tâche spécifique. Ils voulaient voir si ces modèles pouvaient convertir de manière cohérente des statistiques médicales complexes en chiffres simples et clairs pour les personnes âgées. L'étude s'est concentrée sur un scénario où un patient doit connaître les bénéfices et les méfaits d'un médicament cardiaque. Les chercheurs ont créé quatre-vingts histoires médicales réalistes impliquant des patients âgés présentant divers facteurs de risque. Dans chaque histoire, l'IA devait calculer quatre valeurs spécifiques : de combien le traitement réduisait le risque d'un événement cardiaque, de combien il augmentait le risque d'effets secondaires, combien de personnes devraient prendre le médicament pour qu'une personne en bénéficie, et combien devraient le prendre pour qu'une personne soit lésée. Pour garantir un test équitable, les chercheurs ont demandé à chaque modèle d'IA de répondre à chaque question trois fois de suite, et ce, en anglais et en chinois. Cela a produit des milliers de réponses qui ont été vérifiées par rapport à un corrigé parfait et verrouillé, créé par des experts humains.
Les résultats ont révélé une vérité surprenante sur le fonctionnement de ces systèmes. Lorsqu'il s'agissait de maîtriser le calcul, les modèles étaient presque parfaits. Ils calculaient presque toujours les bons chiffres, suggérant que pour ce type de tâche structurée, leur capacité de calcul atteint déjà le niveau le plus élevé. Cependant, la véritable histoire concernait la cohérence. Lorsqu'une même question était posée trois fois au même modèle, les réponses n'étaient pas toujours identiques. L'un des modèles, DeepSeek, a donné un ensemble de chiffres différent dans plus de dix pour cent des cas, même s'il était configuré sur un mode censé produire exactement le même résultat à chaque fois. Les deux autres modèles, Doubao et Kimi, étaient beaucoup plus stables, étant en accord avec eux-mêmes presque à chaque fois. Cette incohérence se produisait même lorsque les modèles n'essayaient pas d'être créatifs ; ils suivaient simplement des instructions pour calculer des nombres.
Lorsque les chercheurs ont examiné de près les moments où les modèles donnaient des réponses différentes, ils ont constaté que ces différences étaient presque toujours infimes et inoffensives. Dans la quasi-totalité des cas, le désaccord n'était qu'une question d'arrondi. Par exemple, si le calcul montrait qu'un patient devait prendre le médicament vingt-trois fois pour aider une personne, une exécution pouvait arrondir ce chiffre à vingt-quatre, tandis qu'une autre pourrait l'arrondir à vingt-trois. Ces légers décalages ne changeaient pas le conseil médical ni la conclusion sur l'utilité du médicament. Les modèles disaient essentiellement la même chose, avec juste un chiffre légèrement différent sur l'étiquette. Seule une infime fraction des réponses, moins de deux dixièmes de pour cent, était réellement problématique. Ces cas rares impliquaient le fait que le modèle donne une valeur complètement différente, ne réponde pas, ou change d'avis sur la justesse de sa réponse.
L'étude a également vérifié si la langue utilisée importait. Les modèles ont performé aussi bien en chinois qu'en anglais, sans différence significative de précision entre les deux langues. Cela suggère que la capacité à manipuler ces chiffres n'est pas liée à une langue spécifique. Cependant, les chercheurs ont noté que le modèle qui peinait sur la cohérence en anglais éprouvait les mêmes difficultés en chinois, indiquant que le problème venait du moteur logiciel spécifique plutôt que de la langue elle-même. Ces conclusions remettent en question une croyance commune selon laquelle le réglage d'une IA en mode « température zéro » garantit qu'elle donnera toujours la même réponse. Dans cette étude, même avec ces paramètres, le service fournissait parfois des chiffres différents, probablement en raison de la manière dont le système est construit et exécuté en coulisses.
En fin de compte, la recherche montre que si l'intelligence artificielle est excellente pour calculer des statistiques médicales, sa fiabilité dépend de sa capacité à répéter ces calculs de manière cohérente. Pour un patient posant une question de vie ou de mort, entendre un chiffre différent à chaque fois peut sembler peu fiable, même si tous les chiffres sont techniquement corrects. Les auteurs suggèrent que, lors de l'évaluation d'une IA médicale, les experts doivent regarder au-delà de la simple exactitude et prêter une attention particulière à cette stabilité. Ils proposent une nouvelle façon de mesurer la fiabilité en comptant la fréquence à laquelle un modèle donne des réponses qui ne sont pas seulement différentes, mais dangereusement différentes. Dans le cas de ces scénarios de maladies cardiaques, les modèles étaient sûrs, mais l'étude souligne que pour que ces outils soient dignes de confiance dans de véritables cliniques, ils ne doivent pas seulement connaître la bonne réponse, mais aussi être capables de la formuler de la même manière à chaque fois.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.