Large language models improve physician accuracy but lead to false reliance
Bien que le système de LLM à génération augmentée par récupération CORA ait considérablement amélioré la précision diagnostique des médecins, l'étude révèle un risque de sécurité critique où les citations liées aux sources ont augmenté de manière disproportionnée la dépendance tant envers les conseils corrects qu'incorrects, sapant ainsi la capacité des médecins à résister aux recommandations erronées.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective essayant de résoudre une affaire complexe. Vous avez un assistant brillant et super rapide qui peut lire des millions de livres en une seconde et suggérer une solution. Cet assistant est une Intelligence Artificielle, plus précisément un « Grand Modèle de Langage » (LLM). Ces IA sont comme des encyclopédies qui ont appris à parler en lisant tout l'internet, mais parfois, elles se montrent très sûres d'elles concernant des choses qu'elles ne savent pas réellement, inventant des faits qui semblent parfaits mais qui sont faux. Pour corriger cela, les scientifiques ont inventé une astuce appelée « Génération Augmentée par Récupération » (RAG). Considérez le RAG comme si vous donniez à votre assistant IA une carte de bibliothèque et une règle : « Tu ne peux répondre que si tu peux pointer la page exacte dans un livre qui prouve ta réponse. » De cette façon, l'IA ne se contente pas de deviner ; elle montre son travail.
Mais voici la grande question que les scientifiques débattent encore : le fait de montrer le travail aide-t-il réellement le détective humain ? Ou cela pousse-t-il simplement l'humain à trop faire confiance à l'assistant, même quand celui-ci se trompe ? C'est l'histoire d'une nouvelle étude qui a mis cette idée à l'épreuve avec de vrais médecins. Ils voulaient voir si donner aux médecins une IA qui cite ses sources les rendrait meilleurs pour diagnostiquer des maladies de la peau, ou si cela les piégerait en commettant des erreurs dangereuses en faisant passer des réponses fausses pour des réponses étayées par des preuves.
L'histoire de CORA et le piège de la « fausse preuve »
Dans cette étude, une équipe de chercheurs a construit un assistant IA spécial nommé CORA (Citation-Oriented Retrieval Assistant). Imaginez CORA comme un stagiaire de recherche super intelligent qui, chaque fois qu'un médecin pose une question sur une affection cutanée, ne se contente pas de recracher une réponse. Au lieu de cela, CORA se rend dans une bibliothèque numérique de manuels médicaux, de directives et de rapports de cas, trouve les pages pertinentes et dit : « Voici ma réponse, et voici les trois pages qui le prouvent. »
Les chercheurs voulaient voir comment cela fonctionnait dans le monde réel. Ils ont réuni 46 médecins provenant de 21 pays différents et leur ont soumis une série d'énigmes sur des maladies de la peau. D'abord, les médecins devaient les résoudre seuls. Ensuite, on leur montrait la réponse de CORA accompagnée de la « preuve » (les citations) et on leur demandait s'ils voulaient maintenir leur réponse initiale ou la changer.
La bonne nouvelle : Les médecins sont devenus plus intelligents
Les résultats ont montré que CORA était un coéquipier utile. Lorsque les médecins travaillaient seuls, ils trouvaient la bonne réponse 70,8 % du temps. Mais lorsqu'ils utilisaient CORA, leur précision bondissait à 82,6 %. L'IA les aidait à corriger leurs erreurs, particulièrement sur les cas difficiles ou les maladies rares. C'était comme avoir une deuxième paire d'yeux qui connaissait parfaitement le manuel de règles.
La mauvaise nouvelle : Le « piège de la citation »
Cependant, l'étude a révélé un problème sournois. La « preuve » que montrait CORA n'était pas toujours une vraie preuve. Parfois, CORA donnait une réponse erronée tout en montrant une citation qui semblait soutenir la réponse, même si elle ne le faisait pas réellement.
C'est ici que cela devient délicat :
- Quand CORA avait raison : Si les médecins voyaient une citation qui semblait soutenir la réponse, ils étaient très enclins à changer d'avis et à être d'accord avec l'IA. Leur taux de réussite pour adopter le conseil correct est passé de 34 % (sans se sentir soutenu) à 76,9 % (lorsqu'ils sentaient que la citation soutenait la réponse).
- Quand CORA se trompait : C'est la partie dangereuse. Si CORA donnait une mauvaise réponse mais présentait une citation qui paraissait convaincante, les médecins cessaient de résister. Normalement, les médecins sont têtus et s'en tiennent à leur réponse correcte 92 % du temps lorsque l'IA se trompe. Mais lorsqu'une citation « de soutien » était présentée, cette résistance tombait à seulement 34,8 %.
La leçon : Confiance, mais vérifiez la preuve
L'étude a découvert un « mauvais calibrage de l'ancrage » (grounding-miscalibration). C'est une façon sophistiquée de dire que les médecins ont été trompés par l'apparence de l'évidence. Quand l'IA montrait une citation, les médecins supposaient que la réponse devait être correcte, même si la citation ne prouvait pas réellement le point spécifique. C'est comme un élève qui rend un examen avec une page de manuel jointe. Si la page traite du bon sujet mais ne répond pas réellement à la question, un professeur pourrait quand même penser : « Oh, il a fait ses recherches », et lui accorder des points. Mais en médecine, ce crédit pourrait être une erreur.
Les chercheurs ont découvert que, bien que l'IA rende les médecins plus précis globalement, elle crée aussi un nouveau risque : les médecins sont plus susceptibles d'abandonner leurs propres instincts corrects si l'IA fait passer une réponse fausse pour une réponse bien étayée. L'étude suggère que pour que ces outils d'IA soient sûrs, nous ne pouvons pas simplement regarder si l'IA a raison ou tort. Nous devons nous assurer que la « preuve » qu'elle montre prouve réellement la réponse, et pas seulement qu'elle est liée au sujet. Sinon, la chose même censée aider les médecins à vérifier la vérité pourrait finir par les piéger en les poussant à faire confiance à un mensonge.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.