Robustness Gap of Large Language Models in Nephrology

L'intelligence artificielle a commencé à offrir un soutien en médecine, agissant comme un outil capable de lire de vastes quantités de texte et de suggérer des réponses à des questions complexes. Dans des domaines comme les soins rénaux, ou la néphrologie, les médecins doivent constamment peser les résultats de laboratoire, l'historique du patient et les signes physiques pour décider des traitements. Depuis des années, des chercheurs testent si ces programmes informatiques peuvent réussir des examens médicaux, une méthode standard pour voir s'ils en savent assez pour être utiles. Cependant, un score élevé à un test à choix multiples ne signifie pas nécessairement que le système comprend réellement la logique derrière la réponse. Il pourrait simplement reconnaître des motifs dans la façon dont les questions sont rédigées ou deviner en se basant sur les options qui lui semblent les plus familières. La question critique pour l'avenir de la sécurité des soins médicaux est de savoir si ces modèles peuvent raisonner face à un problème lorsque les raccourcis habituels sont supprimés, ou s'ils s'effondrent lorsqu'ils sont forcés de réfléchir sans une béquille familière.

Une équipe de chercheurs de l'école de médecine de l'université St. Marianna au Japon s'est donné pour mission de tester cette faiblesse spécifique en utilisant une méthode qui agit comme un test de résistance pour l'esprit. Ils ont pris une collection de 145 questions réelles utilisées pour le renouvellement de la certification de spécialisation des néphrologues au Japon. Ces questions couvrent le raisonnement profond et complexe requis pour gérer les maladies rénales. Les chercheurs ont ensuite créé une version modifiée de chaque question. Dans le test original, une réponse spécifique était correcte. Dans la nouvelle version, ils ont remplacé cette réponse correcte par une phrase signifiant « aucune des autres réponses ». Cela a forcé les modèles informatiques à faire quelque chose de difficile : au lieu de choisir la bonne option dans une liste, ils devaient réaliser que toutes les autres options étaient fausses et que le seul choix valide était celui indiquant qu'aucune d'entre elles ne correspondait. Si un modèle raisonnait véritablement à travers les faits médicaux, il aurait dû être capable d'identifier que la réponse correcte originale était absente et de sélectionner l'option « aucune des précédentes ». S'il se contentait de deviner en fonction de motifs, il choisirait probablement l'une des réponses erronées restantes.

L'équipe a testé quatre des modèles de langage les plus avancés disponibles, incluant des systèmes d'OpenAI et de Google. Ils ont soumis aux modèles les questions originales et les versions modifiées séparément, en leur demandant de choisir la meilleure réponse à chaque fois. Les résultats ont montré un écart clair et significatif entre la performance des modèles lorsqu'ils faisaient face aux questions originales par rapport à lorsqu'elles étaient modifiées. Lorsque les modèles étaient confrontés aux questions originales, ils performaient assez bien, le meilleur système répondant correctement à près de 88 % des cas. Cependant, une fois la réponse correcte remplacée par « aucune des autres réponses », leur performance a chuté brutalement. Le système qui avait commencé avec le score le plus élevé est tombé à environ 73 %, une baisse statistiquement significative. D'autres modèles ont connu des chutes encore plus abruptes, l'un d'eux passant d'environ 66 % de bonnes réponses à seulement 19 %. Cela signifie que lorsque le motif familier d'une réponse correcte était supprimé, les modèles peinaient à s'appuyer sur leur propre raisonnement médical et choisissaient souvent une option erronée mais plausible, plutôt que d'admettre que le choix correct était manquant.

L'étude suggère que, bien que les nouveaux modèles deviennent plus robustes et plus aptes à gérer ces changements délicats, ils ne sont pas encore totalement fiables pour la prise de décision clinique indépendante. Les chercheurs ont constaté que même les systèmes les plus avancés ont tendance à s'ancrer sur l'idée qu'un des choix visibles doit être le bon, même lorsque la logique du cas prouve le contraire. Dans un cadre hospitalier réel, ce comportement pourrait être dangereux. Si un médecin manque une information, telle qu'une valeur de laboratoire spécifique ou un signe physique subtil, une intelligence artificielle sûre devrait reconnaître que le cas ne peut être jugé et demander davantage de données. Au lieu de cela, ces modèles comblent souvent les lacunes par une supposition confiante mais incorrecte. Les auteurs concluent que réussir un examen à choix multiples ne suffit pas pour prouver qu'un modèle peut raisonner comme un médecin. Pour être réellement utilisable en toute sécurité dans les soins rénaux, ces systèmes doivent démontrer qu'ils peuvent gérer l'incertitude et reconnaître quand une réponse est simplement indisponible, plutôt que de simplement faire correspondre des motifs pour obtenir le score le plus élevé à un test.