Polish-English medical knowledge transfer: A new benchmark and results
Cet article présente un nouveau référentiel médical polonais-anglais dérivé de plus de 24 000 questions d'examens de licence et de spécialisation pour évaluer les modèles de langage de pointe par rapport aux performances humaines, révélant que si les meilleurs modèles approchent les niveaux humains, des défis importants subsistent en matière de traduction translinguistique et de compréhension spécifique au domaine.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'intelligence artificielle a appris à lire et à écrire avec une fluidité qui rivalise souvent avec la conversation humaine. Ces systèmes, connus sous le nom de grands modèles de langage, sont entraînés sur de vastes quantités de textes provenant d'Internet, de livres et d'articles, ce qui leur permet de répondre à des questions, de résumer des histoires et de résoudre des problèmes. Cependant, leur connaissance n'est pas répartie de manière uniforme. Comme la majorité des données utilisées pour les enseigner proviennent de sources anglophones, ces modèles ont tendance à mieux comprendre l'anglais que les autres langues. Cela crée un écart significatif lorsque la technologie est appliquée à des domaines spécialisés comme la médecine, où les directives, les maladies et les traitements peuvent varier d'un pays à l'autre. Si un médecin en Pologne s'appuie sur une IA principalement entraînée sur des données médicales américaines ou britanniques, les conseils pourraient ne pas correspondre à la réalité locale, ce qui pourrait conduire à des erreurs de diagnostic ou de traitement.
Des chercheurs en Pologne ont entrepris de mesurer précisément la capacité de ces esprits artificiels à réfléchir comme un médecin polonais. Ils ont créé un nouveau terrain d'essai basé sur les examens réels que les étudiants en médecine et les spécialistes doivent réussir pour exercer dans leur pays. Ces examens sont rigoureux, couvrant tout, de l'anatomie de base aux procédures chirurgicales complexes, et ils sont rédigés en polonais. L'équipe a rassemblé plus de 22 000 questions issues de ces tests réels, incluant certaines qui avaient été professionnellement traduites en anglais. En soumettant ces questions à divers modèles d'IA, ils ont pu voir si les machines pouvaient franchir les mêmes obstacles que les étudiants humains, et si la langue de la question modifiait le résultat.
Les résultats ont brossé un tableau clair de la situation de ces modèles. Les systèmes d'intelligence artificielle les plus avancés, particulièrement un modèle connu sous le nom de GPT-4o, ont obtenu des performances remarquables, répondant correctement à près de 90 pour cent des questions de l'examen général de licence médicale. Ce score est suffisamment élevé pour que le modèle réussisse le test aux côtés d'un étudiant en médecine typique. Cependant, l'histoire change lorsque les questions deviennent plus difficiles ou spécialisées. Lorsque les chercheurs ont testé les modèles sur des examens pour les étudiants en dentisterie et sur des tests avancés pour les spécialistes médicaux, les scores ont chuté de manière significative. Même la meilleure IA a eu des difficultés avec l'examen de dentisterie, et lors des examens de spécialisation, elle n'a pas réussi à surpasser le médecin humain moyen dans plus de 30 pour cent des domaines médicaux testés. Dans certains domaines spécifiques, tels que l'audiologie et l'oto-rhino-laryngologie, l'IA a moins bien performé que chaque être humain ayant passé le test cette année-là.
Une partie cruciale de l'étude consistait à comparer la manière dont les modèles traitaient les mêmes questions en polonais et en anglais. Les chercheurs ont constaté que, pour la plupart des modèles, la langue faisait une énorme différence. Lorsqu'une question était posée en anglais, l'IA était beaucoup plus susceptible de donner la bonne réponse que lorsqu'on lui posait exactement la même question en polonais. Cela suggère que les modèles ne comprennent pas réellement les concepts médicaux de manière universelle ; au lieu de cela, ils s'appuient sur des schémas qu'ils ont appris à partir de textes anglais. À mesure que les modèles devenaient plus grands et plus puissants, cet écart entre les langues commençait à se réduire, mais il ne disparaissait pas entièrement. Un modèle conçu spécifiquement pour la langue polonaise a mieux performé sur les questions en polonais que sur celles en anglais, mais il ne pouvait toujours pas égaler la puissance brute des plus grands modèles généralistes lorsqu'ils étaient interrogés en anglais.
L'étude a également souligné que réussir un test à choix multiples n'est pas la même chose qu'être un médecin compétent. Les examens utilisés dans l'étude sont des tests écrits où un étudiant sélectionne la bonne réponse dans une liste d'options. La pratique médicale réelle implique cependant de parler aux patients, d'écouter leurs récits, d'examiner leurs corps et de prendre des décisions lorsqu'il n'y a pas de réponse unique correcte. Les chercheurs ont insisté sur le fait que, bien que ces outils d'IA soient impressionnants, ils ne peuvent pas encore remplacer l'interaction humaine et le jugement complexe requis dans un hôpital. Les modèles peuvent être des assistants utiles, aidant à organiser l'information ou à rédiger des rapports, mais ils ne sont pas prêts à prendre la place d'un médecin agréé.
En fin de compte, ce travail sert d'avertissement et de guide pour l'avenir de la technologie médicale. Il montre que, bien que l'intelligence artificielle s'améliore pour répondre aux questions médicales, elle n'est pas encore assez fiable pour être acceptée aveuglément, surtout lorsque la langue ou la spécialité médicale change. Les conclusions suggèrent qu'avant que ces outils ne soient utilisés en clinique, ils doivent être testés rigoureusement dans les langues et les contextes spécifiques où ils seront utilisés. L'écart de performance entre l'anglais et le polonais prouve qu'un modèle entraîné sur un ensemble de données ne peut pas simplement être supposé fonctionner parfaitement dans un autre. À mesure que la technologie évolue, l'objectif est de créer des systèmes qui ne sont pas seulement intelligents, mais aussi équitables et précis pour les patients du monde entier, quelle que soit la langue qu'ils parlent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.