Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
Cette étude transversale a révélé que, bien que cinq systèmes d'IA générative aient nettement surpassé les étudiants de quatrième année de médecine sur des questions textuelles d'ophtalmologie de premier cycle, la plupart ont éprouvé des difficultés avec les items basés sur des images, soulignant ainsi leur potentiel en tant qu'outils pédagogiques tout en mettant en garde contre l'équivalence entre la performance aux examens et la compétence clinique.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les salles de classe de la médecine moderne, un nouveau genre d'étudiant est discrètement entré dans l'amphithéâtre. Il ne dort pas, il n'oublie pas, et il peut lire des milliers de pages en une seconde. Il s'agit de l'intelligence artificielle générative, un type de programme informatique conçu pour comprendre le langage et générer des réponses qui semblent provenir d'un être humain. Ces systèmes, souvent appelés modèles de langage étendus, sont devenus des outils courants pour l'apprentissage, aidant les étudiants à expliquer des idées complexes ou à préparer des examens. Mais alors que ces machines deviennent de plus en mieux capables de lire et de raisonner, une question critique demeure : comprennent-elles réellement le monde visuel de la médecine ? Dans des domaines comme l'ophtalmologie, l'étude des yeux, le diagnostic dépend souvent de la détection de motifs subtils dans des photographies de la rétine ou de l'intérieur de l'œil. Pour un médecin humain, voir, c'est croire. Pour une machine, voir est un défi bien plus difficile. À mesure que ces outils s'intègrent davantage dans l'enseignement, les éducateurs doivent savoir s'ils se contentent de mimer le savoir ou s'ils peuvent réellement voir ce qu'un étudiant voit.
Pour trouver la réponse, une équipe de chercheurs de l'Université de Porto, au Portugal, a mis cinq des systèmes d'intelligence artificielle les plus avancés à l'épreuve face à des étudiants en quatrième année de médecine. Les chercheurs ont rassemblé 89 questions à choix multiples issues de véritables examens d'ophtalmologie passés par des étudiants en 2025. Ces questions couvraient un large éventail de pathologies oculaires, du glaucome aux maladies rétiniennes. L'ensemble comprenait 77 questions pouvant être résolues par la seule lecture de texte, et 12 questions nécessitant que le candidat examine une photographie ou une image médicale pour trouver la bonne réponse. Les chercheurs ont ensuite soumis chaque question, accompagnée de son image le cas échéant, à cinq systèmes d'IA différents : GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto et Claude Sonnet 4.5. Les ordinateurs n'ont reçu aucune aide supplémentaire, aucune recherche sur Internet, et aucune possibilité de demander des clarifications ; ils devaient simplement choisir la meilleure réponse parmi les cinq options proposées, tout comme un étudiant le ferait.
Les résultats ont révélé une division frappante entre la capacité des machines à traiter les mots et celle à traiter les images. Sur les questions uniquement textuelles, les systèmes d'intelligence artificielle ont fait preuve d'une compétence remarquable. Trois des cinq systèmes ont obtenu plus de 90 pour cent de bonnes réponses, le meilleur performeur, Gemini 3 Flash, atteignant 95,5 pour cent de précision. En comparaison, l'étudiant en médecine moyen a obtenu environ 73 pour cent de bonnes réponses. Cela signifie que sur les questions basées sur le texte, les meilleurs systèmes d'IA surpassaient la vaste majorité des étudiants humains, se classant dans les percentiles supérieurs de la classe. Cependant, l'histoire change complètement lorsque les questions incluent des images. Lorsque la question exigeait d'examiner une photo d'un œil, la performance de quatre des cinq systèmes d'IA a chuté de manière significative. Alors que les étudiants en médecine maintenaient leur niveau de précision, qu'il s'agisse de questions textuelles ou basées sur des images, les machines ont eu du mal à interpréter les données visuelles. Par exemple, un système qui avait obtenu 98,7 pour cent aux questions textuelles est tombé à 75 pour cent pour les questions d'images. Un autre est passé de 96 pour cent à 67 pour cent. Seul un système, GPT-4.1 Auto, n'a montré aucune différence significative entre les deux formats, mais il présentait également le score global le plus bas de tous les ordinateurs.
Les chercheurs ont également examiné comment les réponses des machines se comparent à celles des étudiants pour voir s'ils commettaient les mêmes erreurs. Ils ont constaté que les systèmes d'IA ne se contentaient pas de copier les étudiants. En fait, les systèmes ayant obtenu le plus de bonnes réponses étaient souvent ceux qui divergeaient le plus de la majorité des étudiants. Ces machines de haute performance répondaient correctement à de nombreuses questions auxquelles la plupart des étudiants avaient échoué, suggérant qu'elles accédaient à un type de connaissance ou à un processus de raisonnement différent. Inversement, le système ayant la précision globale la plus faible, GPT-4.1 Auto, était celui qui concordait le plus étroitement avec le schéma de réponses des étudiants. Cela indique que si les machines sont puissantes, elles ne pensent pas nécessairement comme les humains, et leurs erreurs ne sont pas les mêmes que les erreurs humaines. L'étude a également montré que les machines étaient meilleures pour répondre aux questions qui étaient plus faciles pour les étudiants, suggérant que la difficulté de la question affecte les humains et les machines de manière similaire.
Malgré ces scores élevés, les chercheurs avertissent que ces résultats ne signifient pas que les machines sont prêtes à remplacer les médecins ou qu'elles possèdent une véritable compétence clinique. L'étude a été menée sur un ensemble spécifique de questions provenant d'une seule université, et le nombre de questions basées sur l'image était relativement faible. Les auteurs soulignent que, bien que ces outils puissent être excellents pour réviser des faits et préparer des examens écrits, on ne peut pas encore leur confier l'interprétation des découvertes visuelles complexes qui sont centrales dans les soins oculaires. La capacité d'observer l'œil d'un patient et de poser un diagnostic est une compétence qui requiert bien plus que la simple sélection de la bonne lettre lors d'un test. Pour l'instant, ces systèmes d'intelligence artificielle servent de puissants outils d'étude qui peuvent aider les étudiants à apprendre, mais ils restent distincts de la capacité humaine à voir et à comprendre le monde de la médecine.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.