Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions
Cette étude évalue trois modèles GPT-5.6 lors de l'examen de qualification de pharmacien agréé chinois de 2025, constatant que tous les modèles ont réussi toutes les matières avec GPT-5.6-Sol et GPT-5.6-Terra surpassant de manière significative GPT-5.6-Luna, tout en notant que la performance sur les questions contenant des images était généralement plus faible et potentiellement influencée par la fourniture des entrées d'images originales.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le paysage en évolution rapide de l'intelligence artificielle, une nouvelle génération de programmes informatiques a émergé, capable de comprendre et de générer le langage humain avec une fluidité remarquable. Ces systèmes, connus sous le nom de grands modèles de langage, sont entraînés sur de vastes quantités de texte, ce qui leur permet de répondre à des questions, d'écrire des histoires et de résoudre des problèmes qui nécessitaient autrefois l'expertise humaine. Récemment, ces outils ont commencé à percevoir les images en plus des mots, acquérant la capacité d'interpréter des graphiques, des diagrammes et des photographies aux côtés du texte. Cette capacité multimodale est cruciale pour les applications du monde réel, où l'information est rarement présentée uniquement sous forme de texte. Cependant, une question critique demeure : ces systèmes sophistiqués peuvent-ils réellement comprendre les informations visuelles et textuelles complexes requises dans des domaines professionnels à enjeux élevés, tels que la pharmacie ? La réponse importe non seulement pour les passionnés de technologie, mais aussi pour l'avenir de l'enseignement médical et de la certification professionnelle, où la capacité d'interpréter correctement une étiquette de médicament, une structure chimique ou une image médicale peut avoir des conséquences directes sur la sécurité des patients.
Pour mener cette investigation, des chercheurs de l'Université de Shantou et des hôpitaux affiliés en Chine ont entrepris de tester trois versions spécifiques d'un nouveau modèle d'intelligence artificielle puissant, désigné sous le nom de GPT-5.6, contre l'examen de qualification de pharmacien agréé chinois de 2025. Il s'agit d'un examen national rigoureux que les pharmaciens doivent réussir pour exercer légalement en Chine. L'examen couvre quatre matières distinctes, allant des connaissances pharmaceutiques professionnelles aux lois et réglementations, et exige un score d'au moins 60 pour cent dans chaque section pour être réussi. Les chercheurs étaient particulièrement intéressés par la manière dont les modèles traitaient les questions incluant des images, une caractéristique commune dans les tests médicaux que de nombreuses études précédentes avaient ignorée. Ils voulaient voir si les modèles pouvaient réussir l'examen, si différentes versions de la même famille de modèles performaient différemment, et si le fait de fournir les fichiers images réels à l'ordinateur améliorait ses réponses par rapport au simple fait de dire à l'ordinateur qu'une image existait.
L'équipe a construit un ensemble de données en utilisant un guide d'étude largement utilisé pour l'examen de 2025, qui contenait un total de 400 questions, soit 100 questions pour chacune des quatre matières. Ils ont soigneusement extrait le texte, les bonnes réponses et les images, les organisant de manière à ce que l'intelligence artificielle puisse être testée dans des conditions contrôlées. L'étude s'est concentrée sur trois variantes spécifiques du modèle GPT-5.6, nommées Sol, Terra et Luna. Ces modèles ont été nourris avec les questions d'examen une par une, agissant comme un pharmacien expérimenté qui doit choisir la bonne réponse parmi une liste d'options. Pour les questions contenant des images, les chercheurs ont effectué deux types de tests : un où l'ordinateur recevait le fichier image réel accompagné du texte, et un autre où l'ordinateur ne recevait que le texte et une note de substitution indiquant qu'une image devrait se trouver là, sans les données visuelles elles-mêmes. Cela a permis aux chercheurs de mesurer précisément à quel point l'information visuelle aidait les modèles à résoudre les problèmes.
Les résultats ont montré que les trois modèles étaient capables de réussir l'examen complet, atteignant des scores bien supérieurs au seuil de 60 pour cent requis pour une licence dans chaque matière. Cependant, tous les modèles ne performaient pas de manière égale. Les modèles GPT-5.6-Sol et GPT-5.6-Terra ont nettement surpassé le modèle GPT-5.6-Luna. La version Sol a atteint une précision globale de 91,5 pour cent, tandis que Terra a obtenu 89,0 pour cent. En revanche, Luna a obtenu 83,3 pour cent. Bien que les trois aient réussi, l'analyse statistique a confirmé que la différence entre les deux meilleurs performeurs et le modèle Luna n'était pas due au hasard. Les chercheurs ont également constaté que les modèles performaient généralement mieux sur les questions ne contenant que du texte par rapport à celles incluant des images. Pour le modèle Sol, la précision a chuté de plus de 15 points de pourcentage en passant des questions uniquement textuelles aux questions avec images. Cela suggère que, bien que ces modèles soient très capables, l'interprétation de l'information visuelle reste une tâche plus difficile pour eux que le traitement des mots écrits.
Lorsque les chercheurs ont examiné l'impact de la fourniture d'images réelles plutôt que de simples espaces réservés de texte, ils ont observé une tendance claire : les modèles répondaient plus correctement lorsqu'ils pouvaient réellement voir les images. Pour le modèle Sol, la précision sur les questions contenant des images est passée de 66,7 pour cent sans images à 81,0 pour cent avec les images. Des améliorations similaires ont été observées pour les deux autres modèles, Terra et Luna montrant tous deux une augmentation d'environ 19 points de pourcentage lorsque les données visuelles étaient incluses. Cependant, comme le nombre de questions basées sur des images dans l'examen était relativement faible, les chercheurs ont noté que ces améliorations spécifiques n'atteignaient pas le niveau de certitude statistique strict requis pour être qualifiées de preuves définitives. L'étude a également distingué les images qui apparaissaient dans la question elle-même de celles qui apparaissaient dans les choix de réponses. Les données ont suggéré que les images dans les options de réponse étaient particulièrement importantes, car les modèles éprouvaient plus de difficultés lorsque ces indices visuels manquaient, bien que la petite taille de l'échantillon ait empêché une conclusion ferme sur ce point spécifique.
L'étude conclut que, bien que ces modèles d'intelligence artificielle avancés aient atteint un niveau de compétence leur permettant de réussir un examen de pharmacie professionnel exigeant, leur performance n'est pas uniforme entre toutes les variantes de modèles, et ils font toujours face à des défis avec les données visuelles. Les chercheurs soulignent que la capacité des modèles à réussir l'examen ne signifie pas qu'ils sont prêts à remplacer les pharmaciens humains ou à être utilisés comme l'outil unique d'évaluation médicale sans validation supplémentaire. Au lieu de cela, les conclusions suggèrent un avenir potentiel où ces outils pourraient soutenir les professionnels en aidant à créer des programmes de formation personnalisés, en identifiant les lacunes de connaissances et en assistant la préparation aux examens de certification. La recherche souligne que pour que l'intelligence artificielle soit véritablement efficace dans des domaines médicaux complexes, elle doit être capable d'intégrer de manière fluide tant le texte que l'information visuelle, une capacité qui s'améliore mais qui nécessite encore des raffinements.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.