Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions
Este estudio evalúa tres modelos GPT-5.6 en el Examen de Calificación de Farmacéutico Licenciado de China de 2025, encontrando que todos los modelos aprobaron todas las materias con GPT-5.6-Sol y GPT-5.6-Terra superando significativamente a GPT-5.6-Luna, al tiempo que señala que el rendimiento en las preguntas que contienen imágenes fue generalmente menor y potencialmente influenciado por la provisión de entradas de imágenes originales.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el panorama de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de programas informáticos capaces de comprender y generar lenguaje humano con una fluidez notable. Estos sistemas, conocidos como modelos de lenguaje extensos, son entrenados con vastas cantidades de texto, lo que les permite responder preguntas, escribir historias y resolver problemas que antes requerían la experiencia humana. Recientemente, estas herramientas han comenzado a ver imágenes además de palabras, adquiriendo la capacidad de interpretar gráficos, diagramas y fotografías junto con el texto. Esta capacidad multimodal es crucial para aplicaciones en el mundo real, donde la información rara vez se presenta únicamente en texto. Sin embargo, persiste una pregunta crítica: ¿pueden estos sofisticados sistemas comprender verdaderamente la compleja información visual y textual requerida en campos profesionales de alto riesgo, como la farmacia? La respuesta es importante no solo para los entusiastas de la tecnología, sino también para el futuro de la educación médica y la certificación profesional, donde la capacidad de interpretar correctamente una etiqueta de medicamento, una estructura química o una imagen médica puede tener consecuencias directas para la seguridad del paciente.
Para investigar esto, investigadores de la Universidad de Shantou y hospitales afiliados en China se propusieron probar tres versiones específicas de un nuevo y potente modelo de inteligencia artificial, designado como GPT-5.6, frente al Examen de Calificación de Farmacéutico Licenciado de China 2025. Este es un examen nacional riguroso que los farmacéuticos deben aprobar para ejercer legalmente en China. El examen cubre cuatro materias distintas, que van desde el conocimiento farmacéutico profesional hasta leyes y regulaciones, y requiere una puntuación de al menos el 60 por ciento en cada sección para aprobar. Los investigadores estaban particularmente interesados en cómo los modelos manejaban las preguntas que incluían imágenes, una característica común en las pruebas médicas que muchos estudios previos habían ignorado. Querían ver si los modelos podían aprobar el examen, si diferentes versiones de la misma familia de modelos se desempeñaban de manera distinta, y si proporcionar los archivos de imagen reales al ordenador mejoraba sus respuestas en comparación con simplemente decirle al ordenador que existía una imagen.
El equipo construyó un conjunto de datos utilizando una guía de estudio ampliamente utilizada para el examen de 2025, que contenía un total de 400 preguntas, con 100 preguntas de cada una de las cuatro materias. Extrajeron cuidadosamente el texto, las respuestas correctas y las imágenes, organizándolos de modo que la inteligencia artificial pudiera ser probada bajo condiciones controladas. El estudio se centró en tres variantes específicas del modelo GPT-5.6, llamadas Sol, Terra y Luna. Estos modelos recibieron las preguntas del examen una por una, actuando como un farmacéutico sénior que debe elegir la respuesta correcta de una lista de opciones. Para las preguntas que contenían imágenes, los investigadores realizaron dos tipos de pruebas: una donde el ordenador recibía el archivo de imagen real junto con el texto, y otra donde el ordenador recibía solo el texto y una nota de marcador de posición indicando dónde debería haber una imagen, sin los datos visuales propiamente dichos. Esto permitió a los investigadores medir exactamente cuánto ayudó la información visual a los modelos a resolver los problemas.
Los resultados mostraron que los tres modelos eran capaces de aprobar el examen completo, logrando puntuaciones muy por encima del umbral del 60 por ciento requerido para una licencia en cada una de las materias. Sin embargo, no todos los modelos se desempeñaron por igual. Los modelos GPT-5.6-Sol y GPT-5.6-Terra superaron significativamente al modelo GPT-5.6-Luna. La versión Sol alcanzó una precisión general del 91.5 por ciento, mientras que Terra obtuvo un 89.0 por ciento. En contraste, Luna obtuvo un 83.3 por ciento. Aunque los tres aprobaron, el análisis estadístico confirmó que la diferencia entre los dos mejores ejecutores y el modelo Luna no se debió al azar. Los investigadores también encontraron que los modelos generalmente funcionaban mejor en preguntas que contenían solo texto en comparación con aquellas que incluían imágenes. Para el modelo Sol, la precisión cayó más de 15 puntos porcentuales al pasar de preguntas de solo texto a aquellas con imágenes. Esto sugiere que, si bien estos modelos son altamente capaces, la interpretación de la información visual sigue siendo una tarea más desafiante para ellos que el procesamiento de palabras escritas.
Cuando los investigadores examinaron el impacto de proporcionar imágenes reales frente a solo marcadores de posición de texto, observaron una tendencia clara: los modelos respondían más correctamente cuando podían ver realmente las imágenes. Para el modelo Sol, la precisión en las preguntas con imágenes aumentó del 66.7 por ciento sin imágenes al 81.0 por ciento con imágenes. Se observaron mejoras similares para los otros dos modelos, con Terra y Luna mostrando aproximadamente un aumento de 19 puntos porcentuales cuando se incluían los datos visuales. Sin embargo, debido a que el número de preguntas basadas en imágenes en el examen era relativamente pequeño, los investigadores señalaron que estas mejoras específicas no alcanzaron el nivel estricto de certeza estadística requerido para ser llamadas pruebas definitivas. El estudio también distinguió entre las imágenes que aparecían en la propia pregunta y aquellas que aparecían en las opciones de respuesta. Los datos sugirieron que las imágenes en las opciones de respuesta eran particularmente importantes, ya que los modelos tenían más dificultades cuando estas pistas visuales faltaban, aunque el pequeño tamaño de la muestra impidió una conclusión firme sobre este punto específico.
El estudio concluye que, si bien estos modelos avanzados de inteligencia artificial han alcanzado un nivel de competencia que les permite aprobar un exigente examen de farmacia profesional, su desempeño no es uniforme en todas las variantes del modelo, y todavía enfrentan desafíos con los datos visuales. Los investigadores enfatizan que la capacidad de los modelos para aprobar el examen no significa que estén listos para reemplazar a los farmacéuticos humanos o para ser utilizados como la única herramienta de evaluación médica sin una validación adicional. En cambio, los hallazgos sugieren un futuro potencial donde estas herramientas podrían apoyar a los profesionales humanos ayudando a crear programas de capacitación personalizados, identificando brechas de conocimiento y asistiendo en la preparación para exámenes de certificación. La investigación destaca que, para que la inteligencia artificial sea verdaderamente efectiva en campos médicos complejos, debe ser capaz de integrar de manera fluida tanto la información textual como la visual, una capacidad que está mejorando pero que aún requiere refinamiento.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.