Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions

No panorama em rápida evolução da inteligência artificial, surgiu uma nova geração de programas de computador que podem compreender e gerar linguagem humana com uma fluência notável. Estes sistemas, conhecidos como modelos de linguagem de grande escala, são treinados em vastas quantidades de texto, permitindo-lhes responder a perguntas, escrever histórias e resolver problemas que outrora exigiam o conhecimento de especialistas humanos. Recentemente, estas ferramentas começaram a ver imagens além de palavras, adquirindo a capacidade de interpretar gráficos, diagramas e fotografias juntamente com o texto. Esta capacidade multimodal é crucial para aplicações no mundo real, onde a informação raramente é apresentada apenas em texto. No entanto, permanece uma questão crítica: poderão estes sistemas sofisticados compreender verdadeiramente a complexa informação visual e textual necessária em campos profissionais de alto risco, como a farmácia? A resposta importa não apenas para os entusiastas da tecnologia, mas para o futuro da educação médica e da certificação profissional, onde a capacidade de interpretar corretamente um rótulo de medicamento, uma estrutura química ou uma imagem médica pode ter consequências diretas para a segurança do paciente.

Para investigar isto, investigadores da Universidade de Shantou e de hospitais afiliados na China propuseram-se testar três versões específicas de um novo e poderoso modelo de inteligência artificial, designado como GPT-5.6, contra o Exame de Qualificação de Farmacêutico Licenciado da China de 2025. Este é um exame nacional rigoroso que os farmacêuticos devem passar para exercer legalmente na China. O exame abrange quatro disciplinas distintas, que vão desde o conhecimento farmacêutico profissional até leis e regulamentos, e exige uma pontuação de pelo menos 60 por cento em cada secção para ser aprovado. Os investigadores estavam particularmente interessados em como os modelos lidavam com questões que incluíam imagens, uma característica comum em testes médicos que muitos estudos anteriores tinham ignorado. Eles queriam ver se os modelos conseguiam passar no exame, se diferentes versões da mesma família de modelos apresentavam desempenhos distintos e se fornecer os ficheiros de imagem reais ao computador melhorava as suas respostas em comparação com simplesmente dizer ao computador que uma imagem existia.

A equipa construiu um conjunto de dados utilizando um guia de estudo amplamente utilizado para o exame de 2025, que continha 400 questões no total, sendo 100 questões de cada uma das quatro disciplinas. Eles extraíram cuidadosamente o texto, as respostas corretas e as imagens, organizando-os para que a inteligência artificial pudesse ser testada sob condições controladas. O estudo focou-se em três variantes específicas do modelo GPT-5.6, chamadas Sol, Terra e Luna. Estes modelos foram alimentados com as questões do exame uma a uma, atuando como um farmacêutico sénior que deve escolher a resposta correta a partir de uma lista de opções. Para as questões contendo imagens, os investigadores realizaram dois tipos de testes: um onde o computador recebia o ficheiro de imagem real juntamente com o texto, e outro onde o computador recebia apenas o texto e uma nota de marcador de posição indicando onde uma imagem deveria estar, sem os dados visuais propriamente ditos. Isto permitiu aos investigadores medir exatamente o quanto a informação visual ajudou os modelos a resolver os problemas.

Os resultados mostraram que todos os três modelos eram capazes de passar no exame completo, alcançando pontuações bem acima do limite de 60 por cento necessário para uma licença em cada disciplina. No entanto, nem todos os modelos tiveram um desempenho igual. Os modelos GPT-5.6-Sol e GPT-5.6-Terra superaram significativamente o modelo GPT-5.6-Luna. A versão Sol alcançou uma precisão global de 91,5 por cento, enquanto a Terra obteve 89,0 por cento. Em contraste, a Luna obteve 83,3 por cento. Embora todos tenham passado, a análise estatística confirmou que a diferença entre os dois melhores desempenhos e o modelo Luna não se devia ao acaso. Os investigadores também descobriram que os modelos geralmente desempenhavam melhor em questões que continham apenas texto do que naquelas que incluíam imagens. Para o modelo Sol, a precisão caiu mais de 15 pontos percentuais ao passar de questões apenas de texto para aquelas com imagens. Isto sugere que, embora estes modelos sejam altamente capazes, a interpretação de informação visual continua a ser uma tarefa mais desafiante para eles do que o processamento de palavras escritas.

Quando os investigadores examinaram o impacto de fornecer imagens reais versus apenas marcadores de posição de texto, observaram uma tendência clara: os modelos respondiam mais corretamente quando podiam realmente ver as imagens. Para o modelo Sol, a precisão em questões contendo imagens subiu de 66,7 por cento sem imagens para 81,0 por cento com imagens. Melhorias semelhantes foram observadas nos outros dois modelos, com Terra e Luna mostrando ambos um aumento de aproximadamente 19 pontos percentuais quando os dados visuais foram incluídos. No entanto, devido ao facto de o número de questões baseadas em imagens no exame ser relativamente pequeno, os investigadores notaram que estas melhorias específicas não atingiram o nível estrito de certeza estatística necessário para serem chamadas de prova definitiva. O estudo também distinguiu entre imagens que apareciam na própria questão e aquelas que apareciam nas opções de resposta. Os dados sugeriram que as imagens nas opções de resposta eram particularmente importantes, pois os modelos tinham mais dificuldade quando estas pistas visuais estavam ausentes, embora o pequeno tamanho da amostra tenha impedido uma conclusão definitiva sobre este ponto específico.

O estudo conclui que, embora estes modelos avançados de inteligência artificial tenham atingido um nível de proficiência que lhes permite passar num exigente exame de farmácia, o seu desempenho não é uniforme entre todas as variantes de modelos e ainda enfrentam desafios com dados visuais. Os investigadores enfatizam que a capacidade dos modelos de passar no exame não significa que estejam prontos para substituir farmacêuticos humanos ou para serem usados como a única ferramenta de avaliação médica sem validação adicional. Em vez disso, as descobertas sugerem um futuro potencial onde estas ferramentas poderiam apoiar profissionais humanos, ajudando a criar programas de formação personalizados, identificando lacunas de conhecimento e auxiliando na preparação para exames de certificação. A investigação destaca que, para a inteligência artificial ser verdadeiramente eficaz em campos médicos complexos, deve ser capaz de integrar perfeitamente tanto a informação textual como a visual, uma capacidade que está a melhorar, mas que ainda requer refinamento.