Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions

In het snel evoluerende landschap van kunstmatige intelligentie is een nieuwe generatie computerprogramma's opgekomen die menselijke taal met een opmerkelijke vloeiendheid kunnen begrijpen en genereren. Deze systemen, bekend als grote taalmodellen, zijn getraind op enorme hoeveelheden tekst, waardoor ze vragen kunnen beantwoorden, verhalen kunnen schrijven en problemen kunnen oplossen die voorheen menselijke expertise vereisten. Onlangs zijn deze tools ook in staat geworden om afbeeldingen naast woorden te zien, waardoor ze de mogelijkheid hebben gekregen om grafieken, diagrammen en foto's te interpreteren naast tekst. Deze multimodale capaciteit is cruciaal voor praktische toepassingen in de echte wereld, waar informatie zelden alleen in tekst wordt gepresenteerd. Er blijft echter een kritische vraag bestaan: kunnen deze geavanceerde systemen werkelijk de complexe visuele en tekstuele informatie begrijpen die vereist is in hoogwaardige professionele velden, zoals de farmacie? Het antwoord is niet alleen van belang voor technologie-enthousiastelingen, maar ook voor de toekomst van medisch onderwijs en professionele certificering, waarbij het vermogen om een medicijnlabel, een chemische structuur of een medische afbeelding correct te interpreteren, directe gevolgen kan hebben voor de patiëntveiligheid.

Om dit te onderzoeken, hebben onderzoekers aan de Shantou Universiteit en verbonden ziekenhuizen in China besloten om drie specifieke versies van een krachtig nieuw kunstmatig intelligentiemodel, aangeduid als GPT-5.6, te testen tegen het Chinese examen voor de kwalificatie van erkend apotheker uit 2025. Dit is een rigoureus nationaal examen dat apothekers moeten halen om legaal te mogen praktiseren in China. Het examen behandelt vier verschillende onderwerpen, variërend van professionele farmaceutische kennis tot wetten en regelgeving, en vereist een score van ten minste 60 procent in elk onderdeel om te slagen. De onderzoekers waren bijzonder geïnteresseerd in hoe de modellen omgingen met vragen die afbeeldingen bevatten, een veelvoorkomend kenmerk in medische toetsing dat veel eerdere studies hadden genegeerd. Ze wilden zien of de modellen het examen konden halen, of verschillende versies van hetzelfde modelgezin anders presteerden, en of het verstrekken van de werkelijke afbeeldingsbestanden aan de computer de antwoorden verbeterde vergeleken met simpelweg de computer vertellen dat er een afbeelding aanwezig was.

Het team stelde een dataset samen met behulp van een veelgebruikte studiegids voor het examen van 2025, die in totaal 400 vragen bevatte, met 100 vragen uit elk van de vier onderwerpen. Ze extraheerden zorgvuldig de tekst, de juiste antwoorden en de afbeeldingen, en organiseerden deze zodat de kunstmatige intelligentie onder gecontroleerde omstandigheden getest kon worden. De studie richtte zich op drie specifieke varianten van het GPT-5.6-model, genaamd Sol, Terra en Luna. Deze modellen werden de examenvragen één voor één gevoerd, waarbij ze optraden als een senior apotheker die het juiste antwoord moet kiezen uit een lijst met opties. Voor de vragen die afbeeldingen bevatten, voerden de onderzoekers twee soorten tests uit: één waarbij de computer het werkelijke afbeeldingsbestand samen met de tekst ontving, en een andere waarbij de computer alleen de tekst en een tijdelijke aanduiding ontving die aangaf waar een afbeelding zou staan, zonder de visuele gegevens zelf. Dit stelde de onderzoekers in staat om exact te meten hoeveel de visuele informatie de modellen hielp bij het oplossen van de problemen.

De resultaten toonden aan dat alle drie de modellen in staat waren om het volledige examen te halen, waarbij ze scores behaalden die ruim boven de vereiste drempel van 60 procent voor een licentie lagen in elk afzonderlijk onderwerp. Niet alle modellen presteerden echter gelijk. De GPT-5.6-Sol en GPT-5.6-Terra modellen presteerden aanzienlijk beter dan het GPT-5.6-Luna model. De Sol-versie bereikte een algemene nauwkeurigheid van 91,5 procent, terwijl Terra een score van 89,0 procent behaalde. In contrast hiermee scoorde Luna 83,3 procent. Hoewel alle drie de modellen slaagden, bevestigde de statistische analyse dat het verschil tussen de twee beste presteerders en het Luna-model niet door toeval kwam. De onderzoekers ontdekten ook dat de modellen over het algemeen beter presteerden op vragen die alleen tekst bevatten vergeleken met vragen die afbeeldingen bevatten. Voor het Sol-model daalde de nauwkeurigheid met meer dan 15 procentpunten bij de overgang van tekstonly-vragen naar vragen met afbeeldingen. Dit suggereert dat hoewel deze modellen zeer capabel zijn, het interpreteren van visuele informatie nog steeds een moeilijkere taak voor hen is dan het verwerken van geschreven woorden.

Toen de onderzoekers het effect onderzochten van het verstrekken van werkelijke afbeeldingen versus alleen tekstplaceholders, observeerden zij een duidelijke trend: de modellen gaven meer correcte antwoorden wanneer ze de afbeeldingen daadwerkelijk konden zien. Voor het Sol-model steeg de nauwkeurigheid op vragen met afbeeldingen van 66,7 procent zonder afbeeldingen naar 81,0 procent met afbeeldingen. Vergelijkbare verbeteringen werden gezien bij de andere twee modellen, waarbij zowel Terra als Luna beide ongeveer een stijging van 19 procentpunten lieten zien wanneer de visuele gegevens werden opgenomen. Vanwege het relatief kleine aantal op afbeeldingen gebaseerde vragen in het examen, merkten de onderzoekers echter op dat deze specifieke verbeteringen niet het strikte niveau van statistische zekerheid bereikten dat vereist is om als definitief bewijs te worden beschouwd. De studie maakte ook onderscheid tussen afbeeldingen die in de vraag zelf verschenen en afbeeldingen die in de antwoordopties verschenen. De gegevens suggereerden dat afbeeldingen in de antwoordopties bijzonder belangrijk waren, aangezien de modellen meer moeite hadden wanneer deze visuele aanwijzingen ontbraken, hoewel de kleine steekproefomvang een definitieve conclusie over dit specifieke punt verhinderde.

De studie concludeert dat hoewel deze geavanceerde kunstmatige intelligentiemodellen een niveau van bekwaamheid hebben bereikt waarbij ze een veeleisend farmaceutisch examen kunnen halen, hun prestaties niet uniform zijn over alle modelvarianten en dat ze nog steeds uitdagingen ervaren met visuele gegevens. De onderzoekers benadrukken dat het vermogen van de modellen om het examen te halen niet betekent dat ze klaar zijn om menselijke apothekers te vervangen of om als het enige hulpmiddel voor medische beoordeling te worden gebruikt zonder verdere validatie. In plaats daarvan suggereren de bevindingen een mogelijke toekomst waarin deze tools professionals kunnen ondersteunen door te helpen bij het creëren van gepersonaliseerde trainingsprogramma's, het identificeren van kennishiaten en het assisteren bij de voorbereiding op certificeringsexamens. Het onderzoek benadrukt dat voor kunstmatige intelligentie om werkelijk effectief te zijn in complexe medische velden, het zowel tekst als visuele informatie naadloos moet kunnen integreren, een capaciteit die weliswaar verbetert, maar nog steeds verfijning vereist.