Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions

In der sich schnell entwickelnden Landschaft der künstlichen Intelligenz ist eine neue Generation von Computerprogrammen entstanden, die in der Lage ist, die menschliche Sprache mit bemerkenswerter Flüssigkeit zu verstehen und zu generieren. Diese Systeme, bekannt als große Sprachmodelle, werden auf riesigen Mengen an Text trainert, was es ihnen ermöglicht, Fragen zu beantworten, Geschichten zu schreiben und Probleme zu lösen, die einst menschliches Fachwissen erforderten. Vor kurzem haben diese Werkzeuge begonnen, auch Bilder neben Worten wahrzunehmen, wodurch sie die Fähigkeit erlangten, Diagramme, Grafiken und Fotografien zusammen mit Text zu interpretieren. Diese multimodale Fähigkeit ist entscheidend für reale Anwendungen, in denen Informationen selten nur in Textform vorliegen. Es bleibt jedoch eine kritische Frage: Können diese hochentwickelten Systeme wirklich das komplexe visuelle und textuelle Verständnis aufbringen, das in hochsensiblen professionellen Bereichen wie der Pharmazie erforderlich ist? Die Antwort ist nicht nur für Technologiebegeisterte von Bedeutung, sondern auch für die Zukunft der medizinischen Ausbildung und der beruflichen Zertifizierung, wo die Fähigkeit, ein Arzneimitteletikett, eine chemische Struktur oder ein medizinisches Bild korrekt zu interpretieren, direkte Auswirkungen auf die Patientensicherheit haben kann.

Um dies zu untersuchen, setzten sich Forscher der Shantou University und angeschlossener Krankenhäuser in China zum Ziel, drei spezifische Versionen eines leistungsstarken neuen KI-Modells, bezeichnet als GPT-5.6, gegen die chinesische staatliche Prüfung für Apotheker (2025 Chinese Licensed Pharmacist Qualification Examination) zu testen. Dies ist eine anspruchsvolle nationale Prüfung, die Apotheker bestehen müssen, um in China legal praktizieren zu dürfen. Die Prüfung umfasst vier verschiedene Fächer, die von pharmazeutischem Fachwissen bis hin zu Gesetzen und Vorschriften reichen, und erfordert in jedem Abschnitt eine Punktzahl von mindestens 60 Prozent, um zu bestehen. Die Forscher waren besonders daran interessiert, wie die Modelle mit Fragen umgingen, die Bilder enthielten – ein häufiges Merkmal in medizinischen Tests, das viele bisherige Studien ignoriert hatten. Sie wollten sehen, ob die Modelle die Prüfung bestehen könnten, ob sich verschiedene Versionen derselben Modellfamilie unterschiedlich verhalten würden und ob die Bereitstellung der tatsächlichen Bilddateien die Antworten des Computers verbesserte im Vergleich dazu, dem Computer lediglich mitzuteilen, dass ein Bild existiert.

Das Team erstellte einen Datensatz unter Verwendung eines weit verbreiteten Studienführers für die Prüfung 2025, der insgesamt 400 Fragen enthielt, wobei 100 Fragen aus jedem der vier Fächer stammten. Sie extrahierten sorgfältig den Text, die richtigen Antworten und die Bilder und organisierten diese so, dass die künstliche Intelligenz unter kontrollierten Bedingungen getestet werden konnte. Die Studie konzentrierte sich auf drei spezifische Varianten des GPT-5.6-Modells namens Sol, Terra und Luna. Diesen Modellen wurden die Prüfungsfragen nacheinander vorgelegt, wobei sie wie ein erfahrener Apotheker agierten, der die richtige Antwort aus einer Liste von Optionen auswählen muss. Für die Fragen, die Bilder enthielten, führten die Forscher zwei Arten von Tests durch: einen, bei dem der Computer die tatsächliche Bilddatei zusammen mit dem Text erhielt, und einen anderen, bei dem der Computer nur den Text und einen Platzhalter erhielt, der angab, wo sich ein Bild befinden sollte, ohne die visuellen Daten selbst zu erhalten. Dies ermöglichte es den Forschern, genau zu messen, wie sehr die visuellen Informationen den Modellen halfen, die Aufgaben zu lösen.

Die Ergebnisse zeigten, dass alle drei Modelle in der Lage waren, die gesamte Prüfung zu bestehen, wobei sie in jedem einzelnen Fach Werte weit über der für eine Lizenz erforderlichen 60-Prozent-Schwelle erreichten. Jedoch erbrachten nicht alle Modelle die gleiche Leistung. Die Modelle GPT-5.6-Sol und GPT-5.6-Terra schnitten signifikant besser ab als das Modell GPT-5.6-Luna. Die Sol-Version erreichte eine Gesamtgenauigkeit von 91,5 Prozent, während Terra 89,0 Prozent erzielte. Im Gegensatz dazu erreichte Luna 83,3 Prozent. Obwohl alle drei bestanden, bestätigte die statistische Analyse, dass der Unterschied zwischen den beiden leistungsstärkeren Modellen und dem Luna-Modell nicht auf Zufall beruhte. Die Forscher fanden auch heraus, dass die Modelle generell bei Fragen, die nur Text enthielten, besser abschnitten als bei solchen, die Bilder beinhalteten. Beim Sol-Modell sank die Genauigkeit um mehr als 15 Prozentpunkte beim Übergang von rein textbasierten Fragen zu jenen mit Bildern. Dies deutet darauf hin, dass diese Modelle zwar hochfähig sind, die Interpretation visueller Informationen jedoch eine schwierigere Aufgabe für sie darstellt als die Verarbeitung geschriebener Wörter.

Als die Forscher die Auswirkungen der Bereitstellung tatsächlicher Bilder gegenüber bloßen Textplatzhaltern untersuchten, beobachteten sie einen klaren Trend: Die Modelle antworteten korrekter, wenn sie die Bilder tatsächlich sehen konnten. Für das Sol-Modell stieg die Genauigkeit bei bildbasierten Fragen von 66,7 Prozent ohne Bilder auf 81,0 Prozent mit Bildern. Ähnliche Verbesserungen zeigten sich bei den anderen beiden Modellen, wobei Terra und Luna beide eine Steigerung von etwa 19 Prozentpunkten aufwiesen, wenn die visuellen Daten einbezogen wurden. Da die Anzahl der bildbasierten Fragen in der Prüfung jedoch relativ gering war, merkten die Forscher an, dass diese spezifischen Verbesserungen nicht das strenge Niveau an statistischer Sicherheit erreichten, das erforderlich wäre, um sie als definitiven Beweis zu bezeichnen. Die Studie unterschied zudem zwischen Bildern, die in der Frage selbst erschienen, und solchen, die in den Antwortmöglichkeiten auftauchten. Die Daten deuteten darauf hin, dass Bilder in den Antwortoptionen besonders wichtig waren, da die Modelle mehr Schwierigkeiten hatten, wenn diese visuellen Hinweise fehlten, obwohl die kleine Stichprobengröße eine fundierte Schlussfolgerung zu diesem spezifischen Punkt verhinderte.

Die Studie kommt zu dem Schluss, dass diese fortschrittlichen Modelle der künstlichen Intelligenz zwar ein Kompetenzniveau erreicht haben, mit dem sie eine anspruchsvolle pharmazeutische Fachprüfung bestehen können, ihre Leistung jedoch nicht über alle Modellvarianten hinweg einheitlich ist und sie weiterhin vor Herausforderungen mit visuellen Daten stehen. Die Forscher betonen, dass die Fähigkeit der Modelle, die Prüfung zu bestehen, nicht bedeutet, dass sie bereit sind, menschliche Apotheker zu ersetzen oder als einziges Instrument für medizinische Bewertungen ohne weitere Validierung eingesetzt zu werden. Stattdessen deuten die Ergebnisse auf eine potenzielle Zukunft hin, in der diese Werkzeuge professionelle Kräfte unterstützen könnten, indem sie helfen, personalisierte Trainingsprogramme zu erstellen, Wissenslücken zu identifizieren und bei der Vorbereitung auf Zertifizierungsprüfungen zu assistieren. Die Forschung hebt hervor, dass für künstliche Intelligenz, um in komplexen medizinischen Feldern wirklich effektiv zu sein, eine nahtlose Integration von sowohl textuellen als auch visuellen Informationen erforderlich ist – eine Fähigkeit, die sich zwar verbessert, aber noch verfeinert werden muss.