Performance of Large Language Models as Assistive Tools for Clinical Pharmacists in the Stomatological Hospital: A Multi-dimensional Comparative Study

In der spezialisierten Welt der Zahnkliniken fungieren klinische Apotheker als Hüter der Arzneimittelsicherheit. Ihre Aufgabe ist es, sicherzustellen, dass jedes für orale Erkrankungen verschriebene Medikament die richtige Wahl, die richtige Dosierung und sicher für die spezifische Krankengeschichte des Patienten ist. Diese Arbeit umfasst das Überprüfen von Rezepten, das Kontrollieren gefährlicher Wechselwirkungen und das Anpassen von Behandlungen für Patienten mit komplexen Zuständen wie Nierenerkrankungen oder Leberproblemen. Diese Rolle wird jedoch zunehmend schwieriger. Das Volumen der medizinischen Informationen wächst täglich, Leitlinien ändern sich ständig, und Apotheker stehen oft vor einer hohen Arbeitsbelastung, die wenig Zeit für tiefgehende Recherchen lässt. Sie müssen schnelle, präzise Entscheidungen treffen, während sie Patienten betreuen, die möglicherweise mehrere Medikamente sowohl für orale als auch für systemische Gesundheitsprobleme einnehmen.

Um diesen Druck zu bewältigen, setzen viele Krankenhäuser auf künstliche Intelligenz, insbesondere auf Large Language Models (große Sprachmodelle). Dies sind Computerprogramme, die auf riesigen Mengen an Text trainiert wurden und in der Lage sind, menschliche Sprache zu verstehen und zu generieren. Sie sind darauf ausgelegt, Informationen abzurufen, komplexe Szenarien zu analysieren und Antworten auf Fragen zu geben, die normalerweise jahrelange professionelle Studien erfordern. Die Frage, vor der die medizinische Gemeinschaft steht, ist, ob diese digitalen Werkzeuge wirklich als zuverlässige Assistenten für menschliche Experten fungieren können oder ob sie lediglich hochentwickelte Chatbots sind, die eventuell selbstbewusst, aber falsche Ratschläge geben. Eine neue Studie von Forschern aus China setzte genau hier an, um dies direkt zu testen, indem sie über allgemeine Fragen hinausging und untersuchte, wie gut diese Modelle in der spezifischen, hochsensiblen Umgebung eines Zahnklinik-Alltags abschneiden.

Die Forscher wählten drei der fortschrittlichsten verfügbaren Large Language Models aus: ChatGPT-5.5 Instant, Gemini-3.5 Flash-Lite und DeepSeek-V3. Um sie fair zu testen, erstellte das Team einen Satz von dreißig realistischen Fragen, denen klinische Apotheker im Alltag tatsächlich begegnen. Diese Fragen deckten sechs kritische Bereiche ab: die Dosierung eines Medikaments, Wechselwirkungen zwischen Arzneimitteln, Patienten, die bestimmte Medikamente niemals einnehmen sollten, Medikamente, die nicht im selben Infusionsbeutel gemischt werden dürfen, die Art der Verabreichung sowie die Anpassung der Dosis für Patienten mit Nieren- oder Leberinsuffizienz. Die Fragen reichten von einfachen Fakten bis hin zu komplexen Szenarien, die tiefes medizinisches Denken erfordern.

Fünf erfahrene klinische Apotheker überprüften anschließend die von jedem Modell gelieferten Antworten. Sie wussten nicht, welches Modell welche Antwort generiert hatte, was eine unvoreingenommene Beurteilung sicherstellte. Sie bewerteten die Antworten basierend darauf, wie genau, vollständig und nützlich sie für ein reales pharmazeutisches Umfeld waren. Die Ergebnisse zeigten eine klare Hierarchie in der Leistung. ChatGPT-5.5 Instant lieferte die qualitativ hochwertigsten Antworten und erreichte einen Medianwert, der im Bereich „gut“ bis „exzellent“ lag. DeepSeek-V3 folgte an zweiter Stelle, während Gemini-3.5 Flash-Lite am schlechtesten abschnitt. Die Unterschiede waren statistisch signifikant, was bedeutet, dass die Leistungsunterschiede real waren und nicht auf Zufall beruhten.

Interessanterweise änderte die Schwierigkeit der Fragen nichts an der Rangfolge. Unabhängig davon, ob die Frage einfach oder komplex war, übertraf ChatGPT die anderen Modelle konsequent. Die Studie fand keine Hinweise darauf, dass die Modelle mit zunehmender Schwierigkeit der Fragen schlechter wurden; sie behielten ihre relative Position unabhängig von der Herausforderung bei. Dies deutet darauf hin, dass die Leistung der Modelle durch ihre inhärente Fähigkeit zum logischen Denken und den Zugriff auf Wissen getrieben wird und nicht bloß durch die Fähigkeit, einfache Fakten abzurufen. Die Studie hob jedoch auch eine bedeutende Einschränkung hervor, die bei allen drei Modellen auftrat: ihre Lesbarkeit. Die generierten Antworten waren in einem Stil verfasst, der für den Durchschnittsmenschen sehr schwer zu verstehen war und oft ein Studium auf Hochschulniveau erforderte, um dem Text folgen zu können. Dies ist ein entscheidender Punkt für die klinische Anwendung, da Apotheker diese Konzepte den Patienten erklären müssen und die Modelle derzeit Schwierigkeiten haben, ihre Sprache zu vereinfachen, ohne die Genauigkeit zu verlieren.

Ein weiterer kritischer Befund betraf die Informationsquellen. Die Studie bewertete die Qualität der von den Modellen bereitgestellten Informationsquellen und stellte fest, dass es zwischen den drei Modellen keine statistisch signifikanten Unterschiede bei den Zuverlässigkeitswerten gab. Die Autoren betonten jedoch, dass die breitere Literatur in der Zahnmedizin und verwandten medizinischen Feldern konsistent berichtet, dass Large Language Models häufig fabricierte Referenzen generieren, einschließlich erfundener Buchtitel, Journalnamen und Autoren. Obwohl diese spezifische Studie die Qualität der Quellen bewertete, bedeutet das weit verbreitete Problem der „halluzinierten“ Zitate in der breiteren Fachwelt, dass keines der Modelle derzeit als alleinige Wahrheitsquelle ohne Verifizierung sicher zu verwenden ist. Sie können offizielle Arzneimitteldatenbanken oder das Urteilsvermögen eines lizenzierten Apothekers nicht ersetzen.

Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz großes Potenzial als Assistenten für klinische Apotheker in Zahnkliniken aufweisen. Sie können eine Vielzahl von Aufgaben zur Arzneimittelinformation mit einer Qualität bewältigen, die für die professionelle Unterstützung akzeptabel ist. Sie müssen jedoch als Werkzeuge zur Unterstützung menschlicher Entscheidungsfindung betrachtet werden, nicht als unabhängige Entscheidungsträger. Der menschliche Apotheker bleibt essenziell, um die Informationen zu verifizieren, die neuesten Leitlinien zu prüfen und die Patientensicherheit zu gewährleisten. Während sich diese Modelle weiterentwickeln, könnten sie noch fähiger werden, aber für den Moment dienen sie am besten als leistungsstarkes „zweites Paar Augen“ für die Experten, die die Patienten schützen.