Performance of Large Language Models as Assistive Tools for Clinical Pharmacists in the Stomatological Hospital: A Multi-dimensional Comparative Study

In de gespecialiseerde wereld van tandheelkundige ziekenhuizen fungeren klinisch apothekers als de bewakers van medicatieveiligheid. Hun taak is ervoor te zorgen dat elk medicijn dat wordt voorgeschreven voor orale ziekten de juiste keuze is, de juiste dosis heeft en veilig is voor de specifieke medische geschiedenis van de patiënt. Dit werk omvat het beoordelen van recepten, het controleren op gevaarlijke interacties tussen geneesmiddelen en het aanpassen van behandelingen voor patiënten met complexe aandoeningen zoals nierziekte of leverproblemen. Deze rol wordt echter steeds moeiliger. Het volume aan medische informatie groeit dagelijks, richtlijnen veranderen constant en apothekers worden vaak geconfronteerd met een zware werkdruk die weinig tijd laat voor diepgaand onderzoek. Ze moeten snelle, nauwkeurige beslissingen nemen terwijl ze patiënten beheren die mogelijk meerdere medicijnen gebruiken voor zowel orale als systemische gezondheidsproblemen.

Om deze druk te beheersen, kijken veel ziekenhuizen naar kunstmatige intelligentie, specifiek naar grote taalmodellen (large language models). Dit zijn computerprogramma's die getraind zijn op enorme hoeveelheden tekst en die menselijke taal kunnen begrijpen en genereren. Ze zijn ontworpen om informatie op te halen, complexe scenario's te analyseren en antwoorden te bieden op vragen die normaal gesproken jaren van professionele studie vereisen. De vraag die de medische gemeenschap bezighoudt, is of deze digitale tools echt kunnen fungeren als betrouwbare assistenten voor menselijke experts, of dat het slechts geavanceerde chatbots zijn die mogelijk zelfverzekerde maar onjuiste adviezen geven. Een nieuwe studie van onderzoekers uit China zette uit om dit direct te testen, waarbij zij verder gingen dan algemene vragen om te zien hoe goed deze modellen presteren in de specifieke, risicovolle omgeving van een tandheelkundig ziekenhuis.

De onderzoekers selecteerden drie van de meest geavanceerde grote taalmodellen die op dat moment beschikbaar waren: ChatGPT-5.5 Instant, Gemini-3.5 Flash-Lite en DeepSeek-V3. Om hen eerlijk te testen, stelde het team een set van dertig realistische vragen op die klinisch apothekers dagelijks tegenkomen. Deze vragen bestreken zes kritieke gebieden: hoeveel van een medicijn moet worden toegediend, hoe geneesmiddelen met elkaar interageren, welke patiënten bepaalde medicijnen nooit mogen gebruiken, welke medicijnen niet in dezelfde IV-zak gemengd kunnen worden, hoe een medicijn moet worden toegediend en hoe doses moeten worden aangepast voor patiënten met falende nieren of leverfuncties. De vragen varieerden van eenvoudige feiten tot complexe scenario's die diep medisch redeneren vereisen.

Vijf senior klinisch apothekers beoordeelden vervolgens de antwoorden die door elk model werden gegeven. Zij wisten niet welk model welk antwoord had gegenereerd, wat hun oordeel onbevooroordeeld maakte. Ze scoorden de reacties op basis van hoe accuraat, volledig en nuttig ze waren voor een echte farmaceutische setting. De resultaten toonden een duidelijke hiërarchie in prestaties. ChatGPT-5.5 Instant produceerde de hoogste kwaliteit antwoorden en behaalde een mediaan score die in de "goede" tot "uitstekende" categorie viel. DeepSeek-V3 volgde op de tweede plaats, terwijl Gemini-3.5 Flash-Lite het laagst scoorde van de drie. De verschillen waren statistisch significant, wat betekent dat het gat in prestaties echt was en niet door toeval kwam.

Interessant genoeg veranderde de moeilijkheidsgraad van de vragen de rangschikking niet. Of de vraag nu eenvoudig of complex was, ChatGPT presteerde consequent beter dan de anderen. De studie vond geen bewijs dat de modellen slechter werden naarmate de vragen moeilijker werden; ze behielden hun relatieve posities, ongeacht de uitdaging. Dit suggereert dat de prestaties van de modellen worden gedreven door hun inherente vermogen om te redeneren en kennis te ontsluiten, in plaats van alleen door hun vermogen om eenvoudige feiten te reproduceren. De studie benadrukte echter ook een belangrijke beperking die voor alle drie de modellen geldt: hun leesbaarheid. De antwoorden die zij genereerden, waren geschreven in een stijl die voor de gemiddelde persoon zeer moeilijk te begrijpen was en vaak een opleiding op universitair niveau vereiste om te volgen. Dit is een cruciaal punt voor klinisch gebruik, aangezien apothekers deze concepten aan patiënten moeten uitleggen, en de modellen momenteel moeite hebben om hun taal te vereenvoudigen zonder de nauwkeurigheid te verliezen.

Een andere cruciale bevinding betrof de bronnen van informatie. De studie evalueerde de kwaliteit van de informatiebronnen die door de modellen werden verstrekt en vond geen statistisch significant verschil in de betrouwbaarheidsscores tussen de drie modellen. De auteurs benadrukten echter dat de bredere literatuur in de tandheelkunde en aanverwante medische velden consequent rapporteert dat grote taalmodellen regelmatig gefabriceerde referenties genereren, inclus inclusief verzonnen boektitels, namen van tijdschriften en auteurs. Hoewel deze specifieke studie de kwaliteit van de bronnen beoordeelde, betekent het hardnekkige probleem van gehallucineerde citaties in het bredere veld dat geen van de modellen momenteel veilig te gebruiken is als een onafhankelijke bron van waarheid zonder verificatie. Ze kunnen officiële medicijn databases of het oordeel van een erkende apotheker niet vervangen.

De onderzoekers concludeerden dat deze kunstmatige intelligentie-instrumenten veelbelovend zijn als assistenten voor klinisch apothekers in tandheelkundige ziekenhuizen. Ze kunnen een breed scala aan medicatie-informatie taken afhandelen met een kwaliteitsniveau dat acceptabel is voor professionele ondersteuning. Ze moeten echter worden beschouwd als hulpmiddelen om menselijke besluitvorming te ondersteunen, en niet als onafhankelijke besluitvormers. De menselijke apotheker blijft essentieel om de informatie te verifiëren, de nieuwste richtlijnen te controleren en de patiëntveiligheid te waarborgen. Naarmate deze modellen blijven evolueren, kunnen ze nog capabeler worden, maar voor nu dienen ze het beste als een krachtig tweede paar ogen voor de experts die de patiënten veilig houden.