Performance of Large Language Models as Assistive Tools for Clinical Pharmacists in the Stomatological Hospital: A Multi-dimensional Comparative Study

No mundo especializado dos hospitais odontológicos, os farmacêuticos clínicos servem como os guardiões da segurança medicamentosa. O trabalho deles é garantir que cada medicamento prescrito para doenças orais seja a escolha certa, a dose certa e segura para o histórico de saúde específico do paciente. Este trabalho envolve a revisão de prescrições, a verificação de interações medicamentosas perigosas e o ajuste de tratamentos para pacientes com condições complexas, como doença renal ou problemas hepáticos. No entanto, esta função está se tornando cada vez mais difícil. O volume de informações médicas cresce diariamente, as diretrizes mudam constantemente e os farmacêuticos frequentemente enfrentam cargas de trabalho pesadas que deixam pouco tempo para pesquisa profunda. Eles devem tomar decisões rápidas e precisas enquanto gerenciam pacientes que podem estar tomando múltiplas medicações tanto para a saúde oral quanto para a sistêmica.

Para ajudar a gerenciar essa pressão, muitos hospitais estão recorrendo à inteligência artificial, especificamente aos modelos de linguagem de grande escala. Estes são programas de computador treinados em vastas quantidades de texto que podem compreender e gerar linguagem humana. Eles são projetados para recuperar informações, analisar cenários complexos e oferecer respostas a perguntas que geralmente exigem anos de estudo profissional. A questão que enfrenta a comunidade médica é se essas ferramentas digitais podem realmente atuar como assistentes confiáveis para especialistas humanos, ou se são apenas chatbots sofisticados que podem oferecer conselhos confiantes, porém incorretos. Um novo estudo de pesquisadores na China propôs-se a testar isso diretamente, indo além de perguntas gerais para ver o quão bem esses modelos performam no ambiente específico e de alto risco de um hospital odontológico.

Os pesquisadores selecionaram três dos modelos de linguagem de grande escala mais avançados disponíveis na época: ChatGPT-5.5 Instant, Gemini-3.5 Flash-Lite e DeepSeek-V3. Para testá-los de forma justa, a equipe criou um conjunto de trinta perguntas realistas que os farmacêuticos clínicos encontram todos os dias. Essas perguntas cobriam seis áreas críticas: quanto de um fármaco administrar, como os fármacos interagem entre si, quais pacientes nunca devem tomar certos medicamentos, quais medicamentos não podem ser misturados na mesma bolsa de IV, como um fármaco deve ser administrado e como ajustar doses para pacientes com falência renal ou hepática. As perguntas variaram de fatos diretos a cenários complexos que exigem raciocínio médico profundo.

Cinco farmacêuticos clínicos seniores revisaram as respostas fornecidas por cada modelo. Eles não sabiam qual modelo gerou cada resposta, garantindo que seu julgamento fosse imparcial. Eles pontuaram as respostas com base em quão precisas, completas e úteis elas eram para um cenário farmacêutico do mundo real. Os resultados mostraram uma hierarquia clara de desempenho. O ChatGPT-5.5 Instant produziu as respostas de maior qualidade, obtendo uma mediana que o colocou na faixa de "bom" a "excelente". O DeepSeek-V3 seguiu em segundo lugar, enquanto o Gemini-3.5 Flash-Lite obteve a pontuação mais baixa dos três. As diferenças foram estatisticamente significativas, o que significa que a lacuna de desempenho era real e não devida ao acaso.

Interessantemente, a dificuldade das perguntas não alterou o ranking. Quer a pergunta fosse simples ou complexa, o ChatGPT superou consistentemente os outros. O estudo não encontrou evidências de que os modelos pioravam conforme as perguntas se tornavam mais difíceis; eles mantiveram suas posições relativas independentemente do desafio. Isso sugere que o desempenho dos modelos é impulsionado por sua capacidade inerente de raciocinar e acessar conhecimento, em vez de apenas sua capacidade de recordar fatos simples. No entanto, o estudo também destacou uma limitação significativa comum a todos os três modelos: sua legibilidade. As respostas que eles geraram foram escritas em um estilo que era muito difícil de ser compreendido pela pessoa comum, muitas vezes exigindo uma educação de nível universitário para acompanhar. Este é um ponto crucial para o uso clínico, pois os farmacêuticos precisam explicar esses conceitos aos pacientes, e os modelos atualmente lutam para simplificar sua linguagem sem perder a precisão.

Outra descoberta crítica diz respeito às fontes de informação. O estudo avaliou a qualidade das fontes de informação fornecidas pelos modelos e descobriu que não havia diferença estatisticamente significativa nas pontuações de confiabilidade entre os três. No entanto, os autores enfatizaram que a literatura mais ampla em odontologia e campos médicos relacionados relata consistentemente que os modelos de linguagem de grande escala frequentemente geram referências fabricadas, incluindo títulos de livros, nomes de periódicos e autores inventados. Embora este estudo específico tenha avaliado a qualidade das fontes, o problema persistente de citações alucinadas no campo mais amplo significa que nenhum dos modelos é atualmente seguro para ser usado como uma fonte de verdade independente sem verificação. Eles não podem substituir bancos de dados de medicamentos oficiais ou o julgamento de um farmacêutico licenciado.

Os pesquisadores concluíram que essas ferramentas de inteligência artificial mostram grande potencial como assistentes para farmacêuticos clínicos em hospitais odontológicos. Elas podem lidar com uma ampla variedade de tarefas de informação de fármacos com um nível de qualidade que é aceitável para suporte profissional. No entanto, elas devem ser vistas como ferramentas para auxiliar a tomada de decisão humana, não como tomadoras de decisão independentes. O farmacêutico humano permanece essencial para verificar a informação, checar as diretrizes mais recentes e garantir a segurança do paciente. À medida que esses modelos continuam a evoluir, eles podem se tornar ainda mais capazes, mas por enquanto, servem melhor como um poderoso segundo par de olhos para os especialistas que mantêm os pacientes seguros.