Performance of Large Language Models in Providing Patient-Oriented Information on Gingival Recession: A Comparative Study
Este estudo comparativo constatou que, embora o ChatGPT, o Google Gemini e o Claude forneçam informações orientadas ao paciente sobre recessão gengival de forma igualmente precisa e abrangente, os avaliadores especialistas preferiram o Gemini e o Claude, apesar dos tempos de resposta mais rápidos e da maior concisão do ChatGPT.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os pacientes recorrem cada vez mais à inteligência artificial para compreender a sua saúde, questionando chatbots sobre tudo, desde resfriados comuns a condições dentárias complexas. Estas ferramentas, conhecidas como modelos de linguagem de grande escala, são concebidas para conversar em linguagem natural, oferecendo respostas diretas em vez de uma lista de links de pesquisa. Uma dessas condições, a recessão gengival, ocorre quando o tecido gengival que envolve os dentes recua, expondo a raiz do dente. Esta exposição pode levar a sensibilidade, cáries e preocupações estéticas, levando muitas pessoas a procurar informações online antes de visitarem um dentista. Embora estes assistentes digitais prometam colmatar a lacuna entre os pacientes e o conhecimento médico, permanecem questões sobre se fornecem informações fiáveis, completas e seguras, especialmente para problemas dentários específicos onde a precisão é fundamental.
Um estudo recente propôs-se a testar a eficácia de três sistemas de inteligência artificial líderes no tratamento de questões sobre a recessão gengival. Os investigadores concentraram-se no ChatGPT, Google Gemini e Claude, fazendo a cada um deles as mesmas vinte perguntas que um paciente típico faria. Estas inquirições abrangeram as causas da condição, opções de tratamento, riscos e o que esperar após a cirurgia. Para garantir que as respostas fossem julgadas de forma justa, cinco especialistas certificados em saúde gengival analisaram cada resposta sem saber qual programa de computador a tinha gerado. Os especialistas avaliaram as respostas com base no quão factualmente corretas eram, no quão completa era a informação e em como os modelos se classificavam uns em relação aos outros em termos de qualidade geral. Também mediram quanto tempo cada sistema demorou a escrever a sua resposta e contaram o número de palavras utilizadas.
Os resultados mostraram que todos os três modelos de inteligência artificial tiveram um desempenho notável no que diz respeito aos factos fundamentais. Não houve diferença significativa na precisão ou na completude da informação fornecida pelo ChatGPT, Gemini ou Claude. Cada sistema conseguiu gerar respostas que os especialistas consideraram clinicamente aceitáveis, com a maioria das respostas a obter pontuações elevadas em termos de correção. No entanto, os modelos diferiram visivelmente na forma como entregaram essa informação. O ChatGPT foi o mais rápido, produzindo as suas respostas em pouco menos de seis segundos em média, enquanto o Claude demorou quase quinze segundos. O ChatGPT também escreveu as respostas mais concisas, com uma média de cerca de 232 palavras por resposta. Em contraste, o Gemini produziu as respostas mais longas, com uma média de 438 palavras, e o Claude ficou algures no meio.
Apesar da qualidade semelhante dos factos, os especialistas humanos demonstraram uma preferência clara pela forma como a informação era apresentada. Quando questionados para classificar as respostas da melhor para a pior, o Gemini e o Claude foram escolhidos como a melhor resposta com mais frequência do que o ChatGPT. Os especialistas selecionaram o Gemini e o Claude como a melhor resposta em 38 por cento dos casos, enquanto o ChatGPT foi classificado em primeiro lugar em apenas 24 por cento das avaliações. Isto sugere que, embora o ChatGPT fosse mais rápido e breve, os outros dois modelos forneceram um estilo de explicação que os especialistas consideraram mais detalhado ou melhor organizado. O estudo também descobriu que os três modelos foram particularmente bons a responder a perguntas sobre cuidados pós-operatórios e instruções de acompanhamento, provavelmente porque estes tópicos dependem de diretrizes padronizadas. Foram ligeiramente menos consistentes ao discutir o diagnóstico específico ou a elegibilidade para o tratamento, o que exige um julgamento mais personalizado.
Em última análise, o estudo conclui que estas ferramentas de inteligência artificial estão a tornar-se fiáveis o suficiente para servir como suplementos úteis para a educação do paciente. Podem fornecer informações precisas e detalhadas sobre a recessão gengival que se alinham com os padrões profissionais. No entanto, os investigadores enfatizam que estas ferramentas devem apoiar, e não substituir, uma consulta com um profissional de saúde dentária. A melhor abordagem parece ser utilizar estes sistemas rápidos e informados para obter uma compreensão geral de uma condição, enquanto se recorre a um especialista humano para interpretar essa informação no contexto das necessidades de saúde específicas de um indivíduo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.