Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
Uma avaliação baseada em especialistas comparando o ChatGPT e o Gemini para a educação pós-operatória de tonsilectomia em turco não encontrou diferença estatisticamente significativa na qualidade geral ou segurança entre os dois modelos, ressaltando a necessidade de revisão clínica antes de usar informações de pacientes geradas por IA.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Todos os anos, milhões de pessoas submetem-se a uma tonsilectomia, uma cirurgia comum para remover as amígdalas na parte posterior da garganta. Embora o procedimento seja rotineiro, a recuperação é frequentemente difícil. Os pacientes acordam com dor significativa, dificuldade em engolir e uma preocupação constante com sangramentos ou desidratação. Como a maior parte desta recuperação acontece em casa, as famílias dependem de instruções claras para saber o que é normal e o que requer a ajuda de um médico. Nos últimos anos, muitos recorreram a ferramentas de inteligência artificial para obter essas respostas instantaneamente. Esses programas de computador, conhecidos como modelos de linguagem de grande escala, podem manter conversas e gerar textos que soam muito humanos. Eles prometem estar disponíveis vinte e quatro horas por dia para explicar termos médicos ou oferecer conselhos. No entanto, como esses programas geram respostas baseadas em padrões de dados e não em uma compreensão profunda da medicina, existe o risco de fornecerem conselhos que sejam confusos, desatualizados ou até mesmo perigosos. A questão que se coloca para médicos e pacientes é simples: podemos confiar nestas máquinas para guiar uma família através de uma recuperação difícil, ou precisam de um especialista humano para verificar o seu trabalho?
Para responder a isto, uma equipa de investigadores na Turquia estabeleceu um teste cuidadoso envolvendo dois dos sistemas de inteligência artificial mais avançados disponíveis: ChatGPT e Gemini. Eles não fizeram perguntas aleatórias aos computadores. Em vez disso, começaram com pessoas reais. Os investigadores recolheram perguntas de quarenta pacientes que tinham acabado de ter as amígdalas removidas. Estes pacientes escreveram exatamente o que queriam saber sobre a sua recuperação, abrangendo tópicos como gestão da dor, dieta e quando procurar ajuda de emergência. Um painel de dez médicos especialistas refinou estas questões em quinze perguntas claras em turco. Num único dia, os investigadores pediram tanto ao ChatGPT como ao Gemini que respondessem a estas mesmas quinze perguntas. Os computadores geraram as suas respostas e os investigadores as guardaram exatamente como apareceram, sem alterar uma única palavra.
Em seguida, os investigadores trouxeram dezasseis diferentes especialistas em otorrinolaringologia para atuarem como juízes. Estes médicos não sabiam qual programa de computador escreveu cada resposta. Eles simplesmente viram dois conjuntos de respostas, rotulados apenas como "Resposta A" e "Resposta B". Cada médico leu as respostas a todas as quinze perguntas e classificou-as em quatro coisas específicas: o quão cientificamente precisa era a informação, se o conselho era apropriado para um paciente real, o quão fácil era de compreender e, mais importante, se a resposta era segura ou se continha algo que pudesse induzir um paciente em erro para o dano. Os médicos deram uma pontuação de um a cinco para cada categoria, sendo cinco a melhor classificação possível. No total, a equipa reuniu quase dois mil classificações individuais para comparar os dois sistemas lado a lado.
Os resultados mostraram que ambos os programas de inteligência artificial tiveram um desempenho bastante bom no geral. Eles forneceram informações que eram geralmente precisas e clinicamente apropriadas, recebendo pontuações elevadas por acertar nos factos médicos. Quando os investigadores analisaram as pontuações totais, o ChatGPT recebeu uma classificação média ligeiramente superior à do Gemini, mas a diferença era tão pequena que poderia facilmente ter acontecido por acaso. De facto, quando os especialistas analisaram as categorias específicas, os dois programas eram quase idênticos na sua capacidade de fornecer factos médicos corretos. Nenhum sistema provou ser claramente melhor que o outro de uma forma que os dados pudessem confirmar com certeza. O estudo não encontrou evidências de que um modelo fosse superior ao outro para esta tarefa específica.
No entanto, um olhar mais atento revelou uma história mais importante sobre segurança. Ambos os programas receberam as suas pontuações mais baixas na categoria de segurança do paciente. Isto significa que, embora as respostas fossem frequentemente factualmente corretas, os especialistas ainda detetaram riscos potenciais, tais como a omissão de avisos sobre sangramento ou o fornecimento de conselhos vagos sobre medicação. Embora o ChatGPT tenha pontuado ligeiramente acima do Gemini em termos de segurança, a diferença não foi significativa o suficiente para declarar este último como a escolha mais segura. Os especialistas também notaram que os médicos não concordavam sempre entre si ao classificar a segurança, sugerindo que detetar um perigo oculto num parágrafo de texto é difícil até para profissionais. Esta falta de concordância perfeita destaca que a segurança é um julgamento complexo, não apenas uma verificação simples de factos.
O estudo conclui que, embora estas ferramentas de inteligência artificial sejam impressionantes e possam gerar informações úteis, ainda não estão prontas para substituir o conselho de um médico. O facto de ambos os sistemas terem recebido pontuações de segurança mais baixas sugere que um especialista humano deve sempre rever a informação antes de esta ser dada a um paciente. A investigação não mostra que um programa seja o vencedor claro, nem prova que sejam perfeitamente seguros para uso autónomo. Em vez disso, sugere que estas ferramentas funcionam melhor como auxiliares que fornecem um rascunho de informação, o qual um profissional médico verifica e corrige. Até que a tecnologia melhore ao ponto de conseguir identificar e evitar consistentemente todos os riscos potenciais sem ajuda humana, o caminho mais seguro para os pacientes continua a ser uma conversa com o seu próprio médico.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.