GPT-4o and DeepSeek-V3 responses to common migraine questions: a cross-sectional comparative study of accuracy, completeness, empathy, readability and safety
Este estudo comparativo transversal descobriu que, embora tanto o GPT-4o quanto o DeepSeek-V3 tenham fornecido informações geralmente precisas e seguras sobre enxaqueca, o DeepSeek-V3 demonstrou pontuações significativamente mais altas em completude e legibilidade, embora nenhum dos modelos tenha sido uniformemente superior em empatia ou segurança.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Milhões de pessoas vivem com enxaqueca, uma condição que vai muito além de uma simples dor de cabeça, causando incapacidade significativa e interrompendo a vida cotidiana. Como os sintomas de uma enxaqueca podem, por vezes, assemelhar-se aos de um acidente vascular cerebral ou outras condições cerebrais graves, os pacientes recorrem frequentemente à internet em busca de respostas. Nos últimos anos, um novo tipo de programa de computador conhecido como modelo de linguagem de grande escala tornou-se uma fonte popular para esta informação. Estes sistemas conseguem ler vastas quantidades de texto e gerar respostas semelhantes às humanas para quase qualquer pergunta, oferecendo explicações imediatas sobre diagnóstico, gatilhos e tratamentos. No entanto, como estes programas não são médicos, existe uma preocupação real de que possam fornecer conselhos incompletos, ignorar sinais de alerta perigosos ou oferecer tranquilidade quando uma pessoa necessita, na verdade, de cuidados médicos urgentes.
Para compreender o quão bem estas ferramentas digitais desempenham as suas funções num cenário médico de alto risco, investigadores realizaram uma comparação direta entre dois dos sistemas mais avançados disponíveis: o GPT-4o e o DeepSeek-V3. O estudo focou-se especificamente nas perguntas comuns que as pessoas fazem sobre enxaqueca. Os investigadores reuniram cem perguntas distintas de fontes do mundo real, incluindo tendências de pesquisa online e discussões em fóruns públicos onde os pacientes partilham as suas experiências. Estas perguntas cobriram uma vasta gama de tópicos, desde a natureza dos sintomas de aviso até gatilhos de estilo de vida, passando pela segurança de medicamentos e resultados a longo prazo. Para garantir que a avaliação fosse justa e imparcial, dois neurologistas revisaram as respostas geradas por cada modelo sem saber qual programa de computador as tinha produzido. Eles avaliaram as respostas com base em quão precisos eram os factos médicos, o quão completa era a informação, se o tom era empático e de apoio e, mais importante, se o conselho era seguro para um paciente seguir.
Os resultados mostraram que ambos os programas de computador forneceram, geralmente, informações precisas e seguras, reconhecendo com sucesso a necessidade de ajuda médica profissional quando sinais de alerta graves foram mencionados. No entanto, um sistema, o DeepSeek-V3, superou consistentemente o outro em áreas específicas. Ele forneceu respostas mais completas, garantindo que os pacientes recebessem não apenas os factos básicos, mas também o contexto necessário sobre alternativas e incertezas. Além disso, o texto gerado pelo DeepSeek-V3 era significativamente mais fácil de ler e compreender, utilizando estruturas de frases mais simples e uma linguagem mais clara. Embora ambos os modelos tenham demonstrado níveis semelhantes de empatia no seu tom, e ambos fossem seguros o suficiente para serem considerados ferramentas úteis, a diferença na completude e na legibilidade foi clara e estatisticamente significativa.
Num teste específico envolvendo vinte e cinco perguntas que descreviam sintomas de "bandeira vermelha" perigosos, tais como uma dor de cabeça súbita e a pior de sempre ou novos problemas neurológicos, ambos os modelos desempenharam bem ao identificar corretamente a necessidade de cuidados urgentes. Contudo, mesmo nestes cenários críticos, o sistema que produziu o texto mais claro e legível manteve a sua vantagem. Os investigadores concluíram que, embora estas ferramentas de inteligência artificial estejam a tornar-se aliadas poderosas para a educação do paciente, elas nunca devem substituir a avaliação de um médico. Em vez disso, são melhores utilizadas para ajudar as pessoas a compreender conceitos gerais e a reconhecer quando precisam de procurar ajuda profissional, desde que as suas respostas sejam revistas com cuidado. O estudo destaca que, à medida que estas tecnologias evoluem, a sua capacidade de comunicar ideias médicas complexas de forma simples e completa é tão importante quanto a precisão dos factos que apresentam.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.