Generative AI Responses to Patient-Presented Orthodontic Misinformation and Controversial Claims: A Comparative Cross-Sectional Evaluation of Safety, Accuracy, Evidence Concordance, Misinformation Correction, Uncertainty Communication, Transparency, and Actionability

As pessoas recorrem cada vez mais a mecanismos de busca, redes sociais e vídeos curtos em busca de respostas sobre sua saúde. Esses canais tornam a informação fácil de encontrar, mas também dificultam o julgamento de quem está dizendo a verdade. Isso é especialmente verdadeiro para a ortodontia, o campo da odontologia que endireita os dentes e alinha as mandíbulas. Os conselhos encontrados online frequentemente misturam fatos com exageros, histórias pessoais ou apelos de vendas. Um paciente pode ler que um tipo específico de aparelho pode mudar o formato de seu rosto, ou que ele pode endireitar seus próprios dentes em casa com elásticos. Embora parte dessa informação seja inofensiva, outras afirmações podem levar a expectativas irreais, atraso no atendimento médico ou até mesmo lesões físicas. Quando uma pessoa encontra uma afirmação confusa ou perigosa, ela precisa de uma explicação clara, segura e precisa para ajudá-la a decidir o que fazer a seguir.

Nos últimos anos, um novo tipo de ferramenta surgiu para ajudar as pessoas a organizar informações: a inteligência artificial generativa. Esses sistemas podem manter conversas e responder a perguntas em uma linguagem fluente e natural. Eles estão se tornando comuns no cotidia e muitas pessoas agora os consultam em busca de conselhos de saúde. No entanto, permanece incerto se esses sistemas conseguem lidar com a tarefa complexa de corrigir afirmações médicas falsas sem fornecer acidentalmente instruções perigosas. Um programa de computador pode parecer confiante e educado enquanto omite um aviso crítico ou falha em explicar por que uma ideia popular está errada. Para entender quão bem essas ferramentas desempenham seu papel em um cenário do mundo real, os pesquisadores precisaram testá-las contra os tipos específicos de perguntas enganosas que os pacientes realmente fazem.

Uma equipe de pesquisadores de hospitais na China partiu para testar cinco dos chatbots de inteligência artificial voltados ao consumidor mais populares. Eles queriam ver como esses sistemas respondiam quando os usuários apresentavam afirmações falsas ou controversas sobre o tratamento ortodôntico. O estudo focou em cinco sistemas específicos: ChatGPT, Gemini, Microsoft Copilot, DeepSeek e Doubao. Os pesquisadores não fizeram perguntas simples como "o que é um dente?"; em vez disso, criaram sessenta e oito prompts específicos baseados em desinformação do mundo real. Esses prompts incluíam ideias falsas sobre extração de dentes, mudança de características faciais, uso de alinhadores de faça-você-mesmo ou aceleração do tratamento com métodos não comprovados. Cada prompt foi projetado para conter uma premissa falsa que o chatbot precisaria reconhecer e corrigir.

Os pesquisadores submeteram cada uma das sessenta e oito perguntas aos cinco chatbots, gerando um total de trezentas e quarenta respostas. Eles trataram cada pergunta como uma conversa única e pontual para garantir que os resultados fossem consistentes. Para avaliar as respostas, cinco dentistas experientes em ortodontia revisaram o texto de forma independente. Eles buscaram várias qualidades fundamentais. Primeiro, verificaram a segurança: a resposta incentivava algum comportamento que pudesse prejudicar o paciente, como tentar mover os dentes sem um exame profissional? Segundo, mediram a precisão: a informação era factualmente correta? Terceiro, avaliaram o quão bem a resposta correspondia às evidências médicas estabelecidas. Eles também verificaram se o chatbot corrigia ativamente a premissa falsa da pergunta, em vez de apenas ignorá-la e dar uma resposta geral. Por fim, avaliaram se a resposta comunicava a incerteza de forma apropriada, se era transparente sobre suas fontes e se dava ao paciente um próximo passo claro e seguro a seguir.

Os resultados mostraram que todos os cinco chatbots foram geralmente bons em evitar os perigos mais óbvios. Das trezentas e quarenta respostas, trezentas e sete foram classificadas como seguras, o que significa que não continham conselhos que pudessem levar a danos físicos imediatos. No entanto, os sistemas não eram igualmente bons em tudo o mais. Os pesquisadores encontraram diferenças significativas na qualidade de suas respostas. O ChatGPT consistentemente forneceu a informação mais precisa e foi o melhor em corrigir as ideias falsas apresentadas nas perguntas. Ele também fez o melhor trabalho ao explicar os limites de seu conhecimento e oferecer passos claros e acionáveis para o paciente. O Gemini teve um bom desempenho em algumas áreas, empatando com o ChatGPT na proximidade de suas respostas com as evidências médicas, mas foi menos consistente em outras categorias. Os outros três sistemas, incluindo Copilot, DeepSeek e Doubao, geralmente pontuaram abaixo em todos os aspectos, frequentemente falhando em corrigir a desinformação ou fornecer orientações suficientemente detalhadas.

Uma descoberta crucial do estudo foi que ser "seguro" não significa que uma resposta é boa o suficiente para ser usada por si só. Muitas das respostas evitaram conselhos perigosos, mas ainda assim falharam em corrigir o mal-entendido do paciente ou fornecer o contexto necessário. Por exemplo, um chatbot pode afirmar corretamente que os dentes precisam de aparelhos, mas falhar ao explicar que um método específico de "faça-você-mesmo" mencionado na pergunta é inseguro. O estudo mostrou que, embora os sistemas raramente dessem instruções que causassem ferimentos imediatos, eles frequentemente careciam da profundidade e precisão exigidas para orientação médica. Os pesquisadores observaram que as diferenças entre os sistemas não eram apenas variações menores; os modelos de melhor desempenho eram claramente superiores em sua capacidade de lidar com afirmações complexas e enganosas em comparação aos outros.

Os autores concluíram que essas ferramentas de inteligência artificial devem ser vistas como suplementos úteis para a educação do paciente, não como substitutos para uma visita ao dentista. Elas podem ajudar a organizar informações e responder a perguntas gerais, mas não podem substituir a necessidade de um exame profissional, radiografias ou um plano de tratamento personalizado. O estudo destaca que os pacientes não devem confiar nesses chatbots para validar afirmações que viram online, especialmente quando essas afirmações envolvem mudar seus dentes ou rosto. Em vez disso, o melhor uso dessas ferramentas é reunir informações iniciais e, em seguida, procurar um profissional qualificado para verificar os fatos e discutir um curso de ação seguro. A pesquisa sugere que, embora a tecnologia esteja avançando, ela ainda requer supervisão humana para garantir que o conselho dado não seja apenas seguro, mas também preciso, completo e verdadeiramente útil para o paciente individual.