Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

Quando um homem é diagnosticado com câncer de próstata, o caminho a seguir envolve frequentemente uma decisão importante: se deve remover toda a glândula prostática utilizando uma técnica cirúrgica assistida por robô. Este procedimento, conhecido como prostatectomia radical assistida por robô, é um tratamento padrão para doença localizada, mas traz consigo uma complexa teia de informações que o paciente precisa compreender. Ele precisa saber como a cirurgia funciona, como será a recuperação, como isso poderá afetar sua capacidade de controlar a bexiga ou manter a função sexual e como os médicos irão monitorar o retorno do câncer. No passado, os pacientes dependiam de folhetos impressos ou de uma única conversa com seu cirurgião para navegar por essas questões. Hoje, muitos recorrem a chatbots de inteligência artificial para obter respostas instantâneas. Esses modelos de linguagem de grande escala podem gerar textos que parecem e soam como conselhos humanos, mas a questão crítica permanece: pode-se confiar neles para explicar uma jornada médica tão transformadora de forma precisa e clara?

Uma equipe de pesquisadores do Hospital Afiliado da Faculdade de Medicina de North Sichuan estabeleceu o objetivo de testar exatamente essa questão. Eles focaram em três sistemas populares de inteligência artificial: ChatGPT, DeepSeek e Doubao. A equipe não pediu às máquinas que realizassem cirurgias ou diagnosticassem uma pessoa específica; em vez disso, trataram os modelos como provedores de informação. Eles compilaram uma lista de vinte e cinco perguntas distintas que um paciente poderia fazer em diferentes estágios do processo de cuidado, desde a triagem inicial para o câncer até o acompanhamento de longo prazo após a cirurgia. Essas perguntas abrangiam tudo, desde a interpretação de resultados de exames até a compreensão dos riscos de danos nervosos. Em seguida, os pesquisadores inseriram cada uma dessas vinte e cinco perguntas em todos os três modelos, gerando um total de setenta e cinco respostas separadas. Para garantir um teste justo, as perguntas foram feitas individualmente em conversas separadas, para que os modelos não pudessem aprender com as respostas anteriores na mesma sessão de chat.

Uma vez coletadas as respostas, os pesquisadores precisavam de uma forma de julgar sua qualidade. Eles recrutaram três especialistas médicos que atuaram como revisores cegos, o que significa que eles não sabiam qual inteligência artificial havia escrito cada resposta. Esses especialistas avaliaram o texto usando diversas ferramentas estabelecidas, projetadas para medir a qualidade da educação ao paciente. Eles verificaram se a informação era completa, se oferecia conselhos práticos que um paciente pudesse realmente utilizar e se estava escrita de uma forma fácil de entender. Também verificaram a existência de erros específicos, como fatos inventados ou recomendações médicas desatualizadas, e calcularam o nível de dificuldade de leitura do texto para uma pessoa comum. O objetivo era ver se uma máquina superava consistentemente as outras ou se todas enfrentavam os mesmos problemas.

Os resultados revelaram que, embora todos os três modelos tenham produzido informações geralmente seguras e precisas, eles possuíam personalidades e pontos fortes distintos. Um modelo, o ChatGPT, forneceu consistentemente os conselhos mais acionáveis. Quando um paciente perguntava o que fazer a seguir, este modelo era mais propenso a dar instruções claras e passo a passo que uma pessoa pudesse seguir. Ele também pontuou mais alto em medidas de quão bem a informação estava estruturada para apoiar a tomada de decisão do paciente. Outro modelo, o DeepSeek, produziu um texto que era visivelmente mais fácil de ler. Suas frases eram ligeiramente menos complexas e seu vocabulário era um pouco mais acessível do que o dos outros. No entanto, mesmo o texto "mais fácil" do DeepSeek ainda estava escrito em um nível que seria difícil para muitos adultos lerem confortavelmente, excedendo o nível de leitura tipicamente recomendado para materiais de saúde pública. O terceiro modelo, o Doubao, teve um desempenho semelhante aos outros em termos de precisão, mas teve mais dificuldades com a legibilidade e ocasionalmente omitiu detalhes importantes.

Apesar dessas diferenças, o estudo descobriu que nenhum modelo era perfeito e nenhum deveria ser usado como substituto para o conselho de um médico. Os pesquisadores descobriram que, embora as máquinas raramente inventassem fatos ou dessem conselhos perigosamente desatualizados, elas às vezes omitiam informações importantes, particularmente nas respostas do DeepSeek e do Doubao. Além disso, os especialistas humanos que avaliaram as respostas nem sempre concordavam entre si. Essa falta de concordância sugere que julgar a qualidade do aconselhamento médico é uma tarefa difícil, mesmo para profissionais treinados, e que pequenas diferenças nas pontuações entre os modelos podem não ser tão significativas quanto parecem. O estudo também destacou um desafio persistente: todos os três modelos geraram textos que eram complexos demais para a pessoa comum. Os termos médicos e as estruturas de frases exigiam um nível de escolaridade de ensino médio ou superior para serem totalmente compreendidos, o que cria uma barreira para muitos pacientes que mais precisam dessas informações.

Os pesquisadores concluíram que essas ferramentas de inteligência artificial mostram potencial como auxiliares para médicos, talvez servindo como um primeiro rascunho para materiais educativos que um urologista possa então revisar e refinar. Elas podem gerar rapidamente explicações que cobrem uma ampla gama de tópicos, mas ainda não podem substituir a conversa matizada e personalizada que ocorre entre um cirurgião e um paciente. Um robô pode listar os riscos da cirurgia, mas não pode olhar nos olhos de um paciente, compreender seus medos específicos ou ponderar o equilíbrio único entre seu histórico médico e seus valores pessoais. Por enquanto, o melhor uso dessas máquinas poderosas é como uma ferramenta de suporte para clínicos, não como uma fonte independente de orientação médica. O estudo serve como um lembrete de que, embora a tecnologia possa tornar a informação mais disponível, o elemento humano do cuidado permanece essencial para garantir que a informação não seja apenas precisa, mas também verdadeiramente compreendida.