Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

O câncer de boca é uma condição grave que exige um cuidado preciso e coordenado. Quando um paciente é diagnosticado, os médicos devem decidir por um caminho de tratamento que frequentemente envolve cirurgia, radioterapia ou medicação, dependendo exatamente de onde o tumor está localizado e de quão longe se espalhou. Essas decisões são guiadas por regras médicas rigorosas conhecidas como diretrizes clínicas, que são escritas por especialistas para garantir que cada paciente receba o melhor cuidado possível com base na ciência mais recente. Recentemente, um novo tipo de programa de computador chamado modelo de linguagem de grande escala surgiu. Esses programas podem ler vastas quantidades de texto e escrever respostas fluentes a perguntas, levando muitos a se perguntarem se eles poderiam ajudar médicos a resumir regras complexas ou sugerir planos de tratamento. No entanto, só porque um computador fala claramente não significa que seu conselho médico seja correto. No mundo de alto risco do cuidado contra o câncer, uma resposta confiante, mas errada, pode ser perigosa, tornando essencial testar se essas ferramentas digitais podem verdadeiramente compreender e aplicar as diretrizes médicas.

Uma equipe de pesquisadores da Universidade de Jilin, na China, partiu para testar essa ideia, colocando três dos modelos de linguagem de grande escala mais avançados para trabalhar em casos de câncer oral. Eles escolheram três modelos específicos: GPT-4o, DeepSeek-R1 e Grok-3. Para ver o quão bem esses programas performaram, os pesquisadores criaram um teste padronizado baseado nas diretrizes oficiais da National Comprehensive Cancer Network para cânceres de cabeça e pescoço. O teste tinha duas partes principais. Primeiro, os modelos foram solicitados a agir como cirurgiões especialistas e explicar as regras para o tratamento do câncer de boca para uma pessoa sem treinamento médico. Eles tinham que cobrir as causas, como a doença é descoberta e as etapas para tratamento e recuperação. Segundo, os modelos receberam cenários de câncer oral padronizados e vinhetas clínicas e foram solicitados a fornecer um plano de gestão completo, incluindo qual deve ser o diagnóstico, como estadiar a doença e exatamente qual cirurgia ou radioterapia seria apropriada.

Para julgar as respostas, três cirurgiões experientes de cirurgia bucomaxilofacial revisaram os resultados. Eles pontuaram as respostas em uma escala de zero a dez para a tarefa de resumo e em uma escala de zero a cem para a tarefa de gestão de caso, observando fatores como precisão, clareza e se o plano de tratamento seguia as regras oficiais. Os resultados mostraram que os modelos performaram de forma diferente, e nenhum programa único foi perfeito em tudo. Na tarefa de resumir as diretrizes para um público geral, o modelo DeepSeek-R1 recebeu a maior pontuação geral de 8,8 de total de 10, seguido pelo GPT-4o com 8,3 e Grok-3 com 7,8. O DeepSeek-R1 também pontuou mais alto em áreas específicas como clareza e fluxo lógico.

Quando os modelos passaram para a tarefa mais difícil de gerenciar casos de pacientes específicos, as pontuações foram mais altas no geral, mas as diferenças entre os modelos tornaram-se mais distintas. O DeepSeek-R1 alcançou novamente a pontuação abrangente mais alta de 87,44 de 100. Ele teve um desempenho particularmente bom ao sugerir os planos de tratamento corretos, planejar a extensão da cirurgia e avaliar o prognóstico, ou o provável desfecho, para o paciente. O Grok-3 ficou em segundo lugar com uma pontuação de 77,77, e o GPT-4o recebeu 68,61. Curiosamente, embora o DeepSeek-R1 tenha liderado na maioria das categorias, o Grok-3 recebeu a pontuação mais alta ao sugerir a dose de radiação correta. Os pesquisadores também observaram que as pontuações de similaridade de texto, que medem o quão de perto as palavras do computador coincidem com uma resposta de referência, nem sempre se alinharam com a precisão médica julgada pelos especialistas humanos. Isso sugere que um computador pode escrever palavras que parecem muito similares à resposta correta, mas ainda assim errar os detalhes médicos.

Apesar das altas pontuações alcançadas pelo modelo de melhor desempenho, o estudo encontrou falhas significativas que impedem que essas ferramentas sejam usadas como tomadoras de decisão independentes. Todos os três modelos às vezes confundiram o câncer de boca com o câncer de garganta, um erro crítico porque as duas doenças são tratadas de forma diferente. Eles também ocasionalmente inventaram detalhes específicos, como margens cirúrgicas exatas ou esquemas de antibióticos, que não eram suportados pelo caso do paciente ou pelas diretrizes oficiais. Os pesquisadores observaram que, embora os modelos pudessem organizar bem as informações, eles careciam da compreensão contextual profunda necessária para adaptar um plano à situação única de um paciente específico. O estudo conclui que essas ferramentas de inteligência artificial devem ser vistas como assistentes que ajudam médicos a redigir planos ou resumir informações, em vez de médicos autônomos que podem dar a palavra final. Os autores enfatizam que especialistas humanos devem sempre verificar o resultado, e eles pedem estudos maiores para refinar ainda mais como essas tecnologias podem apoiar com segurança o cuidado contra o câncer.