Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study
Este estudo transversal multimodelo demonstra que, embora os atuais modelos de linguagem de grande escala tenham alcançado uma precisão próxima ao teto na conversão de métricas de risco cardiovascular para idosos, seu desempenho é primariamente diferenciado pela consistência entre execuções, com o DeepSeek apresentando uma estabilidade significativamente inferior à do Doubao e do Kimi, e as inconsistências surgindo quase exclusivamente de erros de arredondamento benignos em vez de erros clinicamente significativos.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
As doenças cardíacas continuam sendo a causa mais comum de doenças e morte em todo o mundo, e seu impacto recai pesadamente sobre os idosos. Quando os médicos tentam prevenir esses problemas antes que eles comecem, frequentemente recomendam medicamentos diários, como as estatinas. A decisão de tomar tal medicamento depende de um entendimento compartilhado entre o paciente e o médico: quanto isso ajudará e quais são os riscos? Essa conversa depende de números. Um médico pode explicar que um tratamento reduz a chance de um ataque cardíaco em uma certa porcentagem, ou que para cada cem pessoas que tomam o medicamento, um número específico evitará um evento adverso. Essas diferentes formas de enunciar o mesmo fato são todas matematicamente equivalentes, mas podem parecer muito diferentes para a mente humana. Traduzir um número em outro requer uma habilidade chamada numeracia, que até mesmo alguns profissionais médicos consideram difícil. À medida que as ferramentas de inteligência artificial se tornam mais comuns na área da saúde, muitas pessoas agora recorrem a elas para obter essas explicações. Mas se um computador fornece a um paciente um número hoje e um número ligeiramente diferente amanhã para a exata mesma pergunta, a confiança nessa ferramenta começa a desmoronar.
Uma equipe de pesquisadores partiu para testar o quão bem três sistemas populares de inteligência artificial lidam com essa tarefa específica. Eles queriam ver se esses modelos seriam capazes de converter estatísticas médicas complexas em números claros e simples para idosos. O estudo focou em um cenário onde um paciente precisa saber os benefícios e os danos de um medicamento para o coração. Os pesquisadores criaram oitenta histórias médicas diferentes e realistas envolvendo pacientes idosos com vários fatores de risco. Em cada história, a IA tinha que calcular quatro valores específicos: quanto o tratamento reduziu o risco de um evento cardíaco, quanto aumentou o risco de efeitos colaterais, quantas pessoas precisariam tomar o medicamento para que uma pessoa se beneficiasse e quantas precisariam tomá-lo para que uma pessoa fosse prejudicada. Para garantir um teste justo, os pesquisadores pediram que cada um dos três modelos de IA respondesse a cada pergunta três vezes seguidas, e fizeram isso tanto em inglês quanto em chinês. Isso resultou em milhares de respostas que foram verificadas contra um gabarito perfeito e travado, criado por especialistas humanos.
Os resultados revelaram uma verdade surpreendente sobre como esses sistemas funcionam. Quando se tratava de acertar a matemática, os modelos eram quase perfeitos. Eles quase sempre calculavam os números corretos, sugerindo que, para esse tipo de tarefa estruturada, sua capacidade de computação já está no nível mais alto possível. No entanto, a verdadeira história era sobre consistência. Quando a mesma pergunta era feita três vezes ao mesmo modelo, as respostas nem sempre eram idênticas. Um dos modelos, o DeepSeek, apresentou um conjunto diferente de números em mais de dez por cento dos casos, mesmo estando configurado em um modo que deveria produzir exatamente o mesmo resultado todas as vezes. Os outros dois modelos, Doubao e Kimi, eram muito mais estáveis, concordando consigo mesmos quase todas as vezes. Essa inconsistência ocorria mesmo quando os modelos não estavam tentando ser criativos; eles estavam simplesmente seguindo instruções para calcular números.
Quando os pesquisadores analisaram de perto as vezes em que os modelos deram respostas diferentes, descobriram que as diferenças eram quase sempre minúsculas e inofensivas. Em quase todos os casos, o desacordo era apenas uma questão de arredondamento. Por exemplo, se o cálculo mostrasse que um paciente precisava tomar o medicamento vinte e três vezes para ajudar uma pessoa, uma execução poderia arredondar para vinte e quatro, enquanto outra poderia arredondar para vinte e três. Essas pequenas mudanças não alteravam o aconselhamento médico ou a conclusão sobre se o medicamento valia a pena ou não. Os modelos estavam essencialmente dizendo a mesma coisa, apenas com um número ligeiramente diferente no rótulo. Apenas uma fração ínfima das respostas, menos de dois décimos de um por cento, era realmente problemática. Esses casos raros envolveram o modelo fornecendo um valor completamente diferente, falhando em responder ou mudando de ideia sobre se a resposta estava correta.
O estudo também verificou se a língua utilizada importava. Os modelos tiveram o desempenho tão bom em chinês quanto em inglês, sem diferença significativa de precisão entre os dois idiomas. Isso sugere que a capacidade de lidar com esses números não está ligada a um idioma específico. No entanto, os pesquisadores observaram que o modelo que teve dificuldades com a consistência em inglês também teve dificuldades em chinês, indicando que o problema era com o motor de software específico e não com o idioma em si. As descobertas desafiam uma crença comum de que configurar uma IA para um modo de "temperatura zero" garante que ela sempre dará a mesma resposta. Neste estudo, mesmo com essas configurações, o serviço forneceu números diferentes às vezes, provavelmente devido à forma como o sistema é construído e operado nos bastidores.
Em última análise, a pesquisa mostra que, embora a inteligência artificial seja excelente em calcular estatísticas médicas, sua confiabilidade depende de quão consistentemente ela repete esses cálculos. Para um paciente fazendo uma pergunta de vida ou morte, ouvir um número diferente a cada vez pode parecer pouco confiável, mesmo que os números sejam todos tecnicamente corretos. Os autores sugerem que, ao avaliar a IA médica, os especialistas devem olhar além da simples precisão e prestar muita atenção a essa estabilidade. Eles propõem uma nova maneira de medir a confiabilidade, contando com que frequência um modelo fornece respostas que não são apenas diferentes, mas perigosamente diferentes. No caso desses cenários de doença cardíaca, os modelos foram seguros, mas o estudo destaca que, para que essas ferramentas sejam confiáveis em clínicas reais, elas devem não apenas saber a resposta certa, mas também serem capazes de dizê-la da mesma maneira todas as vezes.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.