📄 medicina

Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese

Este estudo de referência cego de múltiplos avaliadores avaliou quatro grandes modelos de linguagem em questões baseadas nas diretrizes da AAOS relativas à osteoartrite do joelho e artroplastia total do joelho, constatando que, embora o GPT tenha demonstrado a maior qualidade e consistência geral, a classificação de desempenho variou conforme o domínio de avaliação e foi sensível aos métodos estatísticos utilizados.

Autores originais: Handong Zhang, Shenghua Zhao, Bingyu Yan, Huaqiang Sun, Peng Wang

Publicado 2026-10-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Handong Zhang, Shenghua Zhao, Bingyu Yan, Huaqiang Sun, Peng Wang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Quando uma pessoa enfrenta um joelho doloroso e rígido, o caminho para o alívio é frequentemente pavimentado com conselhos médicos complexos. Os médicos baseiam-se em diretrizes estabelecidas para decidir se um paciente deve tentar fisioterapia, tomar medicação ou submeter-se a uma cirurgia para substituir a articulação. Estas regras são construídas com base em anos de investigação e são concebidas para manter os pacientes seguros, oferecendo ao mesmo tempo a melhor chance de recuperação. Nos últimos anos, as pessoas têm recorrido cada vez mais à inteligência artificial para dar sentido a esta informação, pedindo a programas de computador que expliquem as opções de tratamento, os riscos e os tempos de recuperação em linguagem simples. No entanto, o facto de um computador falar fluentemente não significa que esteja a dizer a verdade ou a manter a consistência. Se uma máquina der uma resposta diferente cada vez que se faz a mesma pergunta, ou se sugerir confiantemente um tratamento que os especialistas sabem ser perigoso, a ferramenta torna-se uma fonte de confusão em vez de ajuda.

Uma equipa de investigadores na China decidiu testar o quão bem quatro sistemas diferentes de inteligência artificial lidam com estas questões médicas críticas. Eles focaram-se na osteoartrite do joelho e na artroplastia total do joelho, duas das condições mais comuns tratadas por cirurgiões ortopédicos. A equipa não se limitou a pedir opiniões aos computadores; criaram um teste rigoroso baseado em diretrizes oficiais da Academia Americana de Cirurgiões Ortopédicos. Escreveram vinte e quatro perguntas específicas abrangendo tudo, desde tratamentos não cirúrgicos como perda de peso e exercício até detalhes cirúrgicos sobre como gerir riscos durante uma operação. Para garantir um teste justo, pediram a cada um dos quatro modelos de IA que respondesse a cada pergunta três vezes separadamente, tratando cada tentativa como uma conversa nova, sem memória da anterior. Esta abordagem permitiu-lhes ver não apenas se as respostas estavam corretas, mas também se as máquinas podiam ser confiadas para dar o mesmo conselho fiável repetidamente.

As respostas geradas pelos computadores foram depois entregues a oito especialistas humanos especializados em doenças do joelho e cirurgia articular. Estes médicos e especialistas leram as respostas sem saber qual computador as tinha escrito. Eles avaliaram cada resposta numa escala de um a cinco com base em quatro qualidades fundamentais: o quão relevante era a resposta para a pergunta, o quão precisa era do ponto de vista médico, o quão fácil era de compreender e se era segura. A segurança era uma preocupação importante, o que significava que os especialistas verificavam se o computador evitava dar conselhos perigosos ou se falhava ao mencionar riscos importantes. Os especialistas também deram uma pontuação separada para a consistência, avaliando se as três respostas do mesmo computador para a mesma pergunta eram essencialmente a mesma história ou se se contradiziam.

Os resultados mostraram que os quatro sistemas de inteligência artificial desempenharam-se de forma diferente, e nenhum único computador foi o vencedor claro em todas as categorias. Um modelo, conhecido como GPT, produziu as pontuações gerais mais elevadas. Foi particularmente forte em fornecer informações médicas precisas, manter-se no tópico e incluir avisos de segurança necessários. Outro modelo, o DeepSeek, obteve uma pontuação ligeiramente inferior na qualidade geral, mas foi classificado como o mais compreensível pelos especialistas, o que significa que a sua linguagem era a mais clara e fácil de seguir. Os outros dois modelos, ERNIE e Kimi, receberam pontuações mais baixas em todos os aspetos, particularmente em precisão e segurança. O estudo descobriu que a lacuna entre o melhor desempenho e o segundo melhor era pequena e dependia de como os dados eram analisados, sugerindo que, embora uma máquina possa ter uma ligeira vantagem, a diferença não é um facto massivo e inabalável.

Talvez tão importante quanto a qualidade das respostas fosse a consistência das máquinas. Os investigadores descobriram que os dois principais modelos eram muito melhores em dar a mesma resposta quando questionados a mesma pergunta três vezes seguidas. O modelo líder foi o mais consistente, seguido de perto pelo segundo melhor modelo. Os outros dois sistemas eram mais propensos a mudar de ideia ou a alterar os seus conselhos entre as tentativas. Isto importa porque um paciente que peça conselhos hoje pode obter uma resposta diferente amanhã se utilizar um sistema menos estável, o que pode levar à confusão ou a decisões erradas. Os especialistas observaram que, embora os computadores fossem geralmente bons a explicar as diretrizes, não eram perfeitos, e o seu desempenho variava dependendo se a questão era sobre cuidados não cirúrgicos ou sobre os detalhes de uma cirurgia.

O estudo conclui que, embora estas ferramentas de inteligência artificial mostrem promessa para ajudar os pacientes a compreender as suas condições de joelho, ainda não estão prontas para substituir o julgamento de um médico. Os modelos com melhor desempenho ofereceram informações de alta qualidade, seguras e claras, mas as diferenças entre eles eram subtis e específicas para certos pontos fortes. Uma máquina pode ser melhor em factos, enquanto outra é melhor em linguagem clara. Os investigadores enfatizaram que estas descobertas refletem como os computadores desempenharam num teste escrito e não provam que o uso destes irá melhorar a saúde ou a recuperação real de um paciente. Por agora, a abordagem mais fiável é ver estas ferramentas como assistentes úteis que podem fornecer um ponto de partida para a conversa, mas cujo conselho deve sempre ser verificado por um profissional médico antes de se tomar qualquer decisão sobre o tratamento.

Resumo Técnico: Qualidade e Consistência de Quatro Grandes Modelos de Linguagem na Resposta a Perguntas Baseadas nas Diretrizes da AAOS sobre Osteoartrite de Joelho e Artroplastia Total de Joelho

Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais utilizados para recuperar informações sobre osteoartrite (OA) de joelho e artroplastia total de joelho (TKA), existe uma lacuna crítica de evidências quanto à qualidade e consistência de seus resultados, particularmente na língua chinesa. Estudos anteriores estabeleceram que respostas fluentes não garantem precisão médica, e os benchmarks existentes frequentemente carecem de uma avaliação rigorosa sobre se as vantagens dos modelos são consistentes em diferentes domínios de qualidade (ex: precisão vs. compreensibilidade) ou estáveis em sessões independentes repetidas. Além disso, a estabilidade das conclusões principais e das declarações de risco sob condições de prompting claramente definidas permanece insuficientemente caracterizada em benchmarks reproduzíveis.

Metodologia

Este estudo empregou um design de benchmark transversal, cego e com múltiplos avaliadores para avaliar quatro LLMs: GPT (OpenAI, GPT-5.6 Luna), DeepSeek (modo web padrão sem raciocínio), ERNIE (Baidu, ERNIE 5.1) e Kimi (Moonshot AI, Kimi K2.6).

Geração de Dados: Os pesquisadores construíram 24 perguntas clínicas padronizadas derivadas das diretrizes da American Academy of Orthopaedic Surgeons (AAOS): oito relativas ao manejo não cirúrgico da OA de joelho e 16 relativas ao manejo cirúrgico da TKA.
Protocolo de Teste: Cada modelo respondeu a cada pergunta em três sessões independentes (totalizando 288 respostas). O ambiente de teste controlou estritamente as variáveis: não foram habilitados raciocínio avançado, pesquisa profunda, agentes, plugins ou busca na web. Foi utilizado um prompt padronizado em chinês, e os modelos foram cegados quanto à fonte da AAOS e aos critérios de pontuação.
Avaliação: Oito especialistas com experiência em doenças do joelho e artroplastia avaliaram as respostas de forma independente.
- Desfecho Primário: Uma pontuação de "Qualidade Geral" com pesos iguais (1–5) composta por quatro domínios: Relevância, Precisão (consistência com as âncoras de evidência da AAOS), Compreensibilidade (clareza percebida pelo especialista) e Segurança (evitação de conselhos prejudiciais).
- Desfecho Secundário: Consistência de Resposta, avaliada separadamente para as três saídas independentes do mesmo par modelo-pergunta, aferindo a estabilidade das conclusções principais e das informações de risco.
Análise Estatística: Os desfechos de qualidade foram analisados utilizando modelos de efeitos mistos lineares de máxima verossimilhança (ML) com comparações pareadas de ajuste de Holm. A consistência foi avaliada utilizando o teste de Friedman e testes de postos sinalizados de Wilcoxon. A confiabilidade interavaliador foi avaliada usando coeficientes de correlação intraclasse (ICCs).

Principais Resultados

Qualidade Geral: Observou-se um efeito significativo do modelo ( $Wald \chi^2=78.30, P<0.001$ $W a l d χ^{2} = 78.30, P < 0.001$ ).
- GPT alcançou a maior pontuação média ajustada de qualidade geral (4.527).
- DeepSeek seguiu com 4.311.
- ERNIE pontuou 3.866, e Kimi pontuou 3.675.
- O GPT superou significativamente o DeepSeek no modelo misto (diferença de 0.216, $P=0.032$ ), embora essa diferença não tenha atingido significância estatística no teste t pareado ( $P=0.055$ ) ou na análise de sensibilidade de Wilcoxon ( $P=0.069$ ). O GPT superou significativamente o ERNIE e o Kimi.
Desempenho Específico por Domínio:
- GPT obteve as pontuações mais altas em Relevância, Precisão e Segurança.
- DeepSeek obteve a pontuação mais alta em Compreensibilidade (4.488 vs. 4.168 do GPT, $P=0.003$ ).
- Não foram encontradas diferenças significativas entre o ERNIE e o Kimi em nenhum domínio.
Consistência:
- GPT demonstrou a maior consistência (4.750), seguido pelo DeepSeek (4.490), ERNIE (4.198) e Kimi (4.047).
- O teste de Friedman confirmou diferenças significativas na consistência ( $P<0.001$ ).
Confiabilidade: O ICC da medida média dos oito avaliadores foi de 0.966 para qualidade geral e 0.852 para consistência, indicando alta concordância interavaliador.
Interação: A interação entre o tipo de modelo e a categoria da pergunta (não cirúrgica vs. cirúrgica) não foi significativa ( $P=0.805$ ).

Principais Contribuições

Benchmarking Multidimensional: O estudo vai além de rankings de pontuação única ao demonstrar que as vantagens dos modelos são específicas de domínio. O GPT destaca-se em precisão médica e segurança, enquanto o DeepSeek oferece superior compreensibilidade.
Avaliação de Consistência: Ele quantifica explicitamente a consistência de saída repetida como uma métrica distinta da precisão, revelando que o GPT e o DeepSeek fornecem saídas mais estáveis em sessões independentes do que o ERNIE e o Kimi.
Rigor Metodológico: O estudo utiliza um design cego, com múltiplos avaliadores, com modelos de efeitos mistos e análises de sensibilidade para abordar a sensibilidade das conclusões estatísticas ao método de inferência (ex: a significância marginal da diferença de qualidade entre GPT e DeepSeek).
Contexto da Língua Chinesa: Fornece um benchmark reproduzível para o desempenho de LLMs em contextos médicos chineses, um cenário anteriormente menos caracterizado em comparação com as avaliações em língua inglesa.

Significância e Alegações

Os autores concluem que, embora o GPT demonstre atualmente a maior média de qualidade geral e estabilidade, a vantagem sobre o DeepSeek é sensível ao método estatístico utilizado e não deve ser interpretada como um ranking absoluto e fixo. O estudo enfatiza que:

Não Há Hierarquia Uniforme: O desempenho do modelo varia conforme o domínio de avaliação; um modelo forte em precisão pode ser mais fraco em compreensibilidade.
Limitações na Aplicação Clínica: Estes achados refletem apenas o desempenho textual avaliado por especialistas. O estudo afirma explicitamente que não estabelece benefícios para a compreensão do paciente, adesão ou desfechos clínicos.
Cautela na Implementação: Recomendações envolvendo limites de tratamento (ex: AINEs, manejo perioperatório) ainda requerem verificação profissional. Os resultados sugerem que os LLMs devem ser priorizados para alvos que exijam validação subsequente, em vez de implementação clínica imediata sem supervisão.

O artigo defende a reportagem de desempenho específico de domínio, tamanho do efeito, incerteza e consistência, em vez de reduzir as complexas capacidades dos modelos a um único ranking absoluto e fixo.