Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

No mundo da medicina infantil, existe uma condição chamada artrite idiopática juvenil. É um grupo de doenças onde as articulações de uma criança ficam inchadas e dolorosas sem uma razão clara, e isso pode afetar como ela cresce e se move. Como a condição se apresenta de muitas formas diferentes, os médicos devem ser muito cuidadosos para identificar exatamente qual tipo a criança possui e escolher o tratamento correto. As regras para tomar essas decisões estão registradas em guias detalhados criados por especialistas médicos. Esses guias dizem aos médicos quando iniciar medicamentos, como monitorar efeitos colaterais e como lidar com situações complexas, como infecções ou inflamação ocular. Por anos, esses guias foram o mapa confiável para os médicos, mas um novo tipo de ferramenta apareceu no horizonte: os modelos de linguagem de grande escala. Estes são programas de computador treinados em vastas quantidades de texto que podem escrever respostas para perguntas em uma linguagem fluente e humana. Eles estão se tornando populares para encontrar informações médicas, mas ninguém sabia se eles poderiam ser confiados para seguir as regras rigorosas do cuidado da artrite pediátrica ou se poderiam inventar fatos que parecem corretos, mas que são, na verdade, errados.

Uma equipe de pesquisadores na Turquia decidiu colocar esses programas de computador à prova de forma séria. Eles queriam ver se três dos modelos mais avançados disponíveis conseguiriam responder perguntas sobre a artrite idiopática juvenil tão bem quanto um especialista humano faria. Para fazer isso, eles não pediram aos computadores que escrevessem histórias ou conversassem sobre sentimentos. Em vez disso, deram a eles vinte e uma perguntas específicas baseadas nos guias médicos oficiais. Algumas perguntas pediam fatos simples, como como diferenciar os diferentes tipos da doença. Outras perguntavam sobre planos de tratamento, como qual medicamento dar a uma criança que não está melhorando. As perguntas mais difíceis eram histórias hipotéticas sobre pacientes, pedindo aos computadores para descobrirem o próximo passo ideal para uma criança específica com um histórico complexo. Os pesquisadores pediram a três modelos de computador diferentes que respondessem a cada uma das perguntas. Para garantir que o teste fosse justo, eles usaram rótulos neutros para esconder os nomes dos computadores e misturaram a ordem em que as respostas eram exibidas.

Cinco médicos especialistas, especialistas em doenças articulares infantis, leram essas respostas. Eles não sabiam qual computador escreveu cada resposta. Eles avaliaram cada resposta sobre o quão precisa ela era em comparação com os guis oficiais, o quão útil ela seria em um consultório médico real e quão boa era a resposta geral. Os resultados mostraram uma diferença clara entre as máquinas. Um modelo, que os pesquisadores chamaram de GPT-5.6 Sol, deu consistentemente as melhores respostas. Ele obteve as pontuações mais altas em precisão e em utilidade para um médico. Os outros dois modelos, Gemini 3.1 Pro e Claude Opus 5, tiveram um bom desempenho, mas ficaram aquém do líder. Em algumas áreas, como o diagnóstico da doença, um dos modelos mais fracos foi melhor que o outro, mas em outras áreas, como planos de tratamento, a ordem se inverteu. Isso provou que nenhum computador era perfeito em tudo, e seu desempenho mudava dependendo do tipo de pergunta sendo feita.

O estudo também analisou como as respostas foram escritas. Um dos modelos produziu respostas muito longas, escrevendo milhares de palavras ao longo das vinte e uma perguntas. Os pesquisadores esperavam que respostas mais longas pudessem ser melhores, mas os médicos não concordaram. O modelo que escreveu mais palavras não obteve as pontuações mais altas. Na verdade, o modelo com a melhor pontuação era frequentemente mais direto. Os médicos também notaram que a linguagem usada por todos os computadores era bastante difícil de ler, escrita em um nível que seria difícil para um adulto comum entender sem um histórico médico. Isso sugere que, embora essas ferramentas possam gerar texto fluente, elas nem sempre sabem como simplificar regras médicas complexas para um público geral.

A descoberta mais importante desta pesquisa é que esses programas de computador não podem substituir um médico humano. Embora possam recuperar informações e organizá-las em uma resposta coerente, às vezes eles confundem a linha entre o que é uma regra estrita e o que é apenas uma característica comum da doença. Eles podem sugerir uma opção de tratamento que é possível, mas não a melhor, ou podem confundir os detalhes de como uma doença é classificada. Os pesquisadores concluíram que essas ferramentas devem ser usadas apenas sob a supervisão de um especialista que possa verificar os fatos. O estudo mostrou que mesmo o melhor modelo de computador precisa de um especialista humano para verificar seu trabalho, especialmente quando a saúde de uma criança está em jogo. A tecnologia é poderosa, mas no delicado campo da reumatologia pediátrica, ela permanece uma ferramenta para auxiliar, não um tomador de decisões por conta própria.