RheumBench: A Specialist-Validated Rubric-Based Benchmark for Evaluating Large Language Models in Rheumatology

Na clínica moderna, os médicos recorrem cada vez mais à inteligência artificial para ajudar a filtrar sintomas complexos, ponderar opções de tratamento e tomar decisões difíceis. Essas ferramentas, conhecidas como modelos de linguagem de grande escala, são programas de computador poderosos treinados em vastas quantidades de texto que lhes permitem compreender e gerar linguagem semelhante à humana. Elas podem ler prontuários médicos, responder perguntas sobre doenças e sugerir próximos passos para o cuidado do paciente. Embora esses sistemas ofereçam a promessa de um suporte mais rápido e acessível, eles também carregam riscos significativos. Se um programa de computador der uma resposta confiante, mas errada, isso pode levar um paciente a receber o tratamento incorreto ou a perder um diagnóstico crítico. O campo da reumatologia, que lida com doenças das articulações, músculos e sistema imunológico, é particularmente complexo, envolvendo centenas de condições diferentes que frequentemente se assemelham. Como os riscos são tão altos, os especialistas precisam de uma maneira confiável de testar se esses assistentes digitais são realmente seguros e precisos antes de confiar neles com pacientes reais.

Para atender a essa necessidade, uma equipe de pesquisadores de várias universidades e centros médicos alemães criou um novo campo de teste chamado RheumBench. Este é o primeiro sistema de avaliação especializado projetado especificamente para medir o desempenho da inteligência artificial na reumatologia. Os pesquisadores não apenas pediram aos computadores que respondessem a perguntas de múltipla escolha; em vez disso, construíram uma estrutura rigorosa baseada em cenários clínicos do mundo real. Eles reuniram cem casos detalhados de pacientes, variando de setenta enigmas diagnósticos, onde o objetivo era identificar a doença correta, a trinta situações de gestão, que exigiam aconselhamento sobre tratamento, aconselhamento e cuidados de acompanhamento. Para cada um desses casos, um painel de reumatologistas certificados pelo conselho criou um guia de pontuação detalhado, ou rubrica. Esse guia listava ações específicas que um bom médico deveria tomar, como solicitar um teste específico ou prescrever um determinado medicamento, bem como ações que deveriam ser evitadas. Cada ponto no guia foi ponderado por importância, com algumas ações ganhando pontos altos por serem corretas e outras perdendo pontos por serem perigosas ou inapropriadas.

Os pesquisadores então testaram dez sistemas diferentes de inteligência artificial usando esses cem casos. O grupo incluiu três dos modelos de computador de uso geral mais avançados disponíveis, um modelo de código aberto e seis sistemas projetados especificamente para uso médico, incluindo dois que são oficialmente certificados como dispositivos médicos e um construído especificamente para a reumatologia. Os computadores foram solicitados a fornecer respostas para os casos de pacientes, e suas respostas foram avaliadas em relação às rubricas criadas pelos especialistas. Para lidar com a enorme quantidade de correção necessária, os pesquisadores usaram um painel de três outros modelos de computador avançados para atuar como juízes, verificando cada resposta em relação ao guia de pontuação. Esse processo gerou mais de cinquenta mil avaliações individuais, que foram então comparadas com os julgamentos de reumatologistas humanos para garantir que os juízes de computador fossem precisos. Os resultados mostraram um nível muito alto de concordância entre os especialistas humanos e os juízes de computador, validando o método.

As descobertas revelaram um cenário de variação significativa de desempenho. Os modelos de computador de uso geral mais avançados, que não são especializados em medicina, na verdade superaram os sistemas projetados especificamente para uso clínico. O sistema com melhor desempenho alcançou uma pontuação de 54,0%, o que significa que seguiu corretamente as diretrizes dos especialistas pouco mais da metade das vezes. Em contraste, o sistema construído especificamente para a reumatologia teve o menor desempenho de todos, com 17,8%. Mesmo os dispositivos médicos certificados, que são regulamentados como produtos médicos, não superaram consistentemente os modelos gerais. Isso sugere que ter um foco especializado ou certificação médica oficial não garante automaticamente que um sistema de inteligência artificial fornecerá conselhos melhores ou mais seguros. O estudo também descobriu que a maneira como uma pergunta era feita fazia uma grande diferença. Quando os pesquisadores utilizaram comandos (prompts) mais detalhados e minuciosos, o desempenho da maioria dos sistemas melhorou, com um modelo atingindo uma pontuação de 72,9%. No entanto, mesmo com essas melhorias, nenhum sistema atingiu um nível de perfeição que permitiria operar sem supervisão humana.

A segurança foi uma preocupação central durante todo o teste. Os pesquisadores buscaram erros que pudessem causar danos graves a um paciente. Eles descobriram que erros potencialmente graves ocorreram em todos os sistemas testados, incluindo os produtos médicos certificados. O tipo mais comum de erro foi uma omissão, onde o computador falhou em sugerir uma ação necessária, como solicitar um teste crucial ou encaminhar um paciente a um especialista. Embora os sistemas fossem geralmente bons em evitar ações que causariam danos diretos, sua falha em agir quando necessário era um risco significativo. Além disso, os computadores exibiram um padrão preocupante de excesso de confiança. Eles frequentemente relatavam altos níveis de certeza em suas respostas, muitas vezes alegando estar mais de noventa por cento certos, mesmo quando seu desempenho real era muito inferior. Essa lacuna entre o quão certo o computador se sentia e o quão correto ele realmente estava estava presente em todos os sistemas, indicando que os usuários não podem confiar no próprio índice de confiança do computador para julgar a qualidade de seu conselho.

O estudo conclui que, embora a inteligência artificial prometa apoiar médicos na reumatologia, os sistemas atuais ainda não estão prontos para substituir o julgamento humano. O fato de modelos de uso geral frequentemente terem um desempenho melhor do que ferramentas médicas especializadas desafia a suposição de que a certificação médica ou o treinamento de nicho levam automaticamente a uma maior segurança ou precisão. Os pesquisadores enfatizam que a supervisão humana continua sendo essencial, particularmente porque esses sistemas podem cometer erros graves e muitas vezes não percebem quando estão errados. A estrutura RheumBench continuará sendo atualizada com mais casos e cenários para ajudar a monitorar melhorias e garantir que as futuras versões dessas ferramentas sejam mais seguras para os pacientes. Até lá, o papel do computador deve ser visto como uma ferramenta de suporte que requer verificação cuidadosa por um especialista treinado, em vez de um tomador de decisão autônomo.