Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

Todos os dias, milhares de pessoas com dores nas articulações, inchaço ou rigidez escrevem a reumatologistas pedindo ajuda. Essas cartas, conhecidas como encaminhamentos, chegam em um fluxo que os especialistas devem triar. O objetivo desta triagem, chamada de triagem, é decidir quem precisa ser atendido imediatamente porque sua condição pode ameaçar um órgão ou sua vida, e quem pode esperar com segurança semanas ou meses. Esta tarefa recai sobre médicos seniores, que devem ler textos complexos e não estruturados para tomar uma decisão. É um trabalho de alto volume e mentalmente exaustivo, que consome tempo que poderia ser dedicado a atender pacientes e tratar doenças. Quando o sistema funciona bem, as pessoas mais doentes recebem ajuda rapidamente. Quando falha, um paciente com uma condição autoimune que piora rapidamente pode esperar demais, correndo o risco de danos permanentes. No entanto, mesmo quando feita por médicos experientes, esse processo de classificação não é perfeito; especialistas frequentemente discordam entre si, e casos urgentes são por vezes perdidos ou atrasados.

À medida que o número de encaminhamentos cresce mais rápido do que o número de especialistas disponíveis, as clínicas buscam formas de usar a inteligência artificial para ajudar. Especificamente, elas estão testando modelos de linguagem de grande escala, que são programas de computador treinados em vastas quantidades de texto que podem compreender e gerar linguagem humana. Esses modelos já estão sendo usados para responder a perguntas médicas e auxiliar no diagnóstico, mas não estava claro se eles poderiam lidar de forma confiável com a tarefa específica e de alto risco de triagem de encaminhamentos de reumatologia. A questão central não era apenas se um computador poderia fazer isso, mas se ele poderia fazê-lo tão bem quanto uma equipe humana, e se o custo de usar os computadores mais poderosos e caros era necessário para realizar o trabalho corretamente.

Um pesquisador da Monash Health, na Austrália, propôs-se a responder a essas questões submetendo vinte e três modelos de linguagem de grande escala a um teste rigoroso. Eles criaram vinte cenários realistas de encaminhamento baseados em casos reais, cobrindo toda a gama de urgência, desde emergências fatais até dores de rotina. Para estabelecer um padrão ouro para a resposta correta, quatro reumatologistas independentes revisaram cada um dos casos sem saber o que os outros decidiram, chegando eventualmente a um consenso sobre o nível de urgência para cada um. O pesquisador então pediu que cada um dos vinte e três modelos de computador realizasse a triagem desses mesmos vinte casos. Para garantir que os resultados fossem estáveis e não apenas palpites de sorte, cada modelo foi solicitado a tomar a decisão três vezes para cada caso. O experimento foi realizado duas vezes: uma vez com uma instrução muito simples dizendo ao modelo para classificar os encaminhamentos, e novamente com uma instrução muito mais detalhada que explicava exatamente como pensar sobre o problema, fornecia exemplos do que cada nível de urgência representava e guiava o modelo para focar em sinais médicos específicos enquanto ignorava fatores menos relevantes, como níveis de dor.

Os resultados revelaram um padrão claro na forma como essas máquinas pensam. Quando recebiam apenas uma instrução simples, os modelos apresentavam desempenhos muito diferentes entre si. Os modelos maiores, mais avançados e mais caros eram significativamente mais precisos do que os menores e mais baratos. Nesse cenário simplificado, pagar mais por um modelo maior comprava um melhor desempenho. No entanto, a história mudou completamente quando o pesquisador alterou para as instruções avançadas e detalhadas. Com essa melhor orientação, a lacuna de desempenho entre os modelos desapareceu. Os modelos menores e mais baratos alcançaram os mais caros, e a ligação entre custo e precisão desapareceu. As instruções detalhadas essencialmente ensinaram os modelos menores a raciocinar sobre o problema, permitindo que eles performassem tão bem quanto os gigantes sem o alto preço.

Mesmo com as melhores instruções, os computadores não eram impecáveis. Eles ainda cometiam erros, às vezes sugerindo que um paciente estava mais doente do que realmente estava, e às vezes sugerindo que estava menos doente. O pesquisador observou que o erro de sub-triagem — perder um caso urgente — era o tipo de erro mais perigoso, pois poderia atrasar o cuidado crítico. Apesar desse risco, os modelos de melhor desempenho igualaram-se ao consenso humano na maioria dos casos, concordando frequentemente com o nível de urgência correto em todas as três tentativas. Esse nível de desempenho colocou-os dentro ou acima da faixa de precisão relatada para médicos humanos, que são conhecidos por discordar entre si em cerca de um terço dos casos e por frequentemente alterarem sua classificação de urgência após verem o paciente.

O estudo sugere que as ferramentas para automatizar essa carga administrativa já existem e podem ser mais acessíveis do que se pensava anteriormente. A descoberta fundamental é que a forma como uma pergunta é feita ao computador importa tanto quanto o próprio computador. Ao utilizar um comando (prompt) bem desenhado que inclua regras claras e exemplos, as clínicas podem ser capazes de usar modelos menores e mais baratos para alcançar resultados que rivalizam com os sistemas mais caros. Isso poderia permitir que os serviços médicos devolvessem um tempo valioso aos médicos seniores, libertando-os da tarefa de classificar cartas para que possam focar no tratamento de pacientes. Embora a tecnologia seja promissora, o pesquisador enfatiza que qualquer sistema usado no mundo real deve ser cuidadosamente monitorado para garantir que não perca casos urgentes, e que os médicos humanos devem permanecer no processo para revisar as decisões mais críticas. O caminho a seguir envolve testar essas ferramentas em encaminhamentos reais e vivos e refinar as instruções para garantir a segurança, mas os dados indicam que um assistente automatizado e confiável para a triagem de reumatologia não é mais um sonho distante.