Large Language Models for Automated AGREE II Quality Appraisal of Sepsis Clinical Practice Guidelines: A Methodological Comparative Study

No mundo de alto risco da medicina moderna, os tratamentos que salvam vidas são frequentemente guiados por diretrizes de prática clínica. Estas não são sugestões casuais, mas documentos cuidadosamente construídos que sintetizam as melhores evidências científicas disponíveis em instruções claras para médicos. Elas dizem às equipes médicas como gerenciar condições complexas como a sepse, uma reação perigosa à infecção que pode desligar órgãos e tirar milhares de vidas. No entanto, a qualidade dessas diretrizes varia drasticamente. Algumas são construídas sobre métodos rigorosos e transparentes, enquanto outras podem carecer de profundidade ou clareza. Para separar o confiável do não confiável, especialistas usam uma ferramenta específica chamada AGREE II. Este instrumento atua como um checklist detalhado, fazendo vinte e três perguntas específicas sobre a estrutura de uma diretriz, sua evidência e o quão prática ela é para o uso no mundo real. Tradicionalmente, preencher este checklist é um processo lento e caro que exige equipes de especialistas altamente treinados para ler cada palavra de um documento e debater seus méritos. À medida que o número de diretrizes publicadas cresce mais rápido do que o número de especialistas disponíveis para lê-las, a comunidade médica enfrenta um gargalo: como garantir a qualidade sem ser sobrecarregada pelo volume.

É aqui que a inteligência artificial entra na história, especificamente uma nova geração de programas de computador conhecidos como modelos de linguagem de grande escala. Esses sistemas, treinados em vastas quantidades de texto, demonstraram uma capacidade de ler, compreender e resumir informações complexas. Pesquisadores se perguntaram se essas ferramentas digitais poderiam assumir o trabalho pesado de avaliar diretrizes médicas, atuando como uma primeira passagem rápida e automatizada antes que um especialista humano intervenha. Uma equipe de cientistas decidiu testar essa ideia, colocando seis modelos diferentes de linguagem de grande escala contra um painel de especialistas humanos. Eles não pediram aos computadores que adivinhassem as respostas; em vez disso, alimentaram-nos com o texto completo de onze diretrizes do mundo real para o tratamento da sepse e pediram aos modelos que as pontuassem usando o mesmo rigoroso checklist AGREE II que os humanos já haviam utilizado. O objetivo era ver se as máquinas conseguiam pensar como os especialistas ou se tropeçariam nas nuances do julgamento médico.

Os resultados revelaram uma relação que é promissora, mas longe de ser perfeita. Os modelos de computador foram capazes de concordar com os especialistas humanos em um grau moderado, capturando a qualidade geral dos documentos. No entanto, eles não estavam simplesmente imitando o pensamento humano; estavam desenvolvendo seus próprios padrões distintos de erro. O achado mais marcante foi um viés consistente na forma como as máquinas avaliaram a "aplicabilidade" de uma diretriz. Esta seção do checklist pergunta se um documento fornece conselhos práticos suficientes para que os médicos o utilizem de fato em um hospital movimentado, considerando coisas como custo, equipamento e recursos locais. Os especialistas humanos geralmente deram notas mais altas a essas seções, reconhecendo a intenção prática por trás das recomendações. Os modelos de computador, por outro lado, deram consistentemente notas muito mais baixas a essas seções. Parece que as máquinas estavam procurando por instruções explícitas e passo a passo sobre como implementar um tratamento e penalizavam as diretrizes por não fornecê-las, mesmo quando as diretrizes eram, de outra forma, sólidas. Elas pareciam perder o contexto sutil e do mundo real que os médicos humanos entendem instintivamente.

Inversamente, os modelos tenderam a ser excessivamente generosos ao avaliar o "rigor do desenvolvimento". Esta parte do checklist examina como a diretriz foi criada, procurando evidências de que os autores seguiram métodos científicos rigorosos. Os computadores foram muito bons em detectar palavras-chave como "revisão sistemática" ou "baseada em evidências" e, quando viam esses termos, atribuíam pontuações altas. Às vezes, eles atribuíam essas pontuações mesmo quando os especialistas humanos sentiam que os métodos não eram tão fortes quanto a linguagem sugeria. As máquinas estavam lendo a superfície do texto muito bem, mas ocasionalmente perdiam a verdade profunda de como o trabalho foi realmente realizado. Isso criou uma dinâmica estranha onde os computadores eram muito severos com as partes práticas de uma diretriz e muito condescendentes com as partes teóricas.

Além das pontuações específicas, o estudo também observou a velocidade e o custo de usar esses diferentes modelos. Os pesquisadores mediram quanto tempo cada computador levou para ler uma diretriz e quanto "combustível" digital consumiu para produzir uma resposta. Um modelo, desenvolvido por uma empresa de tecnologia chinesa, destacou-se como o mais eficiente. Ele produziu pontuações que se alinhavam bem com os especialistas humanos, fez isso em apenas quinze segundos e utilizou a menor quantidade de recursos digitais. Outro modelo de uma grande empresa de tecnologia americana foi ligeiramente mais lento e mais caro de operar, mas mostrou o menor nível de viés, o que significa que suas pontuações eram as mais próximas da média humana, sem inclinar-se demais para um lado ou para o outro. O estudo descobriu que um modelo maior e mais poderoso não era necessariamente melhor para esta tarefa específica; de fato, o modelo mais eficiente não era aquele com o maior tamanho ou com o conhecimento médico mais geral. Isso sugere que, para este tipo de trabalho detalhado e estruturado, a capacidade de seguir um conjunto específico de regras importa mais do que o tamanho bruto.

Os pesquisadores concluíram que essas ferramentas de inteligência artificial não estão prontas para substituir os especialistas humanos. Se um hospital dependesse exclusivamente de um computador para decidir quais diretrizes são boas o suficiente para serem usadas, eles poderiam rejeitar documentos excelentes simplesmente porque a máquina foi rigorosa demais sobre detalhes práticos, ou poderiam aceitar documentos fracos porque a máquina foi enganada por uma linguagem sofisticada. Em vez disso, o melhor uso para esses modelos é como um sistema de triagem. Eles podem escanear rapidamente centenas de diretrizes, sinalizando aquelas que parecem promissoras e destacando aquelas que podem precisar de um olhar mais atento. Isso liberaria os especialistas humanos para focar seu tempo nos casos mais difíceis, particularmente aquelas diretrizes que estão no limite de serem aceitáveis. Dessa forma, a tecnologia atua como um assistente poderoso, lidando com o volume e a velocidade, enquanto deixa o julgamento final e matizado para as pessoas que entendem a realidade do cuidado ao paciente. O estudo confirma que, embora as máquinas possam ler as palavras, elas ainda precisam de humanos para entender o significado.