High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

Sempre que uma equipe de pesquisadores se propõe a compreender um tratamento médico, deve primeiro reunir os fatos de dezenas, às vezes centenas, de estudos individuais. Esse processo, conhecido como revisão sistemática, é o alicerce da evidência médica moderna. Exige que os cientistas leiam relatórios densos e extraiam números específicos: quantos pacientes foram envolvidos, qual dosagem receberam e quais foram os desfechos. Se um único número for copiado incorretamente, toda a conclusão da revisão pode mudar, levando potencialmente os médicos a recomendar o tratamento errado. Por décadas, esse trabalho foi feito por mãos humanas, uma tarefa lenta e meticulosa onde duas pessoas frequentemente leam o mesmo documento de forma independente para detectar erros. É o padrão ouro para a precisão, mas também é incrivelmente demorado e caro.

Nos últimos anos, uma nova ferramenta entrou neste cenário: os modelos de linguagem de grande escala. Estes são programas de computador poderosos treinados em vastas quantidades de texto que podem ler um artigo científico e tentar extrair os mesmos números que um humano faria. A esperança tem sido que esses sistemas de inteligência artificial pudessem realizar o trabalho pesado, acelerando o processo e liberando especialistas humanos para pensamentos mais complexos. Mas, à medida que essas ferramentas se tornaram mais comuns, uma questão crítica surgiu: podemos confiar nelas para serem tão precisas quanto os humanos, e o seu desempenho permanece consistente independentemente do tipo de informação que lhes é solicitada?

Um novo estudo de Carlos Darcy Alves Bersot e seus colegas faz um olhar estatístico profundo sobre esta questão. Eles não apenas perguntaram se as máquinas funcionam; eles reuniram todos os relatórios disponíveis que testaram esses modelos contra um padrão feito por humanos e combinaram os resultados para ver o quadro completo. O que encontraram é uma história de duas realidades muito diferentes coexistindo. Por um lado, o desempenho médio desses sistemas de inteligência artificial é surpreendentemente alto. Por outro lado, essa média esconde uma realidade caótica onde o desempenho pode oscilar drasticamente dependendo da tarefa específica em questão.

Os pesquisadores coletaram dados de quarenta e seis relatórios diferentes, representando quarenta e cinco investigações independentes. Eles focaram especificamente no momento antes de um humano sequer olhar o trabalho da máquina. Eles queriam saber: se um modelo de linguagem de grande escala for solicitado a extrair uma informação, com que frequência ele a acerta na primeira tentativa? Quando agruparam os resultados de oito estudos fundamentais que atendiam aos seus critérios rigorosos, a resposta foi encorajadora. Os modelos acertaram a resposta cerca de 86,4 por cento das vezes. Este número sugere que, em um sentido geral, essas ferramentas são bastante capazes.

No entanto, a história não termina com esse número médio. Os pesquisadores olharam mais de perto e descobriram que essa alta média foi construída sobre uma fundação de extrema inconsistência. Eles calcularam uma amplitude que mostra que tipo de desempenho se pode esperar em uma situação nova e não vista. Essa amplitude estendeu-se de um mínimo de 19,2 por cento a um máximo de 99,4 por cento. Para colocar isso em perspectiva, imagine um aluno fazendo uma prova que obtém uma pontuação média de 86 por cento. Se as notas desse aluno em provas individuais variassem de reprovação a perfeição, você não se sentiria confiante em enviá-lo para uma sala de aula para corrigir trabalhos. A mesma lógica se aplica aqui. O fato de a média ser alta não garante que a máquina terá um bom desempenho em um cenário específico do mundo real.

O estudo revela que o tipo de informação sendo extraída faz uma diferença enorme. Quando a tarefa envolve fatos simples e claramente declarados, os modelos apresentam um desempenho muito bom. Mas quando a tarefa exige encontrar números enterrados em tabelas complexas, interpretar textos ambíguos ou extrair dados que estão ausentes ou mal relatados, a precisão cai significativamente. Em um caso específico onde o modelo teve que encontrar informações de caráter aberto que exigiam a recordação de detalhes da memória em vez de apenas copiá-los, a precisão despencou para apenas 17 por cento. Este estudo único, com sua tarefa muito diferente, puxou a média geral para baixo e ampliou a amplitude dos resultados possíveis. Quando os pesquisadores removeram este outlier para observar tarefas mais similares e estruturadas, a precisão média subiu para 91,2 por cento, mas mesmo assim, o desempenho ainda poderia variar amplamente de um cenário para outro.

Os pesquisadores também examinaram como essas ferramentas lidam com dados numéricos, que é a parte mais crítica de uma revisão médica. Aqui, os resultados foram mistos. Em alguns testes altamente estruturados, os modelos alcançaram uma precisão quase perfeita, acertando 99 por cento dos números. Em outros estudos com tipos diferentes de dados, a precisão caiu para cerca de 63 por cento. Essa inconsistência significa que um pesquisador não pode assumir que, porque um modelo é bom em uma coisa, ele será bom em tudo. Um modelo que se destaca ao encontrar o nome de um medicamento pode falhar miseravelmente ao encontrar o número exato de pacientes que apresentaram um efeito colateral.

Outra descoberta crucial diz respeito ao fluxo de trabalho. Muitos estudos observaram como essas ferramentas performam quando humanos estão envolvidos no processo, como quando um humano verifica o trabalho da máquina ou quando a máquina atua como um segundo leitor. Esses fluxos de trabalho assistidos por humanos frequentemente mostram melhores resultados e economizam tempo. No entanto, o estudo faz uma distinção clara: a velocidade e a precisão de um humano trabalhando com uma máquina não são as mesmas de uma máquina trabalhando sozinha. A economia de tempo relatada em alguns estudos vem do fato de a máquina fazer o rascunho inicial, mas o humano ainda precisa gastar tempo verificando e corrigindo o trabalho. A máquina não elimina a necessidade de supervisão humana; ela apenas altera a natureza do trabalho.

Os pesquisadores também observaram a qualidade dos estudos que revisaram e descobriram que muitos possuíam falhas metodológicas. Alguns estudos não explicaram claramente como testaram os modelos, ou utilizaram os mesmos dados tanto para treinar o modelo quanto para testá-lo, o que pode fazer com os resultados parecerem melhores do que realmente são. Devido a essas limitações e ao pequeno número de estudos verdadeiramente independentes disponíveis, os pesquisadores não podem afirmar com absoluta certeza que essas ferramentas funcionarão perfeitamente em todas as situações futuras. As evidências sugerem que, embora as ferramentas sejam poderosas, elas ainda não são confiáveis o suficiente para substituir inteiramente os revisores humanos.

A conclusão deste trabalho não é que a inteligência artificial seja um fracasso, mas sim que é uma ferramenta que exige manuseio cuidadoso. A alta precisão média é real, mas é um parâmetro enganoso se tomado fora de contexto. Ela nos diz que a tecnologia tem potencial, mas também nos avisa que o desempenho é frágil. Um sistema que funciona bem para um tipo de extração de dados pode falhar completamente para outro. Os pesquisadores argumentam que o melhor caminho a seguir não é confiar cegamente nas máquinas, mas usá-las como parte de uma estratégia adaptada ao risco. Para tarefas simples e claras, elas podem ser usadas com confiança. Para dados complexos, numéricos ou ambíguos, a verificação humana continua essencial.

Em última análise, este estudo desloca a conversa de "A máquina consegue fazer?" para "Sob quais condições a máquina consegue fazer?". A resposta é que a máquina consegue fazer bem, mas apenas quando as condições são favoráveis. A alta pontuação média é uma promessa de capacidade, mas a ampla variabilidade é um aviso de imprevisibilidade. Para os cientistas que dependem dessas revisões para guiar a prática médica, a lição é clara: a máquina é uma assistente útil, mas ainda não é um substituto para o olhar atento e crítico de um especialista humano. O futuro da síntese de evidências provavelmente envolverá uma parceria onde a máquina lida com o volume e o humano garante a validade, com o entendimento de que o desempenho da máquina nunca é uma garantia, mas uma variável que deve ser constantemente verificada.