💻 computer science

An Auditable Large Language Model Pipeline for Data Extraction in Systematic Literature Reviews

Este estudo demonstra que um pipeline de modelo de linguagem de grande escala auditável pode apoiar efetivamente revisões sistemáticas de literatura ao alcançar alta concordância com especialistas humanos na triagem e extração de dados, destacando-se particularmente em campos complexos, ao mesmo tempo em que evidencia desafios específicos com questões binárias relativas a informações não relatadas.

Autores originais: Philipp André Macháček, Daniel Segelcke, Esther M. Pogatzki-Zahn, Bruno Pradier

Publicado 2026-10-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Philipp André Macháček, Daniel Segelcke, Esther M. Pogatzki-Zahn, Bruno Pradier

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Sempre que um médico precisa tomar uma decisão crítica sobre um novo tratamento, ele frequentemente recorre a uma revisão sistemática da literatura. Este é um processo massivo e trabalhoso, no qual pesquisadores reúnem todos os estudos científicos relevantes sobre um tópico, leem-nos cuidadosamente e extraem fatos específicos para ver o que a evidência total diz. Imagine tentar encontrar algumas agulhas específicas em um palheiro que cresce todos os dias; essa é a realidade da pesquisa médica moderna. À medida que o volume de ciência publicada explode, o trabalho manual necessário para filtrar milhares de artigos e extrair pontos de dados ponto a ponto tornou-se um gargalo. Isso retarda a tradução das descobertas laboratoriais em curas no mundo real e introduz o risco de erro humano, já que revisores cansados podem perder detalhes ou interpretar textos ambíguos de forma diferente. A questão que se impõe à comunidade científica é se a inteligência artificial pode ajudar a carregar esse fardo sem perder a precisão que os especialistas humanos fornecem.

Uma equipe de pesquisadores do Hospital Universitário de Münster e da Universidade de Exeter partiu para testar essa ideia não com um pequeno experimento simulado, mas ao submeter um modelo de linguagem de grande escala a uma revisão científica completa e do mundo real. Eles pegaram um estudo publicado que já havia analisado centenas de experimentos pré-clínicos sobre dor em roedores e pediram a um sistema de inteligência artificial que fizesse exatamente o mesmo trabalho. O objetivo era ver se a máquina poderia agir como um segundo par de olhos confiável, detectando erros ou confirmando descobertas, em vez de simplesmente substituir o pesquisador humano. Os pesquisadores alimentaram a IA com os mesmos milhares de artigos e pediram que ela respondesse às mesmas centenas de perguntas específicas sobre modelos animais, tratamentos e resultados que a equipe humana original havia respondido anos antes.

Os resultados mostraram um alto nível de cooperação entre o humano e a máquina. Quando a IA e os revisores humanos analisaram os títulos e resumos de 6.474 registros para decidir quais manter, eles concordaram na vasta maioria das decisões. Quando passaram para a tarefa mais difícil de ler o texto completo de 674 estudos e extrair 74.140 pontos de dados específicos, ainda concordaram em quase 90 por cento das respostas. No entanto, a história de suas divergências é onde reside o verdadeiro valor do estudo. Nos casos em que o humano e a IA divergiram, os pesquisadores trouxeram especialistas independentes para atuar como juízes, analisando os artigos originais para decidir quem estava certo. Esses especialistas deram razão à inteligência artificial em mais de 40 por cento dos conflitos, provando que a máquina havia detectado erros que os revisores humanos haviam perdido. Por outro outro lado, os especialistas humanos estavam certos com mais frequência quando a IA tinha dificuldades com perguntas que exigiam concluir o que não foi relatado em um texto, como determinar se uma medida de segurança específica estava ausente ou se um estudo carecia de um detalhe necessário.

O estudo revelou que o desempenho da IA dependia fortemente do tipo de pergunta feita. Ela era excepcionalmente boa em encontrar fatos que estavam claramente escritos, como a linhagem específica do animal usado ou o fármaco exato administrado, alcançando uma precisão quase perfeita nesses campos de texto livre e de múltipla escolha. Também se destacou na extração de números e listas de opções. A máquina teve mais dificuldade com perguntas de "sim ou não" que exigiam que ela concluísse que a informação estava ausente ou que interpretasse a intenção do autor por trás de uma descrição vaga. Esta é uma distinção crucial porque sugere que a IA não é uma varinha mágica que pode fazer tudo, mas uma ferramenta poderosa que funciona melhor quando suas forças são combinadas com as tarefas certas. Os pesquisadores descobriram que a dificuldade da tarefa era determinada mais pela forma como a pergunta era feita do que pelo tópico médico em si.

Em última análise, este trabalho demonstra que um sistema de inteligência artificial pode servir como um segundo leitor auditável no rigoroso mundo da síntese de evidências. Ele não substitui o especialista humano, mas cria um fluxo paralelo de extração que destaca onde os dois divergem. Ao sinalizar esses pontos específicos de conflito, o sistema permite que os revisores humanos foquem sua atenção nas partes mais difíceis dos dados, como julgar informações ausentes ou interpretar designs de estudo complexos. Os pesquisadores concluíram que esta parceria oferece um caminho prático: usar a máquina para lidar com o trabalho pesado de encontrar fatos explícitos, mantendo a supervisão humana direcionada às áreas onde o julgamento e a interpretação são mais críticos. Essa abordagem promete tornar o processo de revisão de evidências científicas mais rápido e confiável, garantindo que as conclusões extraídas de vastas quantidades de dados sejam o mais precisas possível.

Resumo Técnico: Um Pipeline de Modelo de Linguagem de Grande Escala Auditável para Extração de Dados em Revisões Sistemáticas da Literatura

Definição do Problema

As Revisões Sistemáticas da Literatura (RSLs) são fundamentais para a tomada de decisão baseada em evidências, mas enfrentam desafios significativos de escalabilidade devido à natureza laboriosa da extração manual de dados. À medida que o volume da literatura científica cresce, a exigência de que revisores humanos codifiquem atributos do estudo campo a campo cria um gargalo de produtividade e introduz problemas de confiabilidade inter-revisor. Embora a automação tenha sido proposta para mitigar isso, as soluções existentes concentram-se primariamente na triagem de título e resumo (classificação binária) ou dependem de classificação de texto supervisionada para recuperar trechos de texto específicos. Elas carecem da capacidade de realizar a extração generativa, campo a campo, de artigos de texto completo heterogêneos. Além disso, avaliações rigorosas de Modelos de Linguagem de Grande Escala (LLMs) neste contexto são escassas; a maioria dos estudos baseia-se em tarefas simuladas ou subconjuntos de referência (benchmarks) em vez de revisões sistemáticas completas e do mundo real. A lacuna crítica não é a existência de pipelines generativos, mas a falta de uma avaliação no padrão de evidência exigido para a prática real: uma comparação completa contra extrações humanas arquivadas, com cada discordância resolvida por adjudicação de especialistas cegados.

Metodologia

Os autores avaliaram um pipeline de LLM de ponta a ponta e auditável contra uma RSL pré-clínica publicada sobre modelos de dor pós-cirúrgica (6.474 registros triados; 674 estudos extraídos). O estudo utilizou um processo de verificação "humano no circuito" (human-in-the-loop), onde o LLM atuou como um segundo leitor ao lado de revisores humanos treinados.

Arquitetura do Pipeline:

Modelos: Dois modelos distintos foram empregados com base nos requisitos da tarefa:
- Triagem: MiniMax-M2.5 (prompt de disparo único/one-shot prompting).
- Extração de Texto Completo: MiniMax-Text-01 (fluxo de trabalho específico para perguntas com few-shot prompting dentro de uma thread de conversa persistente para manter o contexto).
Fluxo de Trabalho:
1. Pré-processamento: Os PDFs foram convertidos para texto simples usando PyMuPDF, com tabelas anexadas como texto e imagens marcadas como espaços reservados (placeholders). O texto foi fragmentado (máximo de 35.000 caracteres) e enviado para o modelo.
2. Extração: O pipeline processou 47 perguntas em 110 campos (74.140 pontos de dados no total). As perguntas foram enviadas sequencialmente dentro de uma única thread de conversa, carregando todo o contexto acumulado das trocas anteriores.
3. Parsing e Normalização: As saídas brutas do modelo foram analisadas (parsed) em campos estruturados que correspondiam aos formulários de extração humana. As saídas de texto livre foram normalizadas para vocabulários controlados onde necessário.
4. Adjudicação: Todas as discordâncias entre o revisor humano e o LLM foram encaminhadas para especialistas do domínio cegados (>15 anos de experiência). Os especialistas revisaram o texto completo de origem e selecionaram a resposta correta (Humano, LLM ou Nenhum).
Métricas de Avaliação:
- Concordância: Porcentagem de pontos de dados correspondentes.
- Correção Estimada: Calculada como $(M + D_{LLM}) / N$ , onde $M$ é o número de campos correspondentes, $D_{LLM}$ é o número de discordâncias resolvidas em favor do LLM, e $N$ é o total de pontos de dados. Esta métrica reconhece que a extração humana arquivada não é um padrão ouro livre de erros.
- Estratificação: O desempenho foi analisado por formato de resposta (Sim/Não, Seleção Única, Numérico, Texto Livre, Seleção Múltipla) e domínio temático.

Principais Contribuições

Avaliação Abrangente do Mundo Real: Diferente de trabalhos anteriores que utilizam subconjuntos de referência, este estudo avaliou um corpus completo de uma RSL publicada (674 estudos, 74.140 pontos de dados) campo a campo contra extrações humanas arquivadas.
Adjudicação de Especialistas Cegados: O estudo resolveu 7.835 discordâncias de extração usando especialistas cegados, permitindo a estimativa da correção do LLM independentemente da suposição de que a extração humana inicial estivesse sempre correta.
Análise de Modos de Falha: A pesquisa identifica que o desempenho é impulsionado mais pelo tipo de operação cognitiva exigida (ex: detectar ausência vs. extrair fatos explícitos) do que pelo tópico biomédico.
Design de Fluxo de Trabalho Auditável: O artigo apresenta um pipeline transparente onde os prompts, regras de parsing e decisões de adjudicação são mantidos como artefatos de auditoria, apoiando os princípios "RAISE" para IA responsável na síntese de evidências.

Resultados

Desempenho Geral:

Triagem: A concordância Humano-LLM foi de 94,2% (6.096/6.474 registros). Após a adjudicação, a correção estimada do LLM foi de 96,29%, comparada a 97,87% para o revisor humano.
Extração: A concordância Humano-LLM foi de 89,4% (66.305/74.140 pontos de dados). Após a adjudicação, a correção estimada do LLM foi de 93,92%, comparada a 95,14% para o revisor humano.
Resolução de Conflitos: Nas discordâncias de extração de texto completo, os especialistas favoreceram o LLM em 42,4% dos casos, o humano em 54,0% e nenhum em 3,6%.

Desempenho por Formato de Resposta:

Alto Desempenho: Campos de texto livre e seleção múltipla alcançaram a maior correção estimada do LLM (99,0%). O modelo destacou-se na extração de informações explicitamente relatadas.
Baixo Desempenho: Campos de Sim/Não mostraram a menor correção estimada do LLM (76,9%). O principal modo de falha foi a interpretação de evidência negativa (determinar se a informação estava ausente, não relatada ou explicitamente negada).
- Quando a resposta correta era "não relatado", a correção do LLM foi de 58,4% vs. 94,0% para humanos.
- Quando a resposta correta era um "não" explícito, a correção do LLM foi de 74,2% vs. 92,8% para humanos.
Campos Numéricos: O modelo superou os humanos na extração numérica (94,6% vs. 89,8%), identificando corretamente valores onde os humanos os perderam.

Achados Operacionais:

Tempo: O processamento do LLM levou 16,9 horas (tempo de API) vs. 85,7 horas para a extração manual. No entanto, os autores observam que isso exclui o desenvolvimento de prompts, limpeza de dados e controle de qualidade, portanto, não representa uma economia líquida de mão de obra neste cenário retrospectivo.
Tipos de Erro: O modo de falha dominante não foi a saída não analisável (violações de formato foram raras, <0,03% para Sim/Não), mas sim respostas semanticamente incorretas, porém bem formadas.

Significância e Alegações

O artigo alega que os LLMs são viáveis como segundos leitores auditáveis, em vez de substitutos autônomos para revisores humanos. A significância do trabalho reside em:

Supervisão Direcionada: Os resultados demonstram que a confiabilidade não é uniforme; ela depende fortemente da operação de evidência exigida. A supervisão humana pode ser estrategicamente direcionada para campos de alto risco (ex: perguntas de Sim/Não sobre ausência ou intenção do autor) enquanto campos de baixo risco (fatos explícitos, seleção múltipla) podem ser tratados com alta confiança pelo LLM.
Detecção de Erros: O LLM atua como um fluxo independente que pode detectar omissões e erros de codificação humana. Em campos de seleção múltipla, o modelo identificou opções aplicáveis de forma mais completa do que os revisores humanos treinados (maior sensibilidade).
Transparência Metodológica: O estudo fornece um framework para avaliar a IA na síntese de evidências que prioriza transparência, auditabilidade e a resolução de discordâncias sobre a simples acurácia agregada.
Expectativas Realistas: Os autores enfatizam que as ferramentas de IA atuais não estão prontas para implantação totalmente autônoma em todas as tarefas metodológicas. O fluxo de trabalho proposto mantém a responsabilidade humana significativa, alinhando-se aos princípios RAISE, ao usar o LLM para evidenciar conflitos para revisão de especialistas, em vez de substituir o processo de revisão inteiramente.

O artigo conclui que, embora uma única métrica de desempenho agregado seja insuficiente, um pipeline estruturado que combina extração generativa com adjudicação cega oferece um caminho prático para integrar LLMs na síntese de evidências liderada por humanos.