Accuracy and efficiency of using artificial intelligence for data extraction in systematic reviews. A noninferiority study within reviews

Este estudo de não inferioridade demonstrou que a extração de dados assistida por IA (Elicit) é tão precisa quanto a extração humana exclusiva, mas com tempos de conclusão significativamente menores e custos reduzidos, sugerindo que a IA pode substituir um dos extratores humanos em revisões sistemáticas de ensaios clínicos randomizados.

O essencial

Imagine que você precisa organizar uma biblioteca gigante com 50 livros diferentes para escrever um relatório importante sobre saúde. A tarefa tradicional seria pegar cada livro, ler página por página, anotar os dados em uma planilha e repetir o processo duas vezes para garantir que ninguém errou. Isso é como fazer Revisões Sistemáticas: é crucial para a ciência, mas é extremamente cansativo, demorado e caro.

Este estudo foi como uma corrida entre dois métodos para ver qual era mais rápido e preciso nessa tarefa de "anotar os dados":

1. O Método Humano (O Escriba Tradicional): Duas pessoas leem os livros e anotam tudo manualmente.
2. O Método com IA (O Assistente Mágico): As mesmas pessoas usam um assistente de inteligência artificial chamado Elicit®. A IA lê o livro, sugere o que anotar, e a pessoa apenas verifica e confirma se está certo.

O objetivo não era ver quem era o "mais rápido" de qualquer jeito, mas sim provar que o Assistente Mágico não era "pior" que o Escriba Tradicional em termos de precisão, mas que era muito mais rápido e barato.

Aqui está o que eles descobriram, traduzido para a vida real:

🏆 O Veredito: O Assistente Mágico Ganhou (sem trapacear)

1. Precisão: "Quase idêntico, às vezes até melhor"
Imagine que você está preenchendo um formulário de 100 pontos.

• O Escriba Tradicional tirou uma média de 85,3 pontos.
• O Assistente Mágico tirou 85,8 pontos.
• A grande notícia: A diferença foi tão pequena que estatisticamente eles são iguais. O Assistente Mágico não cometeu mais erros bobos. Na verdade, quando se tratava de descrever "quem fez o quê" no estudo (o grupo de intervenção), a IA foi até melhor que os humanos!

2. Velocidade: "O Turbo do Assistente"
Aqui a diferença foi gritante.

• O Escriba Tradicional levava cerca de 73 minutos por livro.
• O Assistente Mágico levava apenas 48 minutos.
• Analogia: É como se você tivesse que caminhar até o trabalho. O humano anda a pé (73 min), e o humano com IA pega um scooter elétrico (48 min). Eles chegam ao mesmo lugar, mas o scooter chega muito mais rápido. Isso economizou cerca de 25 minutos por livro. Em um projeto grande, isso é como ganhar vários dias de trabalho!

3. Erros: "Nenhum dos dois é perfeito, mas são parecidos"
Muitas pessoas têm medo de que a IA alucine (invente coisas que não existem).

• O estudo mostrou que a taxa de "alucinação" (inventar dados) foi muito baixa e igual para os dois lados (apenas 1%).
• Os erros mais comuns foram "esquecer de anotar algo" ou "anotar algo incompleto", e isso aconteceu tanto com humanos quanto com a IA.
• A maioria dos erros foram "pequenos deslizes" (como um erro de digitação), não erros graves que estragariam o relatório final.

4. Dinheiro: "O Assistente é mais barato"

• O método humano custou cerca de $3.651.
• O método com IA custou cerca de $3.469.
• Economia: A IA economizou cerca de $182 no total do projeto. Parece pouco? Lembre-se que isso foi apenas em 50 livros. Em uma revisão com 500 livros, a economia seria enorme, além de liberar o tempo dos pesquisadores para fazerem coisas mais criativas, em vez de apenas copiar e colar dados.

🧠 A Lição Principal

Pense na Inteligência Artificial não como um robô que vai substituir o pesquisador humano, mas como um copiloto.

Neste estudo, o pesquisador humano ainda estava no banco do motorista, segurando o volante e verificando o mapa. A IA (o copiloto) apenas apontou o caminho mais rápido e sugeriu as anotações. O resultado foi que a viagem foi mais rápida, mais barata e chegou ao mesmo destino seguro.

Conclusão Simples:
Usar a IA (Elicit®) para ajudar a extrair dados de estudos científicos é seguro, rápido e econômico. Ela não substitui a inteligência humana, mas a torna muito mais eficiente, permitindo que os cientistas foquem no que realmente importa: interpretar os resultados e salvar vidas, em vez de perder horas digitando números.

O futuro das revisões científicas parece ser uma parceria: Humano + IA, onde a máquina faz o trabalho pesado de organização e o humano garante a qualidade final.

Resumo técnico

Resumo Técnico: Precisão e Eficiência da Inteligência Artificial na Extração de Dados para Revisões Sistemáticas

Título Original: Accuracy and efficiency of using artificial intelligence for data extraction in systematic reviews. A noninferiority study within reviews

1. Problema e Contexto

As revisões sistemáticas são fundamentais para informar políticas de saúde pública, mas a etapa de extração de dados é reconhecida como uma das mais intensivas em recursos humanos e propensas a erros (com taxas de erro chegando a 50%).

• Prática Atual: O padrão-ouro recomenda a extração independente por dois autores, seguida de consenso ou resolução por um terceiro autor, o que consome tempo significativo (média de 107 a 172 minutos por estudo).
• Oportunidade: A Inteligência Artificial (IA), especificamente a IA Generativa (GenAI), oferece potencial para automatizar ou semiautomatizar esse processo. No entanto, há uma lacuna de evidências robustas sobre a precisão e eficiência dessas ferramentas em comparação com a extração puramente humana.
• Objetivo do Estudo: Avaliar se a extração de dados assistida por IA (utilizando a ferramenta Elicit®) é não inferior à extração feita apenas por humanos em termos de precisão e tempo de conclusão, além de comparar tipos de erros e custos.

2. Metodologia

O estudo foi desenhado como um Estudo dentro de Revisões (SWAR) com desenho de não inferioridade, seguindo as diretrizes CONSORT.

• Dados de Entrada: 50 Ensaios Clínicos Randomizados (RCTs) de uma revisão sistemática Cochrane existente sobre intervenções de prevenção da obesidade em crianças (6-18 anos).
• Participantes: Dois pesquisadores (estudantes de pós-graduação ou pós-doutorado) com conhecimento básico na área, mas sem experiência prévia com o Elicit®.
• Grupos de Intervenção:
  • Braço Assistido por IA: Os participantes utilizaram o Elicit® (versão Pro com "modo de alta precisão") para extrair dados. Eles puderam revisar, editar e validar as saídas da IA, mas não puderam modificar os prompts originais.
  • Braço Apenas Humano: Os participantes extraíram dados manualmente apenas com base nos PDFs originais, sem auxílio de IA.
• Variáveis: 51 variáveis de dados extraídas, categorizadas em grupos (informações gerais, métodos, participantes, intervenção/grupo controle, dados/análise e outras).
• Desfechos Principais:
  • Precisão: Avaliada por um avaliador cego (independente) usando uma rubrica de três pontos (0: incorreto, 1: parcialmente correto, 2: correto), padronizada para uma escala de 0-100.
  • Tempo de Conclusão: Tempo total (preparação + extração) auto-relatado.
  • Erros: Classificados por tipo (dados omitidos, mal alocados, falsos/halucinações) e gravidade (maior, menor, inconsequente).
  • Custos: Incluiu remuneração dos pesquisadores, tempo de preparação e assinatura do Elicit® Pro.
• Margem de Não Inferioridade: Definida em 10% de diferença na precisão (equivalente a uma diferença de pontuação de 5 a 10 pontos na escala de 0-100).

3. Contribuições Chave

• Primeiro Estudo de Não Inferioridade: É a primeira avaliação rigorosa do tipo SWAR focada especificamente na não inferioridade da extração de dados assistida por IA (Elicit®) versus humana.
• Avaliação Abrangente: Vai além da simples precisão binária, incluindo análise de subgrupos de dados, tipos de erros (incluindo "alucinações"), gravidade dos erros e uma análise detalhada de custos.
• Validação de Fluxo de Trabalho "Human-in-the-Loop": Demonstra a eficácia de um modelo onde a IA atua como assistente, com supervisão humana para validação, em vez de automação total sem intervenção.
• Transparência: Os prompts utilizados foram desenvolvidos sistematicamente e tornados públicos para replicação.

4. Resultados Principais

• Precisão (Não Inferioridade):
  • Não houve diferença estatisticamente significativa na precisão geral entre os braços.
  • Diferença Média (DM): 0,57 pontos (Escala 0-100) a favor do braço assistido por IA (IC 95%: -1,29 a 2,43).
  • O intervalo de confiança estava inteiramente dentro da margem de não inferioridade de 10 pontos, confirmando que a IA não é pior que o humano.
  • Subgrupo: O braço assistido por IA foi significativamente mais preciso na extração de dados sobre "Intervenção e Grupo Controle" (DM 4,75).
• Eficiência (Tempo):
  • A extração assistida por IA foi significativamente mais rápida.
  • Economia de Tempo: Média de 24,82 minutos economizados por estudo no braço assistido por IA (IC 95%: 18,80 a 30,84).
  • Tempo médio total: 48,5 min (IA) vs. 73,3 min (Humano).
• Erros:
  • Taxa de Erros: Semelhante entre os grupos (IA: 9,7% vs. Humano: 10,1%).
  • Tipos: Os erros mais comuns foram dados omitidos/incompletos em ambos.
  • Alucinações (Dados Falsos): Raras e iguais em ambos os grupos (1,0% em cada).
  • Gravidade: A maioria dos erros foi classificada como "menor" (IA: 6,7% vs. Humano: 6,5%).
• Custos:
  • O braço assistido por IA foi mais barato, economizando $181,98 AUD (Dólares Australianos) em comparação com o braço apenas humano para os 50 estudos, apesar do custo da assinatura do software, devido à redução drástica no tempo de trabalho dos pesquisadores.

5. Significância e Conclusão

• Conclusão Principal: A extração de dados assistida por IA usando o Elicit® é não inferior à extração humana em precisão, mas é significativamente mais rápida e barata.
• Implicações Práticas: Os resultados sugerem que a IA assistida pode substituir um dos dois extratores humanos em futuras revisões sistemáticas de RCTs, mantendo a qualidade sem perda de precisão e reduzindo o tempo e custo do projeto.
• Recomendações Futuras:
  • Explorar modelos híbridos mais avançados, como dois extratores assistidos por IA ou IA pura com validação humana.
  • Investigar a aplicação em revisões sistemáticas "vivas" (living systematic reviews).
  • Manter a abordagem "humano-no-loop" para garantir supervisão e mitigar riscos de viés ou alucinações, dado que os modelos de IA ainda carecem de transparência total em seus processos internos.

Este estudo fornece evidências robustas para a integração responsável de ferramentas de GenAI nos fluxos de trabalho de síntese de evidências, promovendo maior eficiência sem comprometer a validade científica.