A Proportionate Validation Framework for AI-Assisted Data Extraction in Evidence Synthesis: A Methodological Evaluation using Elicit Within a  Scoping Review in Health.

Resumo Técnico: Um Framework de Validação Proporcional para Extração de Dados Assistida por IA

Declaração do Problema
O crescimento exponencial da literatura acadêmica tornou a extração manual tradicional de dados em revisões sistemáticas e de escopo cada vez mais insustentável, intensiva em recursos e propensa a erros. Embora a Inteligência Artificial (IA), particularmente os Grandes Modelos de Linguagem (LLMs), ofereça potenciais ganhos de eficiência, permanece uma incerteza significativa quanto à confiabilidade da extração assistida por IA e sobre como integrar essas ferramentas nos fluxos de trabalho de síntese de evidências sem comprometer o rigor metodológico. Os atuais frameworks de relato (ex.: PRISMA, PRISMA-ScR) carecem de orientação padronizada para documentar processos assistidos por IA, levando a relatos heterogêneos, limitada reprodutibilidade e potenciais problemas de credibilidade. Há uma necessidade crítica de um framework que alinhe a integração da IA com padrões estabelecidos, esclareça o escopo da supervisão humana e forneça evidências empíricas para uma automação escalável e confiável.

Metodologia
Este estudo desenvolveu e avaliou um framework de validação proporcional utilizando o Elicit, um assistente de pesquisa baseado na web, no contexto de uma revisão de escopo sobre monitoramento de sinais vitais vestíveis em adultos hospitalizados. A metodologia envolveu:

• Conjunto de Dados: Um subconjunto de 53 estudos de texto completo de uma revisão de escopo realizada anteriormente (totalizando 67 na versão publicada final) foi utilizado. Esses estudos foram carregados no Elicit.
• Engenharia de Prompt: Prompts personalizados foram desenvolvidos para espelhar 19 campos de extração de dados predefinidos (ex.: objetivos do estudo, metodologia, desfechos, limitações). Os prompts foram refinados iterativamente durante uma fase piloto para minimizar ambiguidades e confabulações.
• Extração por IA: O Elicit gerou saídas de dados estruturados para todos os 53 estudos.
• Validação Humana: Um processo de dupla validação humana foi implementado. Um revisor principal e seis co-revisores avaliaram independentemente as saídas da IA em relação aos textos integrais originais. As discrepâncias foram classificadas usando um framework padronizado em três categorias: Correto, Parcialmente Correto (Diferenças Menores) e Incorreto (Diferenças Maiores).
• Análise Estatística:
  • Confiabilidade Interexaminador: O Coeficiente de Concordância de Gwet (AC2) foi utilizado para avaliar a concordância entre as saídas geradas pela IA (validadas por humanos) e as extrações humanas. O AC2 foi selecionado em vez do kappa de Cohen devido à sua robustez ao lidar com distribuições altamente enviesadas de concordância (onde as classificações "corretas" predominam).
  • Simulação de Monte Carlo (MCS): Simulações foram conduzidas para avaliar o desempenho de estratégias de validação parcial. Subconjuntos do conjunto de dados (n = 3, 5, 7, 10, 15, 25) foram amostrados aleatoriamente para determinar o número mínimo de estudos necessários para que a validação humana pudesse inferir confiavelmente os níveis de concordância de todo o conjunto de dados.

Principais Contribuições

1. Framework de Validação Proporcional: O estudo propõe um fluxo de trabalho estruturado, alinhado ao PRISMA, para extração de dados assistida por IA que incorpora a IA como uma ferramenta dentro de um modelo de governança de "humano no circuito" (human-in-the-loop), em vez de como um substituto para o julgamento humano.
2. Limiares Empíricos para Validação Parcial: Através de simulações de Monte Carlo, os autores identificaram que validar aproximadamente 10% dos registros extraídos (ex.: 5 artigos em um conjunto de 53 estudos) produz estimativas de concordância estáveis comparáveis à dupla extração completa, enquanto validar 20% oferece uma salvaguarda mais robusta para campos complexos ou qualitativos.
3. Classificação Padronizada de Erros: O desenvolvimento de um framework específico para classificar erros de IA (Correto, Menor, Maior) permite uma avaliação matizada da qualidade da extração além da simples precisão binária.
4. Diretrizes de Relato: O artigo delineia um conjunto de elementos de relato necessários para a documentação transparente de sínteses assistidas por IA, incluindo detalhes da plataforma, especificações de prompts, estratégias de validação e métricas de concordância.

Resultos

• Alta Confiabilidade: A concordância global entre a extração assistida por IA (com validação humana) e a extração humana foi excepcionalmente alta, com um AC2 de Gwet de 0,960 (IC 95% 0,951–0,972), interpretado como concordância "quase perfeita".
• Desempenho por Campo: A concordância permaneceu consistentemente forte em todos os 19 campos de dados. Campos estruturados (ex.: Título, País) atingiram escores de AC2 >0,97. Campos mais interpretativos (ex.: Citações Representativas, Sinais Vitais Monitorados) mostraram concordância ligeiramente menor, mas ainda "quase perfeita" (AC2 >0,84).
• Ganhos de Eficiência:
  • Economia de Tempo: A dupla extração manual completa de 53 artigos exigiu aproximadamente 106 horas de revisores. A extração assistida por IA com validação humana dupla completa exigiu 53 horas (uma redução de 50%).
  • Modelo Proporcional: Um modelo de validação parcial (100% de validação primária + 20% de validação secundária) reduziu o tempo total para 32,5 horas, representando uma redução de 70% em comparação com a dupla extração manual tradicional.
• Achados da Simulação: As simulações de Monte Carlo indicaram que amostras de validação de 5 ou mais artigos produziram estimativas de concordância estáveis dentro dos limites de confiança do conjunto de dados completo. Amostras de 10, 15 e 25 artigos produziram intervalos interquartis inteiramente acima do limiar de 95%.
• Completude: O Elicit gerou respostas para todos os campos solicitados sem falhas no sistema. Quando a informação estava ausente no texto de origem, a ferramenta relatou a incapacidade de localizar os dados em vez de fabricar conteúdo.

Significância e Alegações
Os autores alegam que este estudo fornece um template reproduzível para a integração responsável da IA na síntese de evidências. A significância do trabalho reside em redefinir a adoção da IA não como uma questão de substituição de ferramentas, mas como um desafio de design de governança, accountability estatística e supervisão transparente.

As principais alegações incluem:

• Rigor Metodológico: A extração assistida por IA, quando inserida em um framework estruturado de humano no circuito com validação proporcional, pode alcançar níveis de confiabilidade consistentes com os padrões aceitos de confiabilidade interexaminador.
• Escalabilidade: Estratégias de validação proporcional (ex.: validar 10–20% dos registros) oferecem uma alternativa escalável à dupla extração manual completa, permitindo maior rendimento de sínteses clinicamente relevantes sem comprometer a qualidade.
• Alinhamento com Padrões: O fluxo de trabalho proposto alinha-se aos princípios PRISMA e PRISMA-ScR, abordando a lacuna atual nos padrões de relato para processos assistidos por IA.
• Confiança e Transparência: Ao vincular as saídas da IA diretamente ao texto de origem e utilizar estatísticas de concordância formais, o framework mitiga as preocupações de "caixa preta" e os riscos de alucinação, promovendo a confiança na evidência gerada por IA.

O estudo conclui que, embora a IA ainda não possa substituir totalmente o julgamento humano, ela pode ser efetivamente operacionalizada para reduzir a carga de trabalho do revisor e melhorar a eficiência, desde que frameworks de validação robustos e diretrizes de relato claras sejam estabelecidos. Os autores enfatizam que trabalhos futuros devem replicar esses achados em diversos tipos de revisão, domínios clínicos e plataformas de IA para confirmar a generalização.