AI-Driven Paraphrasing and Evidence Recycling in Global Health Meta-Analyses: Introducing the EVIDENCE Framework for Detection and Prevention

Resumo Técnico: O Framework EVIDENCE para Detecção de Reciclagem de Evidências Impulsionada por IA

Definição do Problema: Reciclagem de Evidências
O artigo identifica uma ameaça nova e escalável à integridade da pesquisa, denominada "reciclagem de evidências". Diferente do plágio tradicional (cópia literal) ou do viés de duplicação (sobreposição de populações de estudo), a reciclagem de evidências envolve o parafraseamento semântico de achados de pesquisa existentes por meio de IA. Modelos de Linguagem de Grande Escala (LLMs) reescrevem conclusões centrais e estimativas de efeito de um único estudo primário em múltiplos estudos "novos", linguisticamente distintos. Como o texto é reescrito semanticamente, e não de forma literal, ele contorna as ferramentas padrão de detecção de plágio.

Os autores argumentam que isso cria uma ilusão de evidência inédita sem novos dados primários. Em meta-análises, isso leva ao tratamento de tamanhos de efeito não independentes como observações independentes, reduzindo artificialmente a variância e inflando as taxas de erro do Tipo I (falsos positivos). Esta ameaça é particularmente aguda em Países de Baixa e Média Renda (LMICs), onde a capacidade de verificação é limitada, e na política de saúde global, onde tais erros podem direcionar incorretamente recursos escassos. As diretrizes atuais, como PRISMA AI e TRIPOD AI, abordam a transparência no uso de IA, mas carecem de mecanismos operacionais para verificar se cada tamanho de efeito em uma meta-análise se origina de um estudo primário único.

Metodologia
Este artigo relata o desenvolvimento de um framework conceitual apoiado por uma síntese narrativa estruturada e um piloto de prova de conceito. A metodologia seguiu quatro etapas distintas:

1. Busca Bibliográfica: Uma busca no PubMed, arXiv e Retraction Watch (janeiro de 2020 – março de 2025) identificou 47 registros. Dez fontes empíricas primárias foram selecionadas para documentar a fabricação de citações por IA, a propagação de retratações e o viés de automação.
2. Desenvolvimento do Framework: As falhas de funcionamento identificadas na literatura foram mapeadas para potenciais salvaguardas editoriais. Elas foram agrupadas em oito domínios, formando o acrônimo EVIDENCE. O framework foi refinado iterativamente para garantir exclusividade mútua e exaustividade coletiva.
3. Avaliação de Validade de Face: Dois especialistas metodológicos independentes (um em métodos de revisão sistemática e um em ética de IA) avaliaram o rascunho do framework. O feedback deles levou a mudanças estruturais, incluindo a adição de um domínio de "Diversidade de Dados". Os especialistas classificaram o framework como claro e viável (pontuações médias de 4,5/5 para clareza e 4,0/5 para viabilidade).
4. Piloto de Prova de Conceito: O núcleo operacional do framework, a "matriz de dependência", foi aplicado a três meta-análises de saúde global de acesso aberto publicadas recentemente (2023–2024). Um revisor tentou rastrear cada tamanho de efeito extraído até um DOI ou PMID único em 30 minutos por revisão, para simular uma verificação editorial pontual.

Principais Contribuições: O Framework EVIDENCE
A principal contribuição é o Framework EVIDENCE, um checklist metodológico de oito domínios projetado para combater a reciclagem de evidências. O framework estende as orientações atuais ao introduzir cinco novos domínios não cobertos por diretrizes como o PRISMA AI:

• E (Evaluation of originality / Avaliação da originalidade): Verificar se as fontes citadas são publicações reais via busca por DOI/PMID.
• V (Verification of sources / Verificação de fontes): O núcleo operacional que exige uma matriz de dependência — uma tabela estruturada que mapeia cada tamanho de efeito extraído a um DOI ou PMID de fonte única.
• I (Integrity in synthesis / Integridade na síntese): Garantir a contabilização estatística de tamanhos de efeito não independentes (ex: usando Estimativa de Variância Robusta).
• D (Diversity of data / Diversidade de dados): Verificar populações de pacientes, contextos e períodos de tempo distintos para evitar a "diversidade parafraseada".
• E (Ethical AI use / Uso ético de IA): Exigir a divulgação das etapas de IA e a verificação humana dos resultados.
• N (Novel contribution / Contribuição inédita): Exigir declarações explícitas de que nenhum estudo incluído é uma versão parafraseada de outro.
• C (Contextual relevance / Relevância contextual): Avaliar a adequação das conclusões para contextos específicos (especialmente LMICs) e propor uma "Regra de Dois Revisores" para contextos de recursos limitados (um rastreamento de retrocesso de amostra aleatória de 20%).
• E (Editorial responsibility / Responsabilidade editorial): Orientar os periódicos a exigir o checklist e a matriz de dependência antes da revisão por pares.

Resultos

• Estrutura do Framework: O framework de oito domínios foi desenvolvido com sucesso e validado quanto à validade de face.
• Aplicação do Piloto: Ao aplicar o framework a três meta-análises publicadas, a matriz de dependência revelou lacunas de rastreamento de fontes em todas as três. Em uma meta-análise específica, dois de doze tamanhos de efeito não puderam ser rastreados até um DOI único dentro do tempo estipulado, gerando alertas para auditoria adicional.
• Viabilidade: O piloto demonstrou que a construção de uma matriz de dependência é viável (levando de 18 a 26 minutos por revisão no piloto) e capaz de identificar potenciais falhas de rastreamento.
• Restrições de Recursos: O artigo propõe a "Regra de Dois Revisores" (2R-AI) como uma alternativa leve para LMICs, exigindo apenas um rastreamento de retrocesso de amostra aleatória de 20%, estimado em duas horas adicionais por revisão.

Significância e Alegações
Os autores posicionam o Framework EVIDENCE como uma ferramenta prática, de baixo custo e sensível ao contexto para enfrentar uma ameaça emergente que as salvaguardas editoriais atuais não conseguem detectar. Eles afirmam explicitamente que a reciclagem de evidências não é um risco hipotético, mas uma realidade escalável possibilitada pela IA generativa.

A significância do artigo reside na mudança de chamadas abstratas por "supervisão humana" para o fornecimento de uma ferramenta concreta e imediatamente implementável: a matriz de dependência. Os autores alegam que cinco dos oito domínios abordam lacunas críticas na literatura atual. Eles não pretendem quantificar a prevalência da reciclagem de evidências globalmente, observando que seu piloto não teve poder para estimativa de prevalência. Em vez disso, eles convidam cinco grandes periódicos para realizar um teste de campo de seis meses para validar a eficácia do framework no mundo real e quantificar a prevalência do problema. O framework é apresentado como um ponto de partida acionável para prevenir uma potencial crise na integridade da pesquisa em saúde global.