EviSearch: A Human in the Loop System for Extracting and Auditing Clinical Evidence for Systematic Reviews

Resumo Técnico: EviSearch

1. O Problema

A síntese de evidências clínicas, fundamental para revisões sistemáticas vivas e meta-análises, depende da extração estruturada de dados de publicações de ensaios clínicos (PDFs). Atualmente, esse processo é majoritariamente manual, exigindo que especialistas revisem textos completos para preencher tabelas complexas.
Os principais desafios identificados são:

• Multimodalidade Heterogênea: A evidência está distribuída em texto narrativo, tabelas complexas, gráficos (como curvas de Kaplan-Meier) e legendas de figuras.
• Limitações dos Modelos Atuais: Abordagens baseadas em LLMs (Large Language Models) que processam apenas texto extraído (parsed text) falham ao recuperar dados contidos em figuras ou tabelas complexas.
• Risco de Alucinação e Falta de Rastreabilidade: Erros de extração ou valores "alucinados" podem impactar diretamente decisões de tratamento e meta-análises. Além disso, muitos sistemas não fornecem proveniência (origem exata da informação) verificável por célula.
• Variabilidade de Relato: Campos de subgrupos e normalização de dados exigem raciocínio global do documento, indo além do simples reconhecimento de padrões.

2. Metodologia: Arquitetura do EviSearch

O EviSearch é um sistema de extração multi-agente projetado para automatizar a criação de tabelas de evidência clínica alinhadas a uma ontologia, garantindo proveniência por célula e verificação humana ("Human-in-the-Loop").

A arquitetura consiste em quatro estágios principais:

1. Parsing e Indexação do Documento:

   • Os PDFs são processados pelo modelo dpt-2-latest da Landing AI, gerando blocos elementares com números de página e rótulos de modalidade (texto, tabela, figura).
   • Para recuperação semântica, cada bloco é vetorizado (usando text-embedding-3-large) e indexado para busca por similaridade cosseno.

2. Extração Paralela por Dois Agentes Independentes:

   • Agente A (PDF Query Module): Envia o PDF binário completo (preservando layout, figuras e tabelas) diretamente para o modelo Gemini-2.5-Flash via API de arquivos. É otimizado para contextos globais do documento (ex: critérios de elegibilidade, desenho do estudo).
   • Agente B (Search Agent): Opera sobre o documento parseado (texto estruturado) utilizando um loop agêntico com ferramentas de busca. Ele realiza busca semântica nos blocos indexados para encontrar evidências granulares em tabelas e resultados específicos.

3. Módulo de Reconciliação (Reconciliation Agent):

   • Recebe as saídas dos Agentes A e B para cada lote de colunas.
   • Passo 1 (Acordo): Se ambos concordam ou se um valor é subconjunto do outro, o valor é aceito.
   • Passo 2 (Resolução Forçada): Em caso de conflito (valores diferentes ou um diz "não relatado" e o outro fornece valor), o agente é forçado a buscar a página específica (get_page), que retorna o texto parseado e a imagem renderizada da página. O agente então decide qual é o correto ou se ambos estão errados, atribuindo um rótulo de verificação.

4. Interface Humana e Auditoria:

   • O sistema opera em modo autônomo por padrão, mas expõe a cadeia de evidência para revisão humana.
   • Modo Automático: O clínico vê a tabela preenchida com links diretos para a evidência (página, modalidade, citação literal).
   • Modo Assistido: Para células marcadas como incertas (both_wrong) ou selecionadas para inspeção, o revisor vê lado a lado as respostas dos dois agentes, a decisão de reconciliação e o conteúdo da página fonte para correção.

3. Principais Contribuições

• Sistema Multi-Agente com Verificação Forçada: Integração de um agente que vê o PDF nativo (layout/figuras) com um agente de busca semântica, reconciliando divergências através de verificação multimodal forçada.
• Proveniência por Célula: Cada valor extraído vem acompanhado de metadados estritos (página, modalidade, citação literal), permitindo auditoria completa.
• Pipeline de Melhoria Iterativa: O sistema registra decisões de reconciliação e edições humanas, criando sinais de supervisão estruturada para aprimorar continuamente os modelos.
• Foco em Ontologia Clínica: O esquema de saída (133 colunas) é alinhado com plataformas de evidência viva (como o LISR para câncer de próstata), cobrindo desde características do estudo até desfechos de subgrupos.

4. Resultados Experimentais

O sistema foi avaliado em um conjunto de dados de ensaios clínicos de câncer de próstata (mCSPC) curado por clínicos, comparado a três baselines (Gemini 2.5 Flash com PDF nativo, Gemini 2.5 Flash com texto parseado, e GPT-4.1 com texto parseado).

• Desempenho Geral: O EviSearch alcançou 91,3% de desempenho geral (média de correção e completude), superando o melhor baseline (GPT-4.1) em 7,2 pontos percentuais (84,1%).
• Desempenho por Modalidade:
  • Figuras: O EviSearch obteve 86,7% de precisão, enquanto os baselines baseados em texto parseado caíram drasticamente para 51,6%. Isso demonstra a incapacidade de modelos puramente textuais de extrair dados de gráficos.
  • Tabelas: O EviSearch manteve alta performance (91,7%), enquanto o GPT-4.1 caiu de 87,3% (texto) para 73,5% (tabelas).
• Custo e Eficiência:
  • O EviSearch utiliza mais tokens (642k por documento) do que a extração direta de PDF (149k), devido à arquitetura de dois agentes e reconciliação.
  • No entanto, é significativamente mais eficiente que os baselines de texto parseado (que usam ~1M de tokens devido ao contexto repetido). O custo adicional é justificado pela garantia de auditabilidade e precisão.

5. Significância e Conclusão

O EviSearch representa um avanço crucial na automação de revisões sistemáticas vivas. Ao combinar a capacidade de raciocínio de LLMs com uma estrutura de verificação humana e proveniência rigorosa, o sistema resolve o dilema entre automação e confiabilidade clínica.

• Impacto Clínico: Reduz a carga de trabalho manual de curadoria sem sacrificar a precisão, permitindo que clínicos foquem na interpretação em vez da extração.
• Segurança: Oferece um caminho seguro e auditable para integrar LLMs em pipelines de síntese de evidências, onde erros não podem ser tolerados.
• Escalabilidade: A arquitetura de "Human-in-the-Loop" gera dados de feedback estruturado, criando um ciclo virtuoso para o aprimoramento contínuo do modelo.

Em suma, o EviSearch não busca substituir o especialista clínico, mas sim atuar como um assistente de alta precisão que transforma PDFs não estruturados em tabelas de evidência verificáveis e acionáveis.