Diagnosing Structural Failures in LLM-Based Evidence Extraction for Meta-Analysis

Resumo Técnico: Diagnóstico de Falhas Estruturais na Extração de Evidências Baseada em LLMs para Meta-análise

1. O Problema

As revisões sistemáticas e meta-análises dependem da conversão de artigos narrativos em registros de estudo estruturados e numericamente fundamentados. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na extração de entidades isoladas, ainda não está claro se eles conseguem atender aos requisitos estruturais complexos desse processo. O desafio central não é apenas reconhecer termos (como "população" ou "tamanho da amostra"), mas sim preservar o vínculo (binding) relacional entre múltiplas variáveis, papéis (ex: variável independente vs. dependente), métodos estatísticos e tamanhos de efeito ao longo de documentos extensos. Falhas nesse processo impedem a criação de conjuntos de dados automatizados confiáveis para síntese de evidências.

2. Metodologia

Os autores propõem uma abordagem de avaliação diagnóstica e estrutural, em vez de testar apenas o desempenho de ponta a ponta.

• Esquema Semântico de Estudo: Desenvolveram um esquema unificado que abstrai elementos recorrentes em pesquisas empíricas (população, geolocalização, tamanho da amostra, método estatístico, variáveis, escala/unidade, condições e tamanho do efeito).
• Framework de Consultas em Camadas (Tiered Query Framework): As tarefas são organizadas por complexidade crescente:
  • L1 (Baixa Aridade): Extração de átomos isolados (ex: apenas o tamanho da amostra).
  • L2 (Alta Aridade): Extração de tuplas estruturadas que exigem o vínculo de múltiplos campos (ex: [Variável Independente + Variável Dependente + Método + Tamanho do Efeito]).
  • Consultas de Derivação Estatística (C): Operações de agregação (contagem, média, mediana) sobre os dados extraídos para testar a confiabilidade em nível de corpus.
• Corpus e Modelos: Utilizaram um corpus curado manualmente abrangendo cinco domínios científicos (Engenharia Civil, Ciências Médicas, Ciências Agrárias, Ciências Ambientais e Ciências Sociais). Avaliaram dois modelos de ponta: GPT-5.2 (fechado) e Qwen3-VL (aberto).
• Regimes de Entrada: Compararam o processamento Global (todos os artigos concatenados em um único contexto longo) versus Per-Paper (extração individual por artigo seguida de agregação).

3. Principais Contribuições

1. Perspectiva Diagnóstica: Um novo modo de avaliar LLMs que foca na progressão da complexidade relacional e não apenas na precisão de entidades.
2. Framework de Consultas Estruturadas: Um conjunto de testes que operacionaliza a dificuldade de "vínculo de atributos" (attribute binding).
3. Benchmark Multidomínio: Um conjunto de dados de referência alinhado a esquemas semânticos, cobrindo diversas áreas científicas.
4. Análise de Erros Sistêmicos: Identificação de que as falhas dos LLMs não são de reconhecimento, mas de integridade estrutural.

4. Resultados Principais

• Degradação por Complexidade: O desempenho (F1-score) cai drasticamente à medida que a aridade das tuplas aumenta. Enquanto a extração de átomos simples (L1) é moderadamente bem-sucedida, a extração de tuplas completas de associação (L2) apresenta confiabilidade próxima de zero.
• Impacto do Contexto Longo: O regime "Global" (longo contexto) prejudica significativamente o desempenho em comparação ao regime "Per-Paper", especialmente em tarefas de alta complexidade.
• Amplificação de Erros: Pequenos erros na extração inicial (upstream) são amplificados em tarefas de agregação (downstream). Por exemplo, uma falha em omitir um único documento pode invalidar completamente o cálculo de uma média para uma meta-análise.
• Padrões de Erro Identificados:
  • Confusão de Papéis: Inversão entre variáveis independentes e dependentes.
  • Deriva de Vínculo (Binding Drift): Associar incorretamente um resultado estatístico a uma variável errada dentro do mesmo documento.
  • Compressão de Instâncias: Dificuldade em extrair múltiplos resultados em seções de texto muito densas.

5. Significância

O estudo demonstra que os LLMs atuais carecem de fidelidade estrutural, vínculo relacional e fundamentação numérica necessários para a automação da meta-análise. O trabalho sinaliza que o futuro da extração científica não deve focar apenas em modelos maiores, mas em abordagens neuro-simbólicas e orientadas por esquemas (schema-aware), que tratem o vínculo de relações e a consistência de atributos como objetivos primários, garantindo que a estrutura do conhecimento científico seja preservada durante a automação.