Context Selection for Hypothesis and Statistical Evidence Extraction from Full-Text Scientific Articles

Resumo Técnico: Seleção de Contexto para Extração de Hipóteses e Evidências Estatísticas

1. Problema e Motivação

A síntese de descobertas empíricas em grande escala é dificultada pela extensão dos artigos científicos e pela distribuição dos argumentos ao longo de diferentes seções do texto. O trabalho aborda a extração automatizada de hipóteses e suas evidências estatísticas correspondentes a partir do texto completo de artigos científicos.

O desafio central reside na natureza do problema de recuperação dentro do mesmo documento (within-document retrieval):

• Hipóteses: Frequentemente parafraseadas, distribuídas em múltiplas seções (Introdução, Discussão) e misturadas com texto topicamente relacionado, mas retoricamente irrelevante (ex: contexto de fundo).
• Evidências Estatísticas: São declarações híbridas (numérico-textuais) contendo valores de p, intervalos de confiança e coeficientes, geralmente localizadas na seção de Resultados.
• Dificuldade: Modelos de Linguagem de Grande Porte (LLMs) que processam o texto completo sofrem com "diluição de sinal", onde o ruído de parágrafos topicamente relacionados, mas retoricamente incorretos, degrada o desempenho de extração.

2. Metodologia

Os autores propõem um pipeline de dois estágios sequenciais baseado no paradigma de Geração Aumentada por Recuperação (RAG):

• Estágio 1 (Extração de Hipótese): Utiliza uma afirmação de descoberta extraída do resumo (Abstract) como consulta para recuperar parágrafos candidatos do corpo do texto que contenham a hipótese central. O LLM extrai a hipótese correspondente.
• Estágio 2 (Extração de Evidência): Constrói uma consulta composta concatenando a descoberta do resumo com a hipótese extraída no Estágio 1. Esta consulta é usada para recuperar parágrafos contendo a evidência estatística que suporta a hipótese.

Configurações de Contexto Testadas:
O estudo realiza um controle rigoroso variando a quantidade e a qualidade do contexto fornecido ao extrator:

1. Full-Text (Zero-Shot/CoT): O modelo recebe o texto completo do artigo (excluindo bibliografia).
2. RAG Padrão: Recuperação densa usando SciBERT para selecionar os top-$k$ parágrafos ($k \in \{5, 10, 20\}$).
3. RAG + Reordenamento (Reranking): Recuperação de 30 candidatos com SciBERT, seguida de reordenamento com RankGPT para selecionar os top-5.
4. Retriever Fine-Tuned + Reranking: Um recuperador baseado em bi-codificador (SciBERT) fine-tuned com perda de triplet multi-tarefa para distinguir funções retóricas de parágrafos, combinado com reordenamento.
5. Configuração Oráculo: Fornece ao extrator o parágrafo "ouro" (anotado por humanos) contendo a hipótese ou a evidência, isolando as falhas de recuperação das limitações do extrator.

Métricas de Avaliação:

• Hipótese: Correspondência semântica calibrada (usando embeddings do Gemini e um limiar de similaridade de 0.89) para aceitar paráfrases.
• Evidência: Pontuação baseada em componentes (nível de campo). Um LLM avaliador (GPT-4) parseia a extração em campos estruturados (variáveis, direção do efeito, intervalos de confiança, testes estatísticos, tamanho da amostra) e calcula precisão/recall sobre a sobreposição desses componentes.

3. Principais Contribuições e Resultados

O estudo foi conduzido em um conjunto de dados de 2.257 artigos das ciências sociais e comportamentais, utilizando quatro extratores LLM diferentes. Os resultados principais são:

A. Extração de Hipóteses é Limitada pela Recuperação:

• Contexto Direcionado vs. Texto Completo: A seleção de contexto direcionado supera consistentemente a abordagem de texto completo. O texto completo sofre de diluição de sinal devido a parágrafos topicamente relacionados, mas retoricamente errados.
• Quantidade ($k$): Aumentar o número de parágrafos recuperados ($k=5 \to 20$) geralmente melhora ou mantém o desempenho para hipóteses.
• Qualidade: Melhorar a qualidade da recuperação (via reordenamento e fine-tuning) traz ganhos consistentes. A configuração Fine-tuned Retriever + Reranker alcançou o melhor F1 não-oráculo (0.50 em média), superando o texto completo em +0.11 pontos de F1.
• Gap Oráculo: Mesmo com o parágrafo correto fornecido (Oráculo), há um espaço significativo para melhoria (F1 Oráculo ~0.73 vs. Não-Oráculo ~0.50), indicando que o extrator ainda tem margem de melhoria, mas a recuperação é o gargalo primário.

B. Extração de Evidências Estatísticas é um Desafio Maior:

• Sensibilidade ao Contexto: Ao contrário das hipóteses, o texto completo às vezes compete com ou supera pequenas janelas de contexto recuperado ($k=5$), sugerindo que o contexto amplo pode ajudar a localizar dados estatísticos dispersos. No entanto, aumentar $k$ e melhorar a qualidade da recuperação traz ganhos moderados.
• Limitação do Extrator: O gargalo principal não é a recuperação, mas a capacidade do extrator de lidar com declarações híbridas numérico-textuais.
  • Mesmo na configuração Oráculo (onde o parágrafo de evidência é perfeito), o desempenho permanece moderado (F1 entre 0.47 e 0.55).
  • Isso indica que, mesmo com o texto certo, os LLMs têm dificuldade em preservar fielmente campos estruturados complexos (ex: valores exatos de coeficientes, direção do efeito) sem erros.

C. Análise de Diagnóstico:

• A densidade de sinal (proporção de sentenças relevantes no contexto) correlaciona-se fortemente com o desempenho na extração de hipóteses.
• Para evidências, as melhorias de recuperação concentram-se em casos onde o parágrafo de evidência "ouro" é recuperado pela primeira vez; regressões ocorrem quando mudanças no recuperador fazem perder esse parágrafo.

4. Significado e Conclusões

O trabalho estabelece que a extração de traços de reivindicação (claim traces) em artigos científicos possui gargalos dependentes da tarefa:

1. Para Hipóteses: A seleção de contexto é crítica. Investir em qualidade de recuperação (reordenamento, fine-tuning para função retórica) e contextos moderadamente maiores é essencial.
2. Para Evidências Estatísticas: Melhorar apenas a recuperação não é suficiente. O problema reside na fidelidade do extrator em lidar com dados estruturados e numéricos. Soluções futuras devem focar em métodos de extração que forcem estruturas mais rígidas (ex: saída baseada em esquema) ou abordagens híbridas que combinem recuperação com parsing determinístico para campos numéricos.

Limitações: O estudo foca em artigos de ciências sociais (SBS) e pré-processamento que exclui tabelas e figuras (onde muitas estatísticas residem), o que limita o teto de desempenho para evidências que não estão no texto corrido.

Em suma, o artigo demonstra que, embora a recuperação de contexto direcionado seja superior ao texto completo para hipóteses, a extração de evidências estatísticas exige avanços fundamentais na capacidade dos modelos de processar e preservar informações numéricas estruturadas, independentemente da qualidade da recuperação.