Resumo Técnico: ResearchQA

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais implantados para auxiliar na leitura e no raciocínio sobre literatura científica. No entanto, os métodos de avaliação atuais falham em avaliar adequadamente duas propriedades críticas necessárias para a confiança científica: (1) a rastreabilidade de cada afirmação até evidências verificáveis dentro do documento de origem, e (2) a apresentação de um contexto completo e relevante, em vez de um subconjunto incompleto, porém confiante. Métricas de avaliação padrão, como pontuações baseadas em rubricas de LLM ou similaridade de embeddings, frequentemente recompensam prosa plausível ou fabricações "dentro do tópico", falhando em detectar quando um modelo inventa citações ou atribui erroneamente descobertas. Benchmarks existentes como o HotPotQA (baseado em Wikipedia) carecem do conteúdo numérico e metodológico denso de artigos científicos, enquanto o QASPER (específico para NLP) é limitado em escopo de domínio e escala de anotação.

Metodologia

Os autores introduzem o ResearchQA, um benchmark projetado especificamente para avaliação fundamentada em citações. A metodologia consiste em três artefatos principais: um conjunto de dados, uma estrutura de avaliação e um sistema de graduação.

1. Construção do Conjunto de Dados

• Corpus: Extraído do subconjunto de acesso aberto do OpenAlex, abrangendo oito domínios: aprendizado de máquina, saúde pública, educação, ciências ambientais, história/humanidades, matemática, psicologia e ciências sociais. O lançamento inicial contém 494 artigos.
• Geração: Perguntas, respostas esperadas e passagens de evidência são geradas pelo Gemini 3.1 Pro usando um esquema de saída estruturada. Este esquema valida cada linha contra restrições rigorosas antes da escrita.
• Taxonomia de Perguntas: O conjunto de dados compreende 6.211 pares de pergunta-resposta categorizados em quatro tipos:
  • Busca (Extrativa): Perguntas factuais que exigem que o modelo localize e cite um único trecho (ex: tamanho da amostra).
  • Compreensão (Abstrativa): Perguntas abertas que exigem a síntese de temas ou metodologia.
  • Multi-hop (Múltiplos Saltos): Perguntas que exigem a integração de evidências de duas ou mais seções distantes (ex: comparar um resultado com uma linha de base ou calcular quantidades derivadas).
  • Adversarial (Adversária): Perguntas contendo premissas falsas ou perguntando sobre tópicos não abordados, onde o comportamento correto é recusar ou refutar com evidências fundamentadas.
• Lógica de Pontuação: Para perguntas multi-hop, a cobertura é fracionária; um modelo deve citar pelo menos uma alternativa de cada seção necessária para receber crédito total.

2. Estrutura de Avaliação (Evaluation Harness)

A estrutura roteia as perguntas através de um pipeline de "conversar com o artigo" envolvendo recuperação, um contrato de citação (exigindo que as afirmações sejam ancoradas a trechos citados) e um parser de saída estruturada.

3. Sistema de Graduação

O sistema emprega um híbrido de métricas determinísticas e baseadas em LLM para separar a fundamentação da citação da qualidade da resposta.

• Métricas Determinísticas:
  • Precisão de Citação: Fração de citações do modelo que coincidem com as seções exigidas.
  • Cobertura de Seção: Satisfação fracionária das seções exigidas (AND entre seções, OR dentro de alternativas).
  • Precisão de Citação: Fração de citações que são substrings verificáveis do texto bruto do artigo. Isso utiliza um combinador de citações ciente de PDF que normaliza o texto para lidar com o ruído de extração de PDF (hifenização, ligaduras, aspas inteligentes) em vez de depender de similaridade de embeddings, que poderia validar citações fabricadas, mas "no tópico".
  • Correção de Recusa: Para linhas adversárias, isso mede se o modelo recusou ou forneceu apenas evidências verificáveis ao refutar uma premissa falsa.
• Métricas Avaliadas por LLM:
  • Precisão Factual e Completude: Pontuadas em uma escala de 1 a 5 usando uma rubrica estritamente ancorada. Diferente dos avaliadores padrão que colapsam para os extremos, esta rubrica define critérios concretos para cada nível (ex: um "4" permite exatamente uma imprecisão menor) para reduzir a saturação de pontuação e o colapso da rubrica.

Principais Contribuições

1. Benchmark ResearchQA: Um conjunto de dados multi-domínio de 6.211 pares de QA fundamentados em citações, estendendo o design do QASPER para oito domínios científicos com um pipeline de anotação escalável gerado por LLM e verificado por correspondência determinística.
2. Estrutura de Avaliação Fundamentada em Citações: Uma estrutura de avaliação inovadora que desacopla a qualidade da resposta da integridade da citação. Introduz métricas determinísticas (Cobertura de Seção, Precisão de Citação, Correção de Recusa) que penalizam especificamente a fabricação e a falta de evidências, o que os avaliadores de LLM padrão muitas vezes não detectam.
3. Combinador de Citações Ciente de PDF: Um pipeline de normalização projetado para lidar com o ruído específico da extração de texto de PDF, garantindo que citações literais sejam identificadas corretamente sem depender de similaridade de embeddings que poderia validar conteúdo alucinado.
4. Avaliação por Rubrica Ancorada: Uma metodologia para avaliação por LLM que utiliza definições ancoradas por nível para evitar a compressão de pontuação, permitindo variância significativa nas pontuações de completude.

Resultados

Os autores avaliaram oito modelos líderes, tanto fechados quanto de pesos abertos (incluindo Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7 e modelos de pesos abertos como GPT-OSS-120B).

• Discriminação de Métricas: Métricas baseadas em citações (Cobertura de Seção, Correção de Recusa) mostram variação substancial entre os modelos (ex: uma lacuna de 39 pontos em Correção de Recusa), enquanto as pontuações do avaliador de LLM (Precisão Factual, Completude) permanecem fortemente comprimidas próximo ao teto (ex: 4.745–5.000). Isso sugere que os modelos de fronteira atuais são uniformemente precisos em afirmações factuais, mas variam significamente em sua capacidade de citar evidências verificáveis.
• Compromissos de Desempenho (Trade-offs): Nenhum modelo domina todas as dimensões.
  • Gemini 3.1 Pro lidera em qualidade composta e correção de recusa (0.870).
  • Modelos de pesos abertos (ex: Zai GLM 4.7, GPT-OSS-120B) aproximam-se da precisão de citação dos principais modelos fechados, alcançando uma latência por exemplo de 3 a 6 vezes menor.
  • Claude Opus 4.7 produz as respostas mais completas, mas possui a menor precisão de citação, indicando uma tendência de excesso de citação.
• Dificuldade da Tarefa:
  • Perguntas Multi-hop são as mais desafiadoras, mostrando a maior dispersão em todas as métricas (ex: uma lacuna de 42 pontos em Cobertura de Seção).
  • Perguntas de Busca (Lookup) estão amplamente saturadas, com a maioria dos modelos alcançando alta precisão.
  • Perguntas Adversárias revelam uma divisão clara no comportamento dos modelos em relação à recusa fundamentada.
• Variância de Domínio: O desempenho varia conforme o assunto. Economia e História/Humanidades apresentam desempenho mediano superior, enquanto Educação e Aprendizado de Máquina são os domínios mais desafiadores, com medianas mais baixas e maior variância.

Significância

O artigo argumenta que, para a leitura científica, a capacidade de rastrear afirmações até evidências verificáveis é mais crítica do que a fluência. O ResearchQA demonstra que os métodos de avaliação padrão são insuficientes para detectar alucinações de citação. Ao introduzir métricas de citação determinísticas, o benchmark revela diferenças significativas no comportamento dos modelos que são invisíveis para os avaliadores de LLM.

O trabalho postula que um forte LLM de fronteira pareado com um passo de verificação determinística pode efetivamente substituir anotadores humanos para escalar conjuntos de dados fundamentados em citações para múltiplos domínios a baixo custo. O benchmark destaca que, embora os modelos estejam se tornando factualmente precisos, sua capacidade de fornecer evidências verificáveis e específicas de seção — particularmente em cenários multi-hop e adversários — continua sendo um diferencial crítico. Os autores disponibilizam o benchmark, a estrutura de avaliação e os prompts do avaliador para facilitar pesquisas futuras sobre raciocínio fundamentado em citações.

Limitações: Os autores observam que o conjunto de dados depende de verdade fundamental gerada por LLM sem validação humana estratificada, e que a avaliação utiliza um único modelo Gemini para graduação (introduzindo um possível viés de mesma família). Além disso, o corpus é limitado a artigos em inglês de acesso aberto, excluindo layouts densos em imagens e literatura de acesso fechado.