SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning

Resumo Técnico: SciEGQA

1. Problema e Motivação

Os documentos científicos apresentam desafios únicos para os Modelos de Linguagem e Visão (VLMs) devido à sua estrutura multimodal complexa, que integra parágrafos de texto, tabelas, figuras e referências cruzadas entre páginas. Embora existam benchmarks de Visual Question Answering (VQA) para documentos, a maioria das abordagens atuais possui limitações críticas:

• Granularidade Excessiva ou Insuficiente: Muitos conjuntos de dados fornecem anotações apenas no nível da página inteira (coarse-grained), o que não permite localizar regiões específicas de evidência. Outros usam anotações no nível de tokens (palavras), o que fragmenta unidades semânticas coerentes e perde o contexto.
• Falta de Grounding de Evidência: A maioria dos benchmarks avalia apenas a resposta final, sem exigir que o modelo identifique e localize visualmente a região do documento que suporta a resposta. Isso limita a interpretabilidade e a confiabilidade da avaliação.
• Isolamento de Componentes: Alguns datasets focam apenas em componentes estruturados isolados (ex: apenas tabelas ou apenas gráficos), ignorando a necessidade de raciocínio holístico que integra texto, figuras e múltiplas páginas.

O problema central é a falta de um benchmark que exija localização precisa de evidências em nível semântico (regiões contíguas e coerentes) combinada com raciocínio multimodal complexo em documentos científicos.

2. Metodologia e Proposta (SciEGQA)

Para abordar essas lacunas, os autores introduzem o SciEGQA, um novo dataset e benchmark para perguntas e respostas (QA) baseadas em evidências em documentos científicos.

Definição do Dataset:
Cada amostra no SciEGQA é definida como $S = (D, Q, A, T, E)$, onde:

• $D$: Documento fonte.
• $Q$: Pergunta.
• $A$: Resposta.
• $T$: Tipo de pergunta.
• $E$: Conjunto de regiões de evidência de suporte, representadas por caixas delimitadoras (bounding boxes) com coordenadas $(x_1, y_1, x_2, y_2)$ e categorias semânticas (texto, figura, tabela).

Granularidade de Anotação:
O dataset propõe uma granularidade intermediária: Nível de Região Semântica. Diferente de anotações por página ou por token, as regiões são unidades semânticamente coerentes (ex: um parágrafo inteiro, um gráfico completo ou uma tabela inteira), preservando o contexto semântico enquanto permitem localização espacial precisa.

Cenários de Raciocínio:
O dataset suporta três cenários de complexidade crescente:

1. SPSR (Single Page Single Region): Uma página, uma região de evidência.
2. SPMR (Single Page Multi Regions): Uma página, múltiplas regiões de evidência.
3. MPMR (Multi Pages Multi Regions): Múltiplas páginas, múltiplas regiões de evidência.

Construção do Dataset:
O SciEGQA possui dois componentes complementares:

1. Benchmark de Alta Qualidade (Anotado Humanamente):
   • Derivado de 80 artigos científicos de 8 domínios do arXiv (cs, econ, physics, etc.).
   • Contém 1.623 pares de perguntas-respostas.
   • Processo de anotação envolveu 12 anotadores e 24 especialistas de domínio, utilizando uma estratégia de cross-annotation (duas pessoas anotam, terceira revisa se o IoU < 0.9) para garantir consistência.
2. Conjunto de Treinamento em Larga Escala (Automático):
   • Derivado de mais de 3.600 artigos (totalizando ~30.780 pares QA).
   • Utiliza um pipeline automatizado que inclui: segmentação de regiões via SAM (Segment Anything Model), filtragem semântica usando VLMs fortes, geração de perguntas/respostas e verificação de resposta para garantir que a evidência suporte a resposta correta.

3. Contribuições Principais

1. Novo Benchmark e Dataset: Introdução do SciEGQA, o primeiro dataset de QA em documentos científicos que combina anotações de grounding de evidência em nível de região semântica com cenários de raciocínio multi-página.
2. Grounding de Evidência em Nível Semântico: Proposição de uma granularidade de anotação que equilibra a precisão espacial (caixas delimitadoras) com a integridade semântica (unidades de informação completas), superando as limitações das abordagens baseadas em página ou token.
3. Protocolo de Avaliação "Grounding–Crop–then–Answer": Um protocolo experimental que desacopla a capacidade de localização de evidências da capacidade de raciocínio. O modelo primeiro localiza a região, a imagem é recortada e, em seguida, um modelo fixo de QA gera a resposta. Isso permite avaliar isoladamente a precisão do grounding.

4. Resultados e Análise

Os autores avaliaram uma ampla gama de modelos VLMs de última geração (incluindo séries Qwen3-VL, Qwen3.5, InternVL, Ernie, Kimi, Claude e GPT-5.2) no benchmark SciEGQA.

• Desempenho Geral: Os modelos atuais mostram dificuldades significativas. Mesmo os modelos mais avançados atingem, em média, menos de 40% de IoU (Intersection over Union) nas tarefas de grounding de evidência. O melhor modelo (Qwen3.5-397B) atingiu apenas 38,89% de IoU médio.
• Correlação entre Grounding e QA: Há uma forte correlação positiva entre a precisão da localização da evidência (IoU) e a acurácia da resposta. Modelos que localizam mal a evidência tendem a falhar no raciocínio.
• Impacto da Granularidade: A acurácia da resposta aumenta drasticamente quando a granularidade de entrada é refinada (de "Documento Inteiro" para "Página" e depois para "Região Recortada"). Isso confirma que a dificuldade principal reside na localização da evidência, não apenas no raciocínio.
• Eficácia do Treinamento: O fine-tuning supervisionado (SFT) do modelo Qwen3-VL-8B usando o conjunto de treinamento automatizado do SciEGQA resultou em melhorias substanciais:
  • Aumento do IoU médio de ~21% para 38,66%.
  • Aumento da acurácia de QA de ~32% para 49,97%.
  • Isso demonstra que o conjunto de dados automatizado é de alta qualidade e eficaz para melhorar a capacidade de raciocínio científico dos modelos.

5. Significado e Impacto

O SciEGQA representa um avanço significativo na pesquisa de compreensão de documentos multimodais:

• Padrão de Avaliação Rigoroso: Estabelece um novo padrão para avaliar não apenas se o modelo sabe a resposta, mas se ele consegue encontrar a prova no documento, essencial para aplicações científicas onde a rastreabilidade é crucial.
• Recurso para Treinamento: O conjunto de dados de treinamento de 30k pares oferece um recurso escalável para treinar modelos a realizar raciocínio baseado em evidências, algo que antes era limitado pela falta de dados anotados manualmente.
• Direção Futura: O trabalho destaca que, para VLMs avançarem na compreensão de documentos complexos, é necessário focar na integração de localização espacial precisa com raciocínio semântico profundo, e o SciEGQA serve como um benchmark desafiador para impulsionar essa evolução.

Em suma, o SciEGQA preenche uma lacuna crítica ao fornecer dados e métricas para o grounding de evidências semânticas, permitindo que a comunidade científica avalie e melhore a capacidade dos modelos de "ler" e "raciocinar" sobre documentos técnicos complexos de forma transparente e confiável.