SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning

1. El Problema

Los documentos científicos presentan desafíos únicos para los Modelos de Lenguaje Multimodal (MLLM) y los Modelos Visuales-Lingüísticos (VLM) debido a su estructura multimodal compleja, que incluye párrafos densos, tablas, figuras y referencias cruzadas entre páginas.

Las limitaciones actuales en los benchmarks de Respuesta a Preguntas Visuales en Documentos (DocVQA) son:

• Granularidad excesiva o insuficiente: La mayoría de los conjuntos de datos existentes solo proporcionan anotaciones a nivel de página (demasiado grueso para identificar la evidencia específica) o a nivel de token (demasiado fragmentado, perdiendo el contexto semántico).
• Falta de localización de evidencia: Los modelos actuales no están evaluados sistemáticamente sobre su capacidad para localizar las regiones exactas que sustentan una respuesta, lo que limita la interpretabilidad y la fiabilidad del razonamiento.
• Aislamiento de componentes: Algunos conjuntos de datos se centran en componentes individuales (solo tablas o solo figuras), ignorando la integración holística de la información del documento.

2. Metodología: SciEGQA

Para abordar estas limitaciones, los autores introducen SciEGQA, un nuevo conjunto de datos diseñado para la respuesta a preguntas y el razonamiento basados en evidencia visual en documentos científicos.

Principios de Diseño

• Anclaje Semántico de Regiones (Semantic Region Grounding): En lugar de tokens sueltos o páginas enteras, la evidencia se representa como regiones semánticamente coherentes del documento, delimitadas por cajas delimitadoras (bounding boxes). Esto preserva la integridad semántica mientras permite una localización espacial precisa.
• Escenarios de Razonamiento: El dataset soporta tres niveles de complejidad creciente:
  1. SPSR (Single Page Single Region): Una página, una región de evidencia.
  2. SPMR (Single Page Multi Regions): Una página, múltiples regiones de evidencia.
  3. MPMR (Multi Pages Multi Regions): Múltiples páginas, múltiples regiones de evidencia.

Estructura del Dataset

SciEGQA consta de dos componentes complementarios:

1. Benchmark de Alta Calidad (Anotado por Humanos):
   • Construido a partir de 80 artículos científicos de 8 dominios de investigación (extraídos de arXiv).
   • Contiene 1,623 pares pregunta-respuesta de alta calidad.
   • Proceso de anotación: 12 anotadores identifican regiones candidatas. Se utiliza una estrategia de doble anotación con verificación de intersección sobre unión (IoU > 0.9) y revisión por expertos de dominio para garantizar la consistencia semántica y la eliminación de fragmentos no coherentes.
2. Conjunto de Entrenamiento a Gran Escala (Automático):
   • Generado a partir de más de 3,600 artículos (aprox. 30,780 pares QA).
   • Pipeline Automatizado: Utiliza el modelo de segmentación SAM3 para dividir las páginas en regiones visuales coherentes (sin depender de reglas OCR predefinidas). Luego, modelos VLM potentes (como GPT-5.2 y Gemini 3) generan preguntas y respuestas basadas en estas regiones.
   • Validación: Un paso de verificación asegura que las respuestas generadas sean correctas basándose únicamente en las regiones de evidencia seleccionadas.

3. Contribuciones Clave

1. Nuevo Benchmark y Dataset: Introducción de SciEGQA, el primer conjunto de datos para documentos científicos que combina anclaje de evidencia a nivel de región semántica con razonamiento multi-página.
2. Granularidad Intermedia: Propuesta de una anotación a nivel de "región semántica" que supera las limitaciones de los enfoques a nivel de página y de token.
3. Protocolo de Evaluación "Grounding–Crop–then–Answer": Un protocolo novedoso que desacopla la capacidad de localización de evidencia del razonamiento. El modelo primero localiza la región (bounding box), luego se recorta esa región de la imagen y finalmente se envía a un modelo de respuesta fijo para generar la respuesta. Esto permite evaluar por separado la precisión de la localización y la capacidad de razonamiento.

4. Resultados y Análisis

Los autores evaluaron una amplia gama de modelos VLM de última generación (incluyendo series Qwen3-VL, Qwen3.5, InternVL3, Ernie-5, Kimi, Claude y GPT-5.2).

• Desempeño Actual: Los modelos existentes luchan significativamente con la localización de evidencia en documentos científicos.
  • El mejor modelo alcanzó solo un 38.89% de IoU medio en la tarea de localización, lo que indica que la precisión en la identificación de regiones es un cuello de botella crítico.
  • La precisión de la respuesta (QA) mejora drásticamente cuando se proporciona la evidencia correcta, pero cae cuando el modelo debe buscarla en el documento completo.
• Efecto de la Granularidad: Se observó una tendencia consistente: a mayor granularidad de la entrada (de Documento completo -> Página -> Región recortada), mayor es la precisión de la respuesta. Esto demuestra que la localización precisa es fundamental para el razonamiento.
• Efectividad del Entrenamiento:
  • Al realizar fine-tuning supervisado (SFT) en el conjunto de entrenamiento automático de SciEGQA, el modelo Qwen3-VL-8B mejoró significativamente.
  • El modelo ajustado (Qwen3-VL-8B-SFT) logró un 38.66% de IoU medio y una precisión de respuesta del 49.97% en el protocolo de evaluación, superando a muchos modelos base mucho más grandes sin entrenamiento específico.
  • Esto demuestra que el conjunto de datos generado automáticamente proporciona supervisión efectiva para mejorar las capacidades de razonamiento científico.

5. Significado e Impacto

• Estándar de Evaluación: SciEGQA establece un nuevo estándar para evaluar la comprensión de documentos científicos, forzando a los modelos a no solo "adivinar" la respuesta, sino a identificar y justificarla con evidencia visual precisa.
• Avance en Razonamiento Multimodal: Al demostrar que el entrenamiento en este dataset mejora tanto la localización como el razonamiento, el trabajo abre la puerta a modelos más fiables y explicables para la investigación científica.
• Recurso para la Comunidad: Proporciona tanto un conjunto de datos de evaluación riguroso como un recurso de entrenamiento escalable, facilitando el desarrollo de futuros sistemas de IA para la extracción de conocimiento científico.

En resumen, SciEGQA aborda la brecha crítica entre la comprensión superficial de documentos y el razonamiento profundo basado en evidencia, proporcionando las herramientas necesarias para desarrollar modelos de IA capaces de navegar y razonar sobre la complejidad de la literatura científica.