SciClaimEval: Cross-modal Claim Verification in Scientific Papers

Resumen Técnico: SciClaimEval

1. El Problema

La verificación de afirmaciones científicas (claim verification) es crucial para mantener la integridad de la revisión por pares, especialmente con el auge de la IA generativa. Sin embargo, los conjuntos de datos existentes presentan limitaciones significativas:

• Falta de autenticidad: Muchos conjuntos de datos (como SciVer o SciTab) utilizan afirmaciones sintéticas generadas por expertos o modificadas artificialmente, en lugar de extraerlas directamente de artículos publicados.
• Creación de ejemplos negativos artificiales: Las afirmaciones refutadas suelen crearse alterando el texto de la afirmación (ej. añadiendo "no") o usando LLMs para fabricar contradicciones. Esto introduce sesgos heurísticos y patrones espurios que facilitan la tarea de manera artificial.
• Limitaciones multimodales: La mayoría de los datos se centran en texto o tablas en formatos estructurados (JSON/XML), careciendo de representaciones diversas de figuras y tablas (imágenes, LaTeX, HTML) necesarias para evaluar modelos multimodales reales.
• Brecha de evaluación: No existe un benchmark robusto para evaluar la capacidad de los Modelos de Lenguaje Multimodales (MLLMs) para verificar afirmaciones basadas en evidencia visual y tabular real.

2. Metodología

El equipo propone SciClaimEval, un nuevo conjunto de datos construido mediante un pipeline de tres etapas:

• A. Preparación de Datos:

  • Se recopilan 180 artículos publicados de tres dominios: Procesamiento del Lenguaje Natural (NLP), Aprendizaje Automático (ML) y Medicina.
  • Fuentes: arXiv (para NLP/ML) y PeerJ (para Medicina).
  • Se extraen textos principales, figuras (PNG) y tablas. Para las tablas, se preservan múltiples formatos: imagen, fuente LaTeX, HTML y JSON.

• B. Extracción de Pares Afirmación-Evidencia:

  • Se utilizan expresiones regulares para identificar oraciones en el texto que citan explícitamente una figura o tabla (ej. "Tabla 1", "Figura 2").
  • Se extraen estas oraciones como afirmaciones y se emparejan con la evidencia correspondiente, incluyendo el contexto inmediato (oraciones previas) para evitar ambigüedad.

• C. Anotación Humana y Creación de Ejemplos Negativos (Innovación Clave):

  • Verificación: Expertos (estudiantes de posgrado e investigadores) verifican si la evidencia apoya la afirmación.
  • Modificación de Evidencia (No de la Afirmación): Para crear ejemplos negativos (refutados), no se altera el texto de la afirmación. En su lugar, los anotadores modifican la evidencia misma (la imagen de la figura o los datos de la tabla) para que contradiga la afirmación original.
    • Operaciones en Tablas: Cambiar valores de celdas, intercambiar filas/columnas, añadir/quitar filas.
    • Operaciones en Figuras: Invertir gráficos, intercambiar leyendas, cambiar etiquetas de categorías, manipular puntos de datos o ejes.
  • Esto garantiza que las afirmaciones sean auténticas y que la tarea requiera un razonamiento real sobre la evidencia visual/tabular.

3. Contribuciones Clave

1. Afirmaciones Auténticas: El 100% de las afirmaciones (tanto apoyadas como refutadas) provienen directamente de artículos científicos publicados, eliminando el ruido de afirmaciones sintéticas.
2. Estrategia de Modificación de Evidencia: Introducen un enfoque novedoso donde la "verdad" se altera modificando los datos visuales/tabulares, no el texto. Esto evita que los modelos aprendan patrones superficiales de negación en el texto.
3. Multimodalidad Rica: Ofrece evidencia en formatos diversos:
   • Figuras como imágenes.
   • Tablas en 4 formatos: Imagen, LaTeX, HTML y JSON.
4. Benchmarks Rigurosos: Incluye una evaluación exhaustiva de 11 modelos fundacionales multimodales (abiertos y propietarios) y establece una línea base humana.

4. Resultados y Análisis

Se evaluaron 11 modelos (incluyendo InternVL3.5, Qwen3-VL, LLaVA, Llama-3.2-Vision y el modelo propietario OpenAI o4-mini) utilizando dos métricas:

• Macro-F1: Precisión estándar.
• Pair Accuracy (Precisión de Pares): Una métrica más estricta que requiere que el modelo clasifique correctamente ambas versiones de un par (la afirmación con evidencia original y la misma afirmación con evidencia modificada). Esto penaliza las conjeturas adivinadas.

Hallazgos Principales:

• Brecha con la Línea Base Humana: Existe una brecha significativa entre el mejor modelo y los humanos, especialmente en el subconjunto basado en figuras. Incluso el modelo más avanzado (o4-mini) tiene dificultades para detectar cambios sutiles en gráficos.
• Dificultad de las Figuras vs. Tablas:
  • Las tablas son más fáciles de procesar para los modelos; o4-mini alcanza un rendimiento cercano al humano en este subconjunto.
  • Las figuras siguen siendo un desafío mayor para todos los modelos, incluyendo los más grandes.
• Impacto del Contexto: En la mayoría de los casos, los modelos rinden mejor sin contexto adicional (solo afirmación + evidencia), sugiriendo que el contexto extra a veces introduce ruido o requiere un razonamiento complejo que los modelos actuales no dominan bien.
• Modelos Propietarios vs. Abiertos: o4-mini supera consistentemente a todos los modelos de código abierto, aunque los modelos Qwen3-VL muestran un progreso notable entre los open-source.
• Tipos de Modificación: Las operaciones "Otros" (cambios creativos en figuras como añadir datos falsos) y el intercambio de gráficos son los más difíciles para los modelos, mientras que cambiar valores de celdas en tablas es más manejable.

5. Significado e Impacto

• Puente hacia la realidad: SciClaimEval cierra la brecha entre los benchmarks sintéticos y el razonamiento científico del mundo real, proporcionando un entorno de evaluación más fiel a los desafíos de la revisión por pares.
• Herramienta para el Desarrollo de MLLMs: Destaca que, aunque los modelos han avanzado en el procesamiento de tablas, la comprensión profunda de gráficos científicos (inferencia visual compleja) sigue siendo un cuello de botella crítico.
• Recurso Versátil: La disponibilidad de tablas en múltiples formatos (JSON, LaTeX, HTML, Imagen) ofrece un recurso valioso para futuras investigaciones sobre la extracción y procesamiento de datos estructurados de artículos científicos.
• Ética: El conjunto de datos respeta las licencias de los artículos originales y no incluye información personal sensible, estableciendo un estándar para la creación de datasets científicos éticos.

En conclusión, SciClaimEval demuestra que la verificación de afirmaciones científicas multimodales es una tarea compleja donde la evidencia visual (figuras) representa un desafío sustancialmente mayor que la evidencia tabular, y donde la autenticidad de los datos es fundamental para evitar el sobreajuste a patrones artificiales.