M2-Verify: A Large-Scale Multidomain Benchmark for Checking Multimodal Claim Consistency

Resumen Técnico: M2-Verify

1. El Problema

La evaluación de argumentos científicos requiere verificar la consistencia estricta entre una afirmación (claim) y su evidencia multimodal subyacente (texto, figuras, tablas, escaneos médicos). A pesar del crecimiento de la literatura científica y el uso de IA generativa para crear o mejorar figuras científicas, existen brechas críticas en los enfoques actuales:

• Limitación de Escala y Diversidad: Los benchmarks existentes carecen de la escala, la diversidad de dominios y la complejidad visual necesarias para evaluar la alineación multimodal de manera realista.
• Asimetría Informativa: La mayoría de los benchmarks se centran en texto o en dominios generales (como Wikipedia), ignorando que la evidencia granular y específica del dominio en la ciencia a menudo reside exclusivamente en la modalidad visual (ej. imágenes médicas, arquitecturas de modelos).
• Riesgo de Alucinaciones: Con el avance de la IA generativa, existe un riesgo creciente de que las afirmaciones científicas se basen en visualizaciones con alucinaciones o artefactos, lo que amenaza la integridad científica.
• Falta de Evaluación Multimodal Rigurosa: Los sistemas actuales de verificación de hechos a menudo fallan al realizar razonamiento cruzado entre texto e imagen, especialmente en dominios complejos como la medicina y la física.

2. Metodología

Los autores presentan M2-VERIFY, un dataset de gran escala diseñado para evaluar la consistencia de afirmaciones científicas multimodales.

• Construcción del Dataset:

  • Fuentes: Datos extraídos de PubMed (para el dominio médico) y arXiv (para ciencias generales).
  • Escala: Más de 469,000 instancias cubriendo 16 dominios científicos.
  • Componentes: Cada instancia incluye una figura científica, su leyenda (caption), una afirmación basada en ellos y una explicación natural que justifica la veracidad.
  • Subconjuntos:
    • M2-VERIFY-Med: Enfocado en medicina, con perturbaciones específicas.
    • M2-VERIFY-Gen: Enfocado en ciencias generales (16 subdominios de arXiv).

• Pipeline de Generación y Validación:

  1. Extracción de Afirmaciones: Uso de modelos de lenguaje grandes (LLMs) especializados (Gemma, MedGemma) para extraer afirmaciones explícitas de los autores basadas en figuras y textos.
  2. Módulo de Perturbación: Generación de afirmaciones refutadas (negativas) mediante perturbaciones controladas.
     • En medicina, se utiliza una taxonomía de 7 tipos de perturbaciones curadas por expertos (ej. intercambio de estado, cambio numérico, inversión de atributos, desplazamiento de ubicación anatómica).
     • Se aplica una estrategia de "dureza" para asegurar que las afirmaciones negativas sean semánticamente plausibles pero fácticamente incorrectas según la evidencia visual.
  3. Generación de Explicaciones: Creación de racionalizaciones que mapean explícitamente las características visuales y textuales a la decisión de verificación.
  4. Auditoría Humana de Tres Fases:
     • Fase 1 (Acuerdo Inter-Anotador): 92 expertos evalúan 200 instancias a ciegas (sin etiquetas de verdad) para establecer una línea base humana.
     • Fase 2 (Validación de Alineación): Evaluación a gran escala de la coherencia entre afirmación, explicación y etiqueta.
     • Fase 3 (Fiabilidad Estadística): Comparación de los resultados de modelos en un subconjunto "gold" (verificado por humanos) frente al conjunto completo, confirmando una alta correlación estadística.

3. Contribuciones Clave

1. M2-VERIFY: El primer benchmark de gran escala (469k instancias) y multidominio (16 áreas) específicamente diseñado para la verificación de consistencia de afirmaciones científicas multimodales.
2. Taxonomía de Perturbaciones Médicas: Una estructura de perturbaciones curada por expertos que permite una evaluación diagnóstica fina de las capacidades de razonamiento de los modelos.
3. Evaluación Exhaustiva de Modelos: Análisis de 12 modelos de visión-linguaje (VLMs) de última generación, incluyendo modelos de código abierto (Qwen, LLaMA, InternVL) y cerrados (GPT-4o, GPT-5), exponiendo sus deficiencias.
4. Guías de Uso y Utilidad: Demostración de la viabilidad del aprendizaje supervisado (SFT) para mejorar el rendimiento en tareas de verificación científica.

4. Resultados Principales

Los experimentos revelan que los modelos de estado del arte luchan significativamente con el razonamiento multimodal en contextos científicos:

• Rendimiento General:

  • Los modelos cerrados (ej. GPT-4o-mini) destacan en el dominio médico (73.0% Macro-F1), mientras que los modelos de código abierto (ej. Qwen2.5-VL-7B) muestran mayor robustez en ciencias generales (68.1% Macro-F1).
  • Existe una disparidad clara: los modelos tienen dificultades en dominios abstractos como matemáticas y física.

• Complejidad del Razonamiento (M2-VERIFY-Med):

  • Hay una caída drástica en el rendimiento a medida que aumenta la complejidad de la perturbación.
  • Ejemplo: Qwen2.5-VL-7B alcanza un 85.8% de Micro-F1 en cambios de estado simples (baja complejidad), pero cae al 61.6% en desplazamientos anatómicos complejos (alta complejidad).

• Calidad de las Explicaciones:

  • Aunque los modelos de código abierto generan textos fluidos (alta puntuación en métricas N-gram), a menudo carecen de fiabilidad lógica.
  • Las evaluaciones de expertos y de "LLM-as-a-Judge" muestran que los modelos a menudo alucinan hechos o ignoran evidencia visual crítica (ej. contar incorrectamente capas en un diagrama o confundir estructuras anatómicas).

• Ablación de Modalidades:

  • La eliminación de imágenes o texto reduce drásticamente el rendimiento, confirmando que el razonamiento multimodal integrado es esencial. Sin embargo, en algunos casos, la fusión de modalidades en modelos antiguos (como MOCHEG) puede degradar el rendimiento si la integración no es óptima.

• Aprendizaje Supervisado (SFT):

  • El ajuste fino (Fine-tuning) de modelos base con M2-VERIFY produce mejoras sustanciales (hasta +28.9% en matemáticas para LLaMA-3.2), demostrando que la tarea es aprendible y que el dataset proporciona la alineación cruzada necesaria.

5. Significado e Impacto

• Herramienta Crítica para la Integridad Científica: M2-VERIFY proporciona un estándar para detectar alucinaciones en figuras científicas generadas por IA, un problema emergente que amenaza la validez de la investigación.
• Avance en Razonamiento Multimodal: El dataset expone las limitaciones actuales de los VLMs en el razonamiento cruzado complejo, impulsando el desarrollo de modelos más capaces de entender la semántica profunda de las figuras científicas.
• Base para Futuras Investigaciones: Al ofrecer una evaluación diagnóstica detallada (por tipo de perturbación y dominio), permite a los investigadores identificar fallos específicos (espaciales, numéricos, lógicos) y desarrollar soluciones dirigidas.
• Validación Humana Rigurosa: La inclusión de una auditoría masiva por expertos de 92 profesionales establece un nuevo estándar de calidad para la creación de benchmarks científicos.

En conclusión, M2-VERIFY no solo es un dataset, sino un marco de evaluación que demuestra que, aunque los modelos actuales son prometedores, aún están lejos de lograr la consistencia y fiabilidad necesarias para la verificación automática de la ciencia multimodal.