MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval

Resumen Técnico: MEVER (Multi-Modal and Explainable Claim Verification)

Título original: MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval

1. El Problema

La verificación de la veracidad de afirmaciones (claim verification) se ha vuelto cada vez más compleja debido a la proliferación de contenido multimedia. Los métodos actuales enfrentan tres desafíos principales:

• Unimodalidad: La mayoría de los modelos se centran únicamente en evidencia textual, ignorando la información crucial contenida en imágenes y gráficos (como tablas o diagramas).
• Falta de explicabilidad: Muchos sistemas ofrecen un veredicto (apoyo, refutación o neutral) pero no proporcionan una justificación textual que explique el razonamiento detrás de dicha decisión, lo que reduce la confianza del usuario.
• Limitación de dominio: Los conjuntos de datos existentes suelen ser de dominio general, careciendo de contenido científico especializado que requiera un razonamiento complejo sobre datos cuantitativos en gráficos.

2. Metodología (MEVER)

Los autores proponen MEVER, un modelo diseñado para realizar tres tareas de forma conjunta: recuperación de evidencia, verificación de la afirmación y generación de explicaciones. Su arquitectura se divide en tres módulos clave:

• Recuperación de evidencia mediante grafos multimodales de dos capas:
  Construyen un grafo donde la capa inferior representa el texto y la capa superior las imágenes. Utilizan un razonamiento bidireccional: image-to-text (para integrar información visual en los embeddings de texto) y text-to-image (para propagar contexto textual a las imágenes). Esto permite una recuperación mucho más precisa al alinear semánticamente ambos tipos de datos.

• Verificación de afirmaciones mediante fusión jerárquica:
  Para integrar la afirmación con la evidencia recuperada, el modelo emplea dos niveles de fusión:

  1. Fusión a nivel de token: Intercambio de información fina entre los tokens de texto de la afirmación y los parches visuales de la evidencia.
  2. Fusión a nivel de evidencia: Agregación jerárquica que combina múltiples piezas de evidencia (textos e imágenes) para obtener un embedding unificado que represente el contexto completo.

• Generación de explicaciones mediante Fusion-in-Decoder (FiD):
  Para la explicabilidad, introducen un módulo FiD multimodal que permite al decodificador de lenguaje "atender" tanto a los embeddings de texto como a los de imagen de múltiples evidencias simultáneamente. Además, implementan un regularizador de consistencia que penaliza al modelo si la explicación generada no es coherente con el veredicto de verificación predicho.

3. Contribuciones Clave

1. Modelo MEVER: Un marco integral que une recuperación, verificación y explicabilidad en un flujo de trabajo multimodal.
2. Arquitectura de Grafo Multimodal: Un método innovador para el razonamiento cruzado entre texto e imagen durante la fase de recuperación.
3. Dataset AIChartClaim: La creación de un nuevo conjunto de datos científico en el dominio de la Inteligencia Artificial. Contiene afirmaciones basadas en descubrimientos científicos, gráficos (líneas, barras, dispersión, etc.) y sus respectivas explicaciones, llenando un vacío en la investigación de razonamiento científico multimodal.

4. Resultados

Los experimentos demuestran la superioridad de MEVER en varios frentes:

• Recuperación: Supera significativamente a métodos basados solo en texto (como BM25 o RAV) y a otros modelos multimodales, demostrando que el razonamiento basado en grafos mejora la precisión de la recuperación.
• Verificación: MEVER alcanza puntuaciones de Macro F1 superiores en los datasets AIChartClaim, ChartCheck, Mocheg y MR2 en comparación con modelos de estado del arte (SOTA) como GPT-4o o modelos especializados en gráficos.
• Explicabilidad: El modelo genera explicaciones con métricas de calidad (ROUGE-L, METEOR, BLEU-2) más altas que sus competidores, y la evaluación mediante un modelo de lenguaje visual (VLM-as-a-Judge) confirma que sus explicaciones son más consistentes, relevantes y claras.

5. Significado e Impacto

Este trabajo es significativo porque aborda la necesidad de una IA que no solo sea precisa, sino también transparente y capaz de razonar sobre datos científicos complejos. Al integrar la recuperación de evidencia con la generación de explicaciones multimodales, MEVER sienta las bases para sistemas de verificación de hechos más robustos que puedan ser utilizados en entornos académicos y de investigación, donde la capacidad de interpretar gráficos y justificar conclusiones es fundamental.