CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

1. El Problema: La Brecha en el Razonamiento Multimodal

El razonamiento en el mundo real a menudo requiere combinar información de múltiples fuentes y modalidades (texto e imágenes) en un proceso de "salto múltiple" (multi-hop). Sin embargo, los modelos de lenguaje-visión (VLMs) actuales y los benchmarks existentes presentan limitaciones críticas:

• Falta de Dependencia Cruzada: La mayoría de los benchmarks multimodales actuales (como MMQA o SPIQA) permiten que las respuestas se infieran utilizando una sola modalidad (solo texto o solo imagen), sin forzar una integración genuina.
• Alucinaciones y Falta de Fundamentación: Debido a la escasez de datos de entrenamiento que requieran un razonamiento complementario e intercalado, los VLMs tienden a alucinar o generar trazas de razonamiento que no están bien fundamentadas en la evidencia visual.
• Dificultad en la Generación de Datos: Recopilar manualmente datos de razonamiento complejo es prohibitivamente costoso. Por otro lado, intentar generar estos datos automáticamente usando VLMs suele llevar a ciclos de sesgo y a la generación de preguntas que no requieren realmente un razonamiento multimodal (el modelo "adivina" la respuesta o la pregunta ya contiene la respuesta en el texto).

2. Metodología: El Pipeline CRIT

Para abordar estas limitaciones, los autores proponen CRIT (Cross-modal multi-hop Reasoning over interleaved Image-Text), un nuevo dataset y benchmark generado mediante un pipeline automático basado en grafos.

A. Generación de Datos Basada en Grafos

El núcleo de la metodología es la construcción de un Grafo de Contenido Multimodal que representa estructuralmente las entidades, atributos y relaciones tanto visuales como textuales. El proceso se divide en tres etapas:

1. Construcción del Grafo de Contenido Multimodal:

   • Se parte de imágenes anotadas con grafos de escena (scene graphs) de fuentes como GQA.
   • Se muestrean múltiples imágenes (1-6) y se fusionan sus grafos.
   • Se utiliza un LLM para agregar nodos de texto (entidades y relaciones no visuales) que actúan como puentes entre las imágenes. Esto asegura que la información necesaria para responder una pregunta esté distribuida entre la imagen y el texto.
   • Se aplica un filtrado basado en reglas para eliminar ambigüedades y asegurar que cada atributo o relación corresponda a una única entidad.

2. Generación de Contexto Textual:

   • A partir de subgrafos extraídos, se utiliza un LLM para generar contextos narrativos diversos (historias, artículos, guiones) que describen las relaciones entre los nodos de texto y su conexión con las imágenes.
   • El objetivo es crear un contexto que sea complementario a la imagen, no redundante.

3. Generación de Pares Pregunta-Respuesta (QA) y Razonamiento (CoT):

   • Se muestrea un subgrafo que representa una cadena de hechos (1 a 5 saltos o hops).
   • Se garantiza que el nodo terminal de la cadena provenga de una imagen, obligando al modelo a buscar información visual.
   • El LLM genera la pregunta bajo restricciones estrictas: la respuesta debe requerir la cadena completa de hechos, y las entidades intermedias no deben mencionarse explícitamente en la pregunta (evitando atajos).
   • Se genera una traza de pensamiento (Chain-of-Thought) explícita que indica de dónde se extrae cada pieza de información.

B. Fuentes de Datos y Escalabilidad

CRIT cubre tres dominios principales:

• Imágenes Naturales: Derivadas de GQA.
• Fotogramas de Video: Derivados de ActivityNet Captions, donde se convierten las descripciones temporales en grafos.
• Papers Científicos: Derivados de SPIQA, tratando figuras y tablas como imágenes y extrayendo relaciones de los textos.

El pipeline incluye un proceso de filtrado en etapas (usando múltiples LLMs) para eliminar preguntas que puedan resolverse con una sola modalidad o que contengan entidades intermedias explícitas.

3. Contribuciones Clave

1. Marco de Generación de Datos: Presentan un pipeline escalable y automático basado en grafos para sintetizar datos de razonamiento multimodal de salto múltiple, evitando los sesgos de la generación directa por LLMs.
2. Dataset CRIT: Un nuevo dataset con 84,199 muestras de entrenamiento y 1,446 muestras de prueba (verificadas manualmente por humanos) que abarca imágenes naturales, video y documentos científicos.
3. Benchmark Riguroso: Demuestran que incluso los modelos más avanzados (GPT-4o, Gemini 2.0) fallan significativamente en esta tarea, estableciendo un nuevo estándar para evaluar la fundamentación visual.
4. Análisis de Transferencia: Muestran que el entrenamiento en CRIT mejora no solo el rendimiento en tareas de razonamiento complejo, sino también en benchmarks multimodales generales.

4. Resultados Experimentales

• Rendimiento en CRIT: Los modelos base (incluyendo GPT-4o y modelos de código abierto como Qwen2.5-VL) obtienen puntuaciones muy bajas (EM < 35% en la mayoría de los casos), revelando una gran dificultad para el razonamiento cruzado.
• Mejora con Fine-Tuning: Los modelos ajustados finamente (fine-tuned) con CRIT (ej. Qwen2.5-VL-7B) mejoran drásticamente, superando a menudo a los modelos propietarios en dominios de imágenes naturales y video.
  • Ejemplo: Qwen2.5-VL-7B ajustado logra un 58.6% de Exact Match (EM) en imágenes naturales frente al 28.3% del modelo base.
• Transferencia a Otros Benchmarks: El entrenamiento en CRIT produce mejoras consistentes en benchmarks externos de razonamiento multimodal (SPIQA, VEGA, MMQA, FCMR), demostrando que la capacidad aprendida se generaliza.
  • En SPIQA, el rendimiento se duplicó en métricas como METEOR y ROUGE-L al añadir CRIT al entrenamiento.
• Análisis de Errores: El error más prevalente (55%) es la localización de evidencia (el modelo no sabe qué imagen o párrafo consultar), seguido por errores de percepción visual (32%). Esto confirma que el desafío principal no es el razonamiento lógico en sí, sino la integración correcta de las modalidades.

5. Significado e Impacto

El trabajo CRIT es significativo porque:

• Cierra la Brecha de Evaluación: Proporciona la primera herramienta robusta para evaluar y entrenar modelos en tareas donde la información visual y textual son complementarias y no redundantes.
• Valida la Síntesis de Datos Estructurada: Demuestra que un enfoque basado en grafos para la síntesis de datos es superior a la generación directa por LLMs, logrando datos de alta calidad sin necesidad de anotación manual masiva.
• Impulsa la Generalización: Sugiere que entrenar en tareas de razonamiento multimodal complejo y fundamentado mejora la capacidad general de los VLMs, reduciendo las alucinaciones y mejorando la comprensión en dominios diversos (desde recetas DIY hasta papers científicos).

En conclusión, CRIT establece un nuevo paradigma para el desarrollo de VLMs más robustos, capaces de realizar un razonamiento profundo y fundamentado en la evidencia visual y textual combinada.