VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought

1. El Problema

Los modelos de visión y lenguaje grandes (LVLMs) han demostrado capacidades excepcionales en la comprensión general de imágenes, pero carecen de una capacidad robusta para el razonamiento basado en regiones locales precisas. Las limitaciones actuales se centran en:

• Falta de anclaje visual explícito: Los conjuntos de datos existentes de razonamiento multimodal (Chain-of-Thought o CoT) a menudo generan pasos de razonamiento que no están vinculados explícitamente a evidencia visual concreta (coordenadas espaciales) dentro de la imagen. Esto hace que sea difícil verificar si el modelo está razonando basándose en el contenido real de la imagen o simplemente alucinando texto plausible.
• Escalabilidad y costo: Los conjuntos de datos que sí incluyen información de regiones locales suelen depender de anotaciones manuales a gran escala, lo que limita su diversidad, escalabilidad y viabilidad económica.
• Evaluación insuficiente: Las métricas de evaluación tradicionales se centran únicamente en la precisión de la respuesta final, ignorando la calidad del proceso de razonamiento, la coherencia lógica y la fidelidad de la evidencia visual utilizada.

2. Metodología

Para abordar estos desafíos, los autores proponen VG-CoT (Visual Grounded Chain-of-Thought), un conjunto de datos y un marco de evaluación construidos mediante un pipeline automatizado de tres etapas que elimina la necesidad de anotación manual:

• Etapa 1: Extracción de Evidencia Visual Multigranularidad

  • Se utilizan modelos de detección de objetos de última generación (YOLO) para extraer cajas delimitadoras de objetos.
  • Se emplea OCR avanzado (PaddleOCR) para extraer texto y sus ubicaciones espaciales.
  • Para el conjunto de datos GQA, se aprovecha la información de grafos de escena existente como evidencia inicial.

• Etapa 2: Generación de CoT Anclado Visualmente

  • Se utiliza GPT-4o para generar un proceso de razonamiento paso a paso.
  • El modelo recibe la imagen, la pregunta, la respuesta correcta y la evidencia visual extraída en la Etapa 1.
  • Se instruye explícitamente al modelo para que cite las coordenadas espaciales (evidencia visual) en cada paso lógico, forzando una conexión directa entre el razonamiento y la imagen.

• Etapa 3: Refinamiento de Anclaje Impulsado por la Racionalidad

  • Para capturar objetos sutiles o dependientes del contexto mencionados en el razonamiento generado, se extraen sustantivos clave del texto.
  • Estos términos se utilizan como consultas para un detector de conjunto abierto (Grounding DINO), que refina y actualiza las cajas delimitadoras.
  • Finalmente, se vincula esta evidencia visual refinada a cada paso del razonamiento, asegurando una alineación precisa.

Nuevo Marco de Evaluación (Benchmark):
Se introduce un benchmark que evalúa tres dimensiones complementarias:

1. Calidad de la Racionalidad (RQ): Evalúa la utilización de evidencia visual, la coherencia lógica y la completitud del razonamiento (usando GPT-4o como evaluador).
2. Precisión de la Respuesta (AA): La corrección binaria de la respuesta final.
3. Alineación Razonamiento-Respuesta (RAA): Mide la consistencia entre la calidad del razonamiento y la corrección de la respuesta (incluyendo métricas de "Consistencia" y "Fidelidad").

3. Contribuciones Clave

1. Dataset VG-CoT: Un conjunto de datos de 13,826 muestras de alta calidad que cubre tres tareas (VQA General, VQA de Relaciones y VQA de Texto Escénico), donde cada paso de razonamiento está explícitamente alineado con evidencia visual (coordenadas de objetos y texto).
2. Pipeline Automatizado: Un método escalable y rentable de tres etapas que genera datos de razonamiento anclados visualmente sin intervención humana, superando las limitaciones de costo de los métodos manuales.
3. Nuevo Benchmark de Evaluación: Un sistema de evaluación integral que va más allá de la precisión de la respuesta, midiendo la calidad del razonamiento y la fidelidad de la evidencia visual, permitiendo diagnosticar mejor las capacidades de los LVLMs.

4. Resultados

Los experimentos se realizaron con modelos representativos como LLaVA-1.5 (7B y 13B) y Qwen2-VL / Qwen2.5-VL. Los resultados muestran:

• Mejoras Consistentes: El ajuste fino (fine-tuning) con VG-CoT mejoró significativamente tanto la Calidad de la Racionalidad como la Precisión de la Respuesta en todos los modelos evaluados. Por ejemplo, LLaVA-1.5-7B aumentó su precisión general de 48.7 a 62.5 y su calidad de razonamiento de 72.2 a 83.4.
• Robustez en Tareas Diversas: Las mejoras se observaron tanto en tareas de reconocimiento de objetos como en tareas complejas de relaciones y comprensión de texto denso (Scene-text).
• Análisis de Evidencia Visual: Aunque los modelos mejoraron su capacidad de anclaje, el análisis de la precisión de la predicción de cajas delimitadoras (mAP) reveló que el anclaje preciso de texto pequeño y denso sigue siendo un desafío significativo, especialmente en comparación con objetos grandes.
• Alineación: La mayoría de los modelos mostraron una mayor consistencia entre un razonamiento de alta calidad y respuestas correctas, aunque algunos modelos grandes (como LLaVA-1.5-13B) mostraron ligeras inconsistencias, indicando que el anclaje perfecto sigue siendo un área de mejora.

5. Significado e Impacto

Este trabajo es fundamental para el avance de los LVLMs hacia un razonamiento confiable y verificable.

• Confianza: Al obligar a los modelos a anclar su lógica en evidencia visual real, se reduce la alucinación y se aumenta la transparencia en la toma de decisiones de la IA.
• Escalabilidad: Demuestra que es posible crear conjuntos de datos de razonamiento complejos y detallados de manera automatizada, lo que facilita la investigación futura sin depender de recursos de anotación masivos.
• Evaluación Rigurosa: Proporciona una nueva metodología para evaluar no solo qué responde un modelo, sino cómo y sobre qué base visual llega a esa conclusión, estableciendo un nuevo estándar para benchmarks en visión por computadora y procesamiento de lenguaje natural.

En resumen, VG-CoT cierra la brecha entre la generación de texto y la percepción visual, proporcionando una base sólida para desarrollar sistemas de IA más seguros y lógicos en aplicaciones críticas como la robótica, la conducción autónoma y el análisis médico.