DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams

Aquí se presenta un resumen técnico detallado del artículo "DRAGON: Un Benchmark para el Razonamiento Visual Basado en Evidencia sobre Diagramas."

1. Planteamiento del Problema

La Respuesta a Preguntas sobre Diagramas (DQA) requiere que los modelos interpreten representaciones visuales estructuradas (por ejemplo, gráficos, mapas, esquemas de circuitos, infografías). Aunque los Modelos Visuales-Lingüísticos (VLM) recientes logran una alta precisión en los benchmarks estándar de DQA, existe una limitación crítica: las respuestas correctas no garantizan un razonamiento fiel.

Los modelos actuales a menudo dependen de:

• Correlaciones textuales: Adivinar respuestas basándose en patrones de lenguaje en la pregunta o en sesgos del conjunto de datos.
• Artefactos del conjunto de datos: Aprender correlaciones espurias en lugar de interpretar la evidencia visual.
• Falta de anclaje (grounding): No identificar las regiones visuales específicas (etiquetas, ejes, conectores, puntos de datos) necesarias para verificar la respuesta.

Este comportamiento de "caja negra" impide una evaluación fiable de si un modelo comprende verdaderamente la estructura del diagrama o simplemente está alucinando respuestas plausibles. Existe una falta de benchmarks estandarizados que evalúen el razonamiento basado en evidencia, es decir, la capacidad de localizar explícitamente la evidencia visual que respalda una predicción.

2. Metodología

A. El Benchmark DRAGON

Los autores introducen DRAGON, un benchmark multi-dominio diseñado para evaluar el razonamiento basado en evidencia.

• Composición de los Datos: El conjunto de datos agrupa 11,664 instancias de preguntas anotadas de seis conjuntos de datos DQA establecidos:
  • AI2D (Diagramas científicos)
  • ChartQA (Gráficos/Gráficas)
  • Circuit-VQA (Esquemas de circuitos)
  • InfographicsVQA (Infografías)
  • MapIQ & MapWise (Mapas geográficos)
• Tarea de Anotación: A diferencia de la QA estándar, la tarea del modelo no es solo responder, sino predecir cajas delimitadoras que correspondan a los elementos visuales necesarios para justificar la respuesta.
• Tipos de Evidencia: Las anotaciones de verdad fundamental incluyen regiones que contienen la respuesta, etiquetas textuales, leyendas, ejes, conectores, flechas y estructuras relacionadas espacialmente.
• Pipeline de Construcción:
  1. Inicialización de Regiones: Utiliza anotaciones existentes o Transferencia de Regiones Basada en Plantillas (usando estimación de homografía y escalado proporcional) para generar regiones candidatas para diagramas que carecen de cajas delimitadoras preexistentes.
  2. Verificación Humana: Los anotadores utilizan la herramienta DIAGRAMS para verificar, refinar o agregar regiones, asegurando que el "Conjunto de Evidencia Dorada" ($B^*$) represente la evidencia visual mínima requerida para la respuesta.
  3. Control de Calidad: El acuerdo entre anotadores se mide utilizando Razonamiento Visual Completo (CVR) (cobertura completa de la cadena) y Alineación de Evidencia Central (CEA) (anclaje del elemento principal).

B. Marco de Evaluación

Los autores evalúan los VLM utilizando tres estrategias de prompting distintas para probar cómo la estructura del razonamiento afecta el anclaje:

1. EDGE (Detección de Evidencia mediante Anclaje): Un enfoque de prompting directo y de un solo paso donde el modelo predice las cajas delimitadoras inmediatamente después de recibir la imagen, la pregunta y la respuesta.
2. SAGE (Seleccionar y Anclar Evidencia): Un enfoque de dos etapas.
   • Etapa 1: El modelo enumera textualmente los elementos visuales relevantes (por ejemplo, "Barra para 2019", "Etiqueta del eje Y").
   • Etapa 2: El modelo predice las cajas delimitadoras para los elementos enumerados.
3. VERGE (Verificar y Refinar Evidencia Anclada): Un enfoque de autocorrección. El modelo genera una predicción inicial (como EDGE), luego reexamina la imagen y su propia predicción para corregir coordenadas, agregar evidencia faltante o refinar la precisión de las cajas.

C. Métricas

El rendimiento se mide utilizando:

• IoU Máximo de Pares (MPIoU): La mejor superposición entre cualquier caja predicha y cualquier caja de verdad fundamental (mide la capacidad de encontrar alguna región relevante).
• IoU de Anclaje (GIoU): El IoU entre la unión de todas las cajas predichas y la unión de todas las cajas de verdad fundamental (mide la cobertura de toda la cadena de razonamiento).
• Puntuación F1: Precisión y recuperación a nivel de caja.

3. Contribuciones Clave

1. Nueva Tarea de Evaluación: Se introduce el razonamiento basado en evidencia, desplazando el enfoque de la precisión de la respuesta a la localización de la justificación visual.
2. Conjunto de Datos DRAGON: Un conjunto de pruebas multi-dominio verificado por humanos de 2,445 instancias con anotaciones de cajas delimitadoras de granularidad fina para la evidencia de razonamiento.
3. Análisis Sistemático: Se diseñó un marco (EDGE, SAGE, VERGE) para descomponer cómo las estrategias de prompting influyen en la capacidad de un modelo para anclar la evidencia visual.
4. Hallazgos Empíricos: Se demostró que la alta precisión en las respuestas no se correlaciona con un fuerte anclaje de evidencia, revelando una brecha fundamental en las capacidades actuales de los VLM.

4. Resultados Experimentales

El estudio evaluó 8 VLM de última generación (incluyendo Claude Opus 4.6, Kimi K2.5, Gemini 3 Pro, y modelos de pesos abiertos como InternVL3.5 y Qwen3.5).

• Rendimiento Débil de Anclaje: Incluso los modelos de mejor rendimiento luchan con el anclaje de evidencia.
  • Las puntuaciones F1 más altas fueron bajas: 9.5 en ChartQA, 5.7 en Circuit-VQA y 4.0 en InfographicsVQA.
  • Solo MapIQ y AI2D mostraron un éxito moderado (por ejemplo, Claude Opus 4.6 alcanzó ~21.8 F1 en MapIQ).
• Brecha entre Localización y Cobertura: Los modelos son mejores encontrando alguna región relevante que capturar la cadena completa de razonamiento.
  • MPIoU (localización gruesa) es consistentemente mucho más alto que GIoU y F1 (evidencia completa).
  • Ejemplo: Claude Opus 4.6 logró 53.7 MPIoU pero solo 21.8 F1 en MapIQ, lo que indica que encontró áreas relevantes pero omitió evidencia crítica de apoyo.
• Sensibilidad al Prompting:
  • Las estrategias de prompting (EDGE, SAGE, VERGE) impactan significativamente el rendimiento, pero ninguna estrategia única domina todos los dominios.
  • VERGE a menudo mejoró la localización (MPIoU) pero rara vez mejoró significativamente la cobertura completa de la evidencia (F1).
  • El prompting ayuda a los modelos a encontrar regiones, pero no resuelve el problema de la evidencia faltante.
• Disparidad entre Modelos:
  • Los modelos de código cerrado (por ejemplo, Claude Opus 4.6) superan significativamente a los modelos de pesos abiertos en todos los dominios.
  • Ejemplo: En MapIQ, Claude Opus 4.6 (F1: 21.8) superó ampliamente a InternVL3.5-38B (F1: 2.0).
• Dificultad del Dominio:
  • Circuit-VQA e InfographicsVQA son los dominios más difíciles debido a estructuras densas, dependencias relacionales y desorden visual.
  • MapIQ y AI2D son relativamente más fáciles, probablemente debido a diseños espaciales más claros y etiquetas explícitas.

5. Significado y Conclusión

DRAGON aborda un punto ciego crítico en la evaluación de la IA multimodal. Al demostrar que los modelos pueden responder correctamente sin anclar su razonamiento en evidencia visual, el artículo destaca el riesgo del "aprendizaje de atajos", donde los modelos explotan priores textuales en lugar de la comprensión visual.

Implicaciones Clave:

• Fidelidad sobre Precisión: La futura investigación en DQA debe priorizar la fidelidad del razonamiento (anclaje) junto con la precisión de la respuesta.
• Estándar de Benchmarking: DRAGON proporciona un banco de pruebas estandarizado para evaluar si los modelos pueden vincular explícitamente las predicciones con evidencia visual, yendo más allá de la simple coincidencia de respuestas.
• Direcciones Futuras: Los autores sugieren que los métodos de entrenamiento (por ejemplo, Aprendizaje por Refuerzo) deben recompensar explícitamente a los modelos por producir razonamiento basado en evidencia alineado con regiones verificadas por humanos.

En resumen, DRAGON revela que, aunque los VLM actuales son competentes para responder preguntas sobre diagramas, en gran medida fallan en demostrar las capacidades de razonamiento visual necesarias para justificar esas respuestas, lo que requiere un cambio en cómo se evalúan y entrenan estos modelos.