DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA

A continuación se presenta un resumen técnico detallado del artículo "DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA".

1. Planteamiento del Problema

La Respuesta a Preguntas sobre Diagramas (Diagram QA) implica responder preguntas basadas en diversos dominios visuales, como diagramas científicos, gráficos, esquemas de circuitos, mapas e infografías. A diferencia del razonamiento basado en texto, la Diagrama QA a menudo requiere que los modelos interpreten una cadena de elementos visuales interconectados en lugar de una sola región.

• La Brecha: Los esfuerzos de anotación existentes se centran principalmente en la localización a nivel de respuesta, donde los anotadores marcan únicamente la región que contiene la respuesta final. Esto no logra capturar la ruta de razonamiento completa (la secuencia de dependencias visuales) necesaria para derivar la respuesta.
• El Desafío: Crear atribución a nivel de razonamiento (vincular un par de pregunta-respuesta a todas las regiones visuales necesarias) es un proceso que consume tiempo y es costoso. Además, las herramientas de anotación existentes están estrechamente acopladas a formatos de conjuntos de datos específicos (estructuras JSON, sistemas de coordenadas), lo que dificulta su reutilización en conjuntos de datos heterogéneos. Los investigadores a menudo deben reconstruir la lógica del front-end para cada nuevo conjunto de datos, lo que obstaculiza la reproducibilidad y el progreso.

2. Metodología: El Marco de Trabajo DIAGRAMS

Los autores proponen DIAGRAMS, un marco de trabajo de "revisión primero" diseñado para desacoplar la lógica de la interfaz de las estructuras específicas del conjunto de datos. El sistema opera en tres etapas coordinadas:

A. Arquitectura e Ingesta de Datos

El sistema utiliza un enfoque impulsado por esquemas para manejar la heterogeneidad:

1. Cargador y Adaptador de Esquema: Ingresa registros JSON específicos del conjunto de datos y los mapea a un meta-esquema interno unificado. Esto desacopla la lógica de anotación del formato original del conjunto de datos.
2. Normalización: Estandariza formatos heterogéneos de cajas delimitadoras (por ejemplo, convertir [x, y, w, h] a izquierda/superior/ancho/alto) y coordenadas.
3. Representación Interna: Almacena imágenes, pares de preguntas y respuestas, regiones candidatas y mapeos de atribución en una estructura unificada.

B. Propuesta de Evidencia (Backend Multimodal)

El sistema aprovecha un modelo multimodal para proponer evidencia, operando en tres modos según la disponibilidad de datos:

1. Atribución basada en Selección: Si existen pares de preguntas y respuestas y regiones candidatas, el modelo selecciona el subconjunto de regiones requerido para el razonamiento del grupo de candidatos.
2. Generación de Regiones: Si existen pares de preguntas y respuestas pero faltan regiones candidatas, el modelo genera nuevas cajas delimitadoras directamente sobre la imagen.
3. Generación de Pregunta-Respuesta y Regiones: Si ambos faltan, el sistema propone nuevos elementos de pregunta-respuesta y las regiones de evidencia correspondientes.

C. Verificación con Intervención Humana

En lugar de dibujar regiones desde cero, el flujo de trabajo prioriza la verificación guiada:

• Los revisores inspeccionan las regiones propuestas por el modelo.
• Pueden verificar, editar, eliminar o agregar regiones y elementos de pregunta-respuesta.
• El sistema rastrea la procedencia de cada cambio (por ejemplo, si una caja fue propuesta, editada o dibujada de nuevo).
• Las atribuciones finalizadas se exportan en JSON estructurado e imágenes anotadas.

3. Contribuciones Clave

1. Formalización de la Atribución a Nivel de Razonamiento: El artículo distingue explícitamente la atribución a nivel de razonamiento (cadena completa de razonamiento) de la localización solo de respuestas, proporcionando un marco para capturar la primera.
2. Marco de Revisión Impulsado por Esquemas: DIAGRAMS introduce una arquitectura modular con adaptadores de conjuntos de datos y un meta-esquema, permitiendo que la misma interfaz se reutilice en diversos conjuntos de datos de Diagrama QA sin rediseño.
3. Pipeline de Propuesta Multimodal: Un pipeline que realiza selección de evidencia condicionada a la pregunta-respuesta, generación de regiones faltantes y generación opcional de preguntas-respuestas para reducir el esfuerzo manual.
4. Evaluación Empírica: Evaluación exhaustiva en seis conjuntos de datos diversos (Gráficos, Mapas, Diagramas, Circuitos, Infografías) que demuestra la utilidad del flujo de trabajo de revisión primero.

4. Resultados y Análisis

El marco fue evaluado en seis conjuntos de datos: ChartQA, MapWise, AI2D, Circuit-VQA, InfographicsVQA y MapIQ.

• Métricas de Rendimiento (Promedio micro):
  • Precisión: 85.39% (Los revisores retuvieron el 85.39% de las cajas sugeridas por el modelo).
  • Exhaustividad (Recall): 75.30% (El modelo sugirió el 75.30% de las cajas finales requeridas).
  • Puntuación F1: 80.03%.
• Ganancias de Eficiencia:
  • El sistema pre-seleccionó una gran fracción de las regiones de evidencia finales, convirtiendo la tarea de "creación de cajas" en "verificación guiada".
  • Análisis de Falsos Negativos: De las regiones que los revisores tuvieron que agregar, el 80.5% fueron cajas de verdad fundamental omitidas (errores de selección), mientras que solo el 19.5% fueron cajas completamente nuevas dibujadas desde cero. Esto confirma que el principal cuello de botella es la selección, no la ausencia de regiones.
• Variabilidad del Conjunto de Datos:
  • Alta Alineación: AI2D (95.19 F1) e InfographicsVQA (97.72 F1) mostraron una fuerte alineación, probablemente debido a diseños estructurados y límites claros.
  • Dominios Desafiantes: ChartQA (47.69 F1) y Circuit-VQA (56.92 F1) mostraron una menor exhaustividad. ChartQA sufrió por la omisión de la selección de verdad fundamental, mientras que Circuit-VQA requirió una creación significativa de nuevas regiones debido a la complejidad de componentes de alto detalle.
• Fiabilidad Interanotador: Se observó un alto acuerdo (Kappa > 0.46) entre revisores humanos en propuestas basadas en selección, lo que indica que la tarea de verificación es reproducible.

5. Significado e Impacto

• Reducción del Costo de Anotación: Al cambiar el flujo de trabajo de la creación manual a la verificación asistida por modelos, DIAGRAMS reduce significativamente el tiempo y el esfuerzo necesarios para crear conjuntos de datos de alta calidad a nivel de razonamiento.
• Mejora en el Entrenamiento y Evaluación de Modelos: El marco permite una supervisión fundamentada, permitiendo que los Modelos Visuales-Lingüísticos (VLM) se entrenen en cadenas completas de razonamiento en lugar de solo en cajas de respuestas. Esto ayuda a mitigar las alucinaciones y las correlaciones espurias.
• Reproducibilidad: El lanzamiento de código abierto (licencia MIT) incluye el marco, el meta-esquema y los adaptadores, permitiendo a la comunidad de investigación auditar y construir sobre diversos puntos de referencia de Diagrama QA sin tener que reinventar las herramientas de anotación.
• Limitaciones y Trabajo Futuro: Los autores señalan que el rendimiento disminuye en diagramas visualmente desordenados, el soporte actual se limita a cajas delimitadoras (carece de polígonos para líneas finas o formas irregulares) y el sistema aún no soporta supervisión de cadena de pensamiento. El trabajo futuro apunta a abordar esto mediante anotación a nivel de polígono y análisis de latencia.

En resumen, DIAGRAMS proporciona una infraestructura escalable y reutilizable para generar atribuciones de alto nivel de razonamiento de alta fidelidad, cerrando la brecha entre los requisitos complejos de razonamiento visual y las limitaciones prácticas de la creación de conjuntos de datos.