VisDoT : Enhancing Visual Reasoning through Human-Like Interpretation Grounding and Decomposition of Thought

El artículo presenta VisDoT, un marco que mejora el razonamiento visual en modelos de lenguaje y visión al imitar la percepción humana mediante la descomposición de tareas en subpreguntas de percepción y lógica, logrando resultados de vanguardia en benchmarks de comprensión de gráficos.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, pero un poco despistado cuando se trata de gráficos. Si le muestras un gráfico de barras sobre las ventas de la empresa y le preguntas: "¿Qué país vendió más?", él podría mirar la imagen, ver muchos colores y líneas, y responder con una conjetura adivinada, como si estuviera adivinando en un juego de "¿Quién es?".

Este es el problema que resuelve el paper VisDoT. Vamos a explicarlo como si fuera una receta de cocina o un entrenamiento deportivo.

1. El Problema: El "Ciego" con Gafas de Sol

Los modelos de inteligencia artificial actuales (llamados LVLMs) son como ese amigo inteligente. Pueden leer mucho texto, pero cuando ven un gráfico, a menudo no saben dónde mirar.

• El error: En lugar de decir "Mira, la barra roja es más alta que la azul", el modelo a veces dice cosas como "Creo que la barra azul es la ganadora" sin realmente medir la altura.
• La causa: Les falta "anclaje visual". No conectan bien lo que ven (la imagen) con lo que piensan (la lógica). Es como intentar resolver un rompecabezas sin haber mirado primero las piezas.

2. La Solución: VisDoT (El Entrenador Humano)

Los autores proponen VisDoT, un nuevo método que enseña a la IA a pensar como un humano al leer un gráfico. Imagina que VisDoT es un entrenador personal que le dice al modelo: "¡Espera! No adivines. Primero mira, luego piensa".

Para lograrlo, usan dos trucos principales:

Truco A: Las 4 Habilidades de Observación (Percepción)

Basándose en cómo ven los humanos (psicología), el sistema entrena a la IA en cuatro tareas básicas antes de intentar responder cualquier pregunta difícil:

1. Posición: ¿Dónde está esto? (¿Es la barra de arriba o la de abajo?).
2. Longitud: ¿Qué tan larga es? (¿Es más alta que la otra?).
3. Patrón: ¿Qué color o forma tiene? (¿Es la barra rayada o la lisa?).
4. Extracción: ¿Qué número dice aquí? (Leer el dato exacto).

La analogía: Es como si le dieras a un detective una lupa y le dijeras: "Primero, localiza el objeto (Posición), luego mide su tamaño (Longitud), identifica su color (Patrón) y lee la etiqueta (Extracción)". Solo después de hacer esto, se le permite hacer la deducción final.

Truco B: Descomposición del Pensamiento (DoT)

Aquí está la magia. En lugar de lanzar una pregunta compleja y esperar una respuesta mágica, VisDoT le pide a la IA que rompa la pregunta en trocitos.

• Pregunta original: "¿Cuánto más vendió el País A que el País B?"
• Pensamiento antiguo (CoT): La IA intenta calcular todo de golpe y a veces se pierde.
• Pensamiento VisDoT (DoT):
  1. Paso 1 (Percepción): "Primero, voy a mirar la barra del País A y anotar su valor." -> Resultado: 50.
  2. Paso 2 (Percepción): "Ahora, miro la barra del País B y anoto su valor." -> Resultado: 30.
  3. Paso 3 (Lógica): "Ahora que tengo los dos números, resto 50 menos 30." -> Resultado: 20.

Es como si le dijeras a alguien: "No intentes cocinar la cena entera de una vez. Primero corta las verduras, luego pica la carne, y finalmente mezcla todo".

3. Los Resultados: ¡El Entrenado Gana!

Cuando entrenaron a un modelo (InternVL) con este método:

• Mejoró mucho: En pruebas de gráficos, mejoró su puntuación en más de un 11%.
• Superó a los gigantes: ¡En pruebas difíciles, este modelo entrenado con VisDoT superó a GPT-4o (uno de los modelos más potentes del mundo) en la comprensión de gráficos!
• Es más transparente: Como la IA escribe sus pasos ("Primero miré esto, luego calculé aquello"), podemos ver exactamente dónde se equivocó si lo hace, en lugar de solo ver una respuesta incorrecta sin explicación.

En Resumen

VisDoT es como enseñar a un estudiante a leer un mapa. En lugar de decirle "¿Dónde está París?", primero le enseña a mirar la brújula (posición), medir la distancia (longitud) y reconocer el símbolo del aeropuerto (patrón). Solo después de dominar esos pasos básicos, le deja resolver el problema complejo.

Gracias a este método, las máquinas dejan de "adivinar" lo que ven y empiezan a entender realmente lo que están mirando, haciendo que sean mucho más útiles para analizar datos, finanzas y noticias visuales.

Resumen técnico

Resumen Técnico: VisDoT

1. El Problema

Los Modelos de Lenguaje y Visión Grandes (LVLMs) actuales enfrentan dificultades significativas al interpretar datos visualizados (gráficos, diagramas, infografías). El problema central no es solo la falta de conocimiento lógico, sino la falta de "anclaje perceptual" (perceptual grounding).

• Fallo en la detección de primitivas: Los modelos a menudo no pueden detectar elementos visuales básicos (como la posición de una barra, la longitud de una línea o un patrón de color) y alinearlos correctamente con sus representaciones semánticas (etiquetas, ejes, leyendas).
• Limitaciones del Razonamiento en Cadena (CoT): Aunque el Chain-of-Thought (CoT) funciona bien para tareas de texto puro, en contextos visuales tiende a generar errores de anclaje. Los modelos intentan razonar lógicamente sin primero localizar o verificar los datos visuales necesarios, lo que lleva a alucinaciones y respuestas incorrectas, especialmente en preguntas complejas o mal especificadas.
• Dependencia de identificadores explícitos: Los modelos suelen fallar cuando no se mencionan explícitamente identificadores como nombres de ejes o etiquetas de leyenda, degradando su rendimiento en escenarios del mundo real.

2. Metodología: VisDoT

Los autores proponen VisDoT, un marco de trabajo que mejora el razonamiento visual emulando el proceso de decodificación humana basado en la teoría de la percepción gráfica (Cleveland y McGill, 1984). La metodología se compone de dos pilares principales:

A. Formalización de Tareas Perceptuales
Basándose en la jerarquía de precisión de la percepción humana, el marco define cuatro tareas perceptuales fundamentales para el razonamiento en gráficos:

1. Posición (Position): Comparar objetos a lo largo de una escala común (ejes X o Y) para determinar el orden relativo. Es la tarea más precisa para información cuantitativa.
2. Longitud (Length): Utilizar atributos visuales sin distorsión (como la altura de una barra) como pista secundaria a la posición.
3. Patrón (Pattern): Vincular pistas visuales (colores, texturas, símbolos) con las leyendas para distinguir categorías.
4. Extracción (Extract): Leer valores numéricos explícitamente mostrados en el gráfico.

B. Descomposición del Pensamiento (Decomposition-of-Thought - DoT)
En lugar de generar una respuesta directa o una cadena de pensamiento genérica, VisDoT introduce una estrategia de prompting llamada DoT. Esta estrategia descompone una pregunta compleja en dos fases secuenciales:

1. Fase de Percepción (Question Decomposition): El modelo primero genera sub-preguntas orientadas a la percepción (ej. "¿Cuál es el valor de la barra roja?", "¿Qué color corresponde a la leyenda A?"). Se fuerza al modelo a localizar y extraer datos visuales antes de cualquier cálculo.
2. Fase de Lógica (Problem Solving): Una vez obtenidos los datos perceptuales, el modelo realiza operaciones lógicas (comparaciones, sumas, diferencias) basadas en esa información anclada.

Generación de Datos (VisDoTQA):
Se construyó un nuevo conjunto de datos, VisDoTQA, utilizando 16,167 imágenes de gráficos de fuentes como Pew Research y Statista. Se utilizaron LLMs (GPT-4o) para generar preguntas que requieren razonamiento basado en estas cuatro tareas perceptuales y respuestas que siguen la estructura DoT. El conjunto de entrenamiento contiene más de 331,000 pares de preguntas y respuestas.

3. Contribuciones Clave

• Formalización de Tareas Perceptuales: Se establecen las cuatro tareas (Posición, Longitud, Patrón, Extracción) como base para modelar LVLMs que emulan la cognición humana en la interpretación de datos.
• Estrategia DoT: Se introduce un método de prompting que separa explícitamente la percepción visual del razonamiento lógico, permitiendo un razonamiento estructurado y secuencial.
• Dataset VisDoTQA: Se crea y libera un dataset de entrenamiento y evaluación diseñado específicamente para forzar la alineación entre la percepción visual y el lenguaje.
• Generalización: Se demuestra que la separación percepción-lógica no solo mejora el entendimiento de gráficos, sino que también generaliza a dominios de VQA (Visual Question Answering) de propósito general.

4. Resultados Experimentales

El modelo fue afinado (fine-tuned) utilizando la arquitectura InternVL (versiones de 2B y 4B parámetros) sobre el dataset VisDoTQA. Los resultados destacan:

• ChartQA: VisDoT (InternVL-4B) logró una mejora del +11.2% en el promedio general, superando a modelos base y alcanzando un rendimiento comparable a GPT-4o y Gemini-Flash-2.0. En la división humana (preguntas escritas por humanos), la mejora fue del +14.2%.
• ChartQAPro (Benchmark más difícil): En este conjunto de datos con gráficos no vistos y estructuras complejas, VisDoT-4B alcanzó un 34.54% de precisión, superando a GPT-4o (28.91%) y a modelos especializados como ChartGemma.
• VisDoTQA (Nuevo Benchmark): El modelo mejoró drásticamente en su propio benchmark de evaluación, pasando de un 43.30% (base) a un 76.52% (+33.2%), superando significativamente a GPT-4o (+19.4% de ventaja).
• Eficiencia de Datos: VisDoT logró el mejor rendimiento utilizando solo 7.4K pares de preguntas para el ajuste fino, superando a pipelines que utilizan 163K o 320K pares de datos sintéticos (ChartGemma y ECD).
• Evaluación Zero-Shot en Dominios Abiertos: Al aplicar la estrategia DoT a benchmarks generales como POPE (detección de alucinaciones) y MMMU (razonamiento multimodal académico), se observaron mejoras consistentes (+1.43% en POPE y +2.2% en MMMU sobre CoT), demostrando que la estrategia es aplicable más allá de los gráficos.

5. Significado e Impacto

El trabajo de VisDoT es significativo por varias razones:

1. Solución al Cuello de Botella de Anclaje: Identifica y resuelve la raíz del problema en el razonamiento visual: la falta de anclaje perceptual. Al forzar al modelo a "ver" antes de "pensar", se reducen drásticamente los errores de alucinación.
2. Interpretabilidad: El proceso de razonamiento paso a paso (primero percepción, luego lógica) hace que las decisiones del modelo sean más transparentes y explicables, permitiendo diagnosticar si un fallo se debe a una mala percepción visual o a un error lógico.
3. Eficiencia: Demuestra que un enfoque estructurado y basado en la teoría cognitiva humana es más efectivo que simplemente escalar la cantidad de datos sintéticos o aumentar el tamaño del modelo.
4. Generalización: Sugiere que la separación entre percepción y lógica es un principio fundamental para el razonamiento visual robusto, no solo limitado a gráficos, sino aplicable a cualquier tarea de VQA compleja.

En conclusión, VisDoT establece un nuevo estado del arte (SOTA) en la comprensión de gráficos y ofrece una hoja de ruta para desarrollar LVLMs más robustos, interpretables y eficientes mediante la imitación de los principios de la percepción humana.