VisDoT : Enhancing Visual Reasoning through Human-Like Interpretation Grounding and Decomposition of Thought

O artigo apresenta o VisDoT, um framework que aprimora o raciocínio visual em modelos de linguagem e visão ao alinhar a percepção gráfica humana com a lógica por meio de um processo de decomposição do pensamento, alcançando resultados state-of-the-art em benchmarks de interpretação de gráficos.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a ler gráficos e tabelas. O problema é que, até agora, esses robôs (chamados de Modelos de Linguagem e Visão) eram como estudantes que decoraram a resposta de um teste, mas não entendiam como chegar a ela. Eles olhavam para um gráfico de barras e, em vez de medir a altura das barras, tentavam "adivinhar" o número, muitas vezes errando feio.

O artigo VisDoT apresenta uma solução brilhante para isso. Vamos explicar como funciona usando uma analogia simples: o Detetive vs. o Adivinho.

1. O Problema: O "Adivinho" Confuso

Os modelos antigos funcionavam como um adivinho. Eles olhavam para a imagem inteira e tentavam chutar a resposta.

• O erro: Se você perguntasse "Qual país tem a barra mais alta?", o robô muitas vezes não conseguia identificar qual cor era qual país (a "lenda") ou onde as barras começavam e terminavam. Ele misturava as cores e as posições, gerando respostas que pareciam plausíveis, mas estavam erradas.
• A causa: Eles pulavam a etapa de "observar" e iam direto para "pensar".

2. A Solução: O "Detetive" Metódico (VisDoT)

Os autores criaram o VisDoT, que transforma o robô em um detetive metódico. A ideia é ensinar a máquina a pensar como um ser humano quando analisa um gráfico.

Eles dividem o processo em duas etapas principais, como se fosse uma receita de bolo:

Etapa A: Os 4 Sentidos do Detetive (Grounding)

Antes de fazer qualquer cálculo, o robô precisa aprender a "ver" o gráfico como nós. Baseados em psicologia (como os humanos interpretam desenhos), eles definiram 4 tarefas de percepção:

1. Posição: Onde está o objeto? (Ex: "A barra azul está no topo ou no fundo?"). É como olhar para a altura de uma pilha de livros.
2. Comprimento: Quão grande é? (Ex: "Essa barra é o dobro do tamanho daquela?"). É como comparar o tamanho de duas maçãs.
3. Padrão: Qual é a identidade? (Ex: "A cor vermelha significa 'Vendas' e a azul 'Lucro'?"). É como reconhecer o uniforme de um time de futebol.
4. Extração: Ler o número escrito. (Ex: "O que está escrito ao lado da barra?"). É como ler o preço na etiqueta.

O VisDoT treina o robô a fazer essas 4 coisas antes de tentar responder a pergunta complexa.

Etapa B: A Técnica "Decompor o Pensamento" (DoT)

Aqui está o truque de mestre. Em vez de pedir ao robô: "Responda: Qual é a diferença de vendas entre 2020 e 2021?", o VisDoT força o robô a quebrar a pergunta em passos menores, como se fosse uma receita de culinária:

1. Passo 1 (Percepção): "Onde está a barra de 2020? Qual é o valor escrito nela?" -> Resposta: 50.
2. Passo 2 (Percepção): "Onde está a barra de 2021? Qual é o valor escrito nela?" -> Resposta: 30.
3. Passo 3 (Lógica): "Agora que tenho os dois números, subtraia 30 de 50." -> Resposta: 20.

Isso é chamado de Decomposição do Pensamento (DoT). O robô é obrigado a "pousar" em cada parte do gráfico antes de voar para a conclusão.

3. Por que isso é incrível?

• Menos Alucinações: Como o robô é obrigado a "olhar" para o gráfico antes de falar, ele para de inventar dados. Ele não diz que a barra é azul se ela é vermelha, porque a primeira etapa do processo é justamente identificar a cor.
• Funciona em Tudo: O teste mostrou que essa técnica não serve apenas para gráficos. Quando aplicaram em perguntas sobre fotos de objetos (como "existe um gato na imagem?"), o robô também ficou muito melhor, porque aprendeu a olhar antes de responder.
• Venceu os Gigantes: O modelo treinado com essa técnica (que é menor e mais barato que os gigantes da IA) conseguiu superar o GPT-4o (o modelo mais famoso e poderoso da OpenAI) em testes de gráficos difíceis.

Resumo em uma frase

O VisDoT ensina a inteligência artificial a não ter pressa: primeiro, ela aprende a olhar e medir o gráfico com cuidado (como um detetive), e só depois pensa na resposta, o que torna o robô muito mais inteligente e confiável.

É como ensinar alguém a fazer matemática: em vez de deixar ele chutar o resultado, você ensina a escrever a conta no papel, passo a passo, garantindo que o resultado final seja correto.

Resumo técnico

Visão Geral

O artigo apresenta o VisDoT, um novo framework projetado para melhorar o raciocínio visual em Modelos de Linguagem e Visão de Grande Escala (LVLMs), especificamente na interpretação de visualizações de dados (gráficos, tabelas, dashboards). O trabalho aborda a limitação fundamental dos LVLMs atuais: a incapacidade de detectar com fiabilidade "primitivas visuais" (como posições, comprimentos e padrões) e alinhá-las com representações semânticas, o que gera erros de "grounding" (ancoragem) e degrada o desempenho em tarefas complexas.

1. O Problema

Os LVLMs existentes frequentemente falham em cenários de raciocínio visual complexo devido a dois fatores principais:

• Falta de Grounding Perceptivo: Os modelos têm dificuldade em identificar elementos visuais básicos (e.g., qual barra corresponde a qual legenda, qual eixo representa qual variável) sem que o usuário forneça identificadores explícitos.
• Limitações do Chain-of-Thought (CoT) Tradicional: Embora o CoT funcione bem para raciocínio puramente textual, sua aplicação direta em tarefas visuais tende a falhar. Os modelos muitas vezes "alucinam" ou pulam etapas de percepção visual crítica, tentando realizar lógica matemática ou comparação sem antes localizar e extrair corretamente os dados visuais.

2. Metodologia

O VisDoT propõe uma abordagem baseada em duas inovações principais: a formalização de tarefas perceptivas e uma nova estratégia de prompt chamada Decomposition-of-Thought (DoT).

A. Tarefas Perceptivas Baseadas em Teoria Gráfica

Baseando-se na teoria da percepção gráfica de Cleveland e McGill (1984), os autores formalizam quatro tarefas perceptivas fundamentais que os modelos devem dominar antes de realizar raciocínio lógico:

1. Posição (Position): Comparar a posição de objetos em uma escala comum (e.g., eixos X ou Y) para determinar ordem relativa. É a tarefa mais precisa para informações quantitativas.
2. Comprimento (Length): Usar o comprimento visual (distância sem distorção) como pista secundária para posição.
3. Padrão (Pattern): Associar padrões visuais (cores, texturas, símbolos) às legendas e dados para distinguir categorias.
4. Extração (Extract): Ler valores explicitamente mostrados (similar a OCR).

B. Estratégia Decomposition-of-Thought (DoT)

O VisDoT introduz o DoT, uma estratégia de prompting que separa explicitamente o processo de raciocínio em duas fases sequenciais, em vez de tentar fazer tudo em um único fluxo de pensamento:

1. Fase 1: Decomposição da Pergunta (Question Decomposition): O modelo é instruído a decompor uma pergunta complexa em uma sequência ordenada de sub-perguntas. Crucialmente, as sub-perguntas de percepção (Qp) devem ser geradas e resolvidas antes das sub-perguntas de lógica (Ql).
   • Exemplo: Antes de calcular a diferença entre duas barras, o modelo deve primeiro perguntar e responder "Qual é o valor da barra A?" e "Qual é o valor da barra B?".
2. Fase 2: Resolução do Problema (Problem Solving): O modelo gera respostas intermediárias para cada sub-pergunta, acumulando o contexto para chegar à resposta final.

C. Construção do Dataset VisDoTQA

Os autores criaram o dataset VisDoTQA contendo 331.969 pares de pergunta-resposta, gerados automaticamente a partir de 16.167 imagens de gráficos. O dataset é estruturado para forçar o modelo a seguir o fluxo "Percepção -> Lógica", cobrindo as quatro tarefas perceptivas definidas.

3. Contribuições Principais

1. Formalização de Tarefas Perceptivas: Estabeleceram uma base teórica para modelar LVLMs que emulam a decodificação humana de visualizações de dados, focando em Posição, Comprimento, Padrão e Extração.
2. Estratégia DoT: Introduziram um método de prompting que força a separação entre percepção visual e raciocínio lógico, mitigando erros de grounding que afetam o CoT tradicional.
3. Dataset VisDoTQA: Criaram um novo benchmark e conjunto de dados de treinamento que combina tarefas perceptivas com raciocínio decomposto, permitindo o treinamento de modelos para interpretação estruturada.
4. Desempenho e Generalização: Demonstraram que modelos de tamanho médio (como InternVL) podem superar modelos fechados massivos (como GPT-4o) em tarefas de gráficos quando treinados com VisDoT.

4. Resultados Experimentais

Os experimentos foram conduzidos em vários benchmarks, incluindo ChartQA, ChartQAPro e o novo VisDoTQA.

• ChartQA: O modelo VisDoT_InternVL-4B alcançou um ganho de +11.2% em relação à linha de base, atingindo desempenho comparável ou superior ao GPT-4o e Gemini-Flash-2.0.
• ChartQAPro (Desafio Avançado): O modelo superou o GPT-4o em tarefas de verificação de fatos e raciocínio hipotético, demonstrando robustez em gráficos com estruturas não vistas durante o treinamento.
• VisDoTQA: Houve uma melhoria drástica de +33.2% na precisão média (de 43,30% para 76,52%), superando o GPT-4o em +19,4%. Os maiores ganhos ocorreram nas tarefas de Posição (+29,1%) e Padrão (+42,0%).
• Generalização (Zero-Shot): Ao aplicar o DoT em benchmarks de VQA de domínio aberto (POPE e MMMU), o método superou o CoT tradicional, confirmando que a separação percepção-lógica é uma estratégia geral e não limitada apenas a gráficos.
• Eficiência de Dados: O VisDoT alcançou o melhor desempenho no ChartQA e VisDoTQA utilizando apenas 7.4K pares de QA para ajuste fino, superando pipelines de síntese de dados que usam 163K ou 320K pares (como ChartGemma e ECD).

5. Significado e Conclusão

O trabalho VisDoT demonstra que a principal gargalo no raciocínio visual de LVLMs não é apenas a falta de capacidade de raciocínio lógico, mas sim a falha na ancoragem perceptiva (identificar corretamente o que está no gráfico).

Ao forçar o modelo a "ver" e "localizar" os dados antes de "pensar" sobre eles, o VisDoT:

• Aumenta a interpretabilidade do processo de raciocínio (o modelo mostra seus passos de extração).
• Reduz alucinações visuais.
• Permite que modelos de parâmetros menores (2B-4B) rivalizem com modelos fechados massivos em tarefas específicas de visualização de dados.

O estudo sugere que futuras abordagens para VLMs devem integrar explicitamente a percepção visual estruturada no processo de inferência, em vez de depender apenas de treinamento de instruções genéricas ou CoT puro.