InterChart: Benchmarking Visual Reasoning Across Decomposed and Distributed Chart Information

1. Formulação do Problema

Os Modelos de Visão e Linguagem (VLMs) atuais demonstraram capacidades robustas em responder a perguntas sobre gráficos únicos e isolados (Resposta a Perguntas Visuais ou VQA). No entanto, a análise de dados do mundo real (por exemplo, em relatórios científicos, painéis financeiros e documentos de políticas) raramente depende de uma única visualização. Em vez disso, os insights são derivados pela síntese de informações através de múltiplos gráficos heterogêneos que podem diferir em estilo, domínio, alinhamento temporal e enquadramento semântico.

Os benchmarks existentes para raciocínio multi-gráfico sofrem de várias limitações:

• Simplificação: Frequentemente dependem de dados sintéticos com estilos uniformes e layouts estáticos.
• Falta de Complexidade: Falham em capturar desafios do mundo real, como inconsistência visual, desalinhamento semântico, descontinuidade temporal e a necessidade de agregação em múltiplos passos.
• Falhas na Avaliação: Tipicamente utilizam correspondência exata de strings, o que falha ao considerar respostas parafraseadas, aproximações numéricas ou unidades equivalentes, levando a uma avaliação imprecisa da compreensão semântica.

O INTERCHART aborda essas lacunas ao introduzir um benchmark diagnóstico projetado para avaliar quão bem os VLMs raciocinam através de múltiplos gráficos relacionados, com níveis crescentes de complexidade, diversidade visual e deriva semântica.

2. Metodologia

O benchmark INTERCHART é estruturado em três níveis distintos (subconjuntos), cada um projetado para isolar desafios específicos de raciocínio, em vez de estabelecer uma hierarquia simples de desempenho. O conjunto de dados contém 5.214 pares validados de perguntas e respostas (QA) distribuídos em 1.012 contextos multi-gráfico.

A. Subconjuntos do Benchmark

1. DECAF (Gráficos Elementares Decompostos com Fatos Respondíveis):
   • Objetivo: Estabelecer uma linha de base para recuperação de fatos atômicos e comparações localizadas.
   • Construção: Toma gráficos complexos e multivariáveis de conjuntos de dados existentes (ChartQA, DVQA, etc.) e os decompõe em gráficos simplificados de variável única, utilizando um pipeline personalizado (DePlot para extração de tabelas, Plotly para renderização).
   • Foco: Consulta factual e raciocínio paralelo dentro de unidades visualmente simplificadas.
2. SPECTRA (Gráficos Sintéticos para Raciocínio e Análise de Tendências Correlacionadas Baseadas em Eventos):
   • Objetivo: Avaliar a capacidade de integrar informações distribuídas através de gráficos sintéticos visualmente distintos, mas tematicamente alinhados.
   • Construção: Utiliza LLMs para gerar tabelas estruturadas com eixos compartilhados (por exemplo, PIB vs. Expectativa de Vida) e as renderiza em tipos de gráficos diversos (sobreposições de barras-linha, eixos múltiplos).
   • Foco: Raciocínio de tendências correlacionadas, inferência baseada em eventos e alinhamento de quantidades relacionadas entre pares de gráficos.
3. STORM (Raciocínio Temporal Sequencial sobre Gráficos Multidomínio do Mundo Real):
   • Objetivo: Sondar os limites superiores das capacidades dos VLMs com dados complexos do mundo real.
   • Construção: Curado a partir do "Our World in Data", apresentando pares de gráficos de linha do mundo real com estilos diversos, domínios variados e desalinhamentos temporais (por exemplo, relatórios econômicos, painéis de saúde pública).
   • Foco: Abstração semântica, alinhamento temporal e integração em múltiplos passos através de estilos visuais heterogêneos.

B. Pipeline de Avaliação

Para superar as limitações da correspondência de strings, os autores propõem um novo framework de avaliação assistido por LLM:

• Juízes Semânticos: Três LLMs distintos (Gemini 1.5 Flash, Phi-4 e Qwen2.5-7B) atuam como juízes.
• Votação Majoritária: Cada modelo avalia a saída do VLM contra a verdade fundamental. Uma pontuação binária de correção é atribuída com base na votação majoritária.
• Flexibilidade: Esta abordagem aceita respostas parafraseadas, aproximações numéricas e unidades equivalentes, fornecendo uma medida mais robusta da compreensão semântica.

C. Configuração Experimental

Os autores avaliaram um conjunto diversificado de VLMs fechados (Gemini 1.5 Pro, GPT-4o Mini) e de código aberto (Qwen2-VL, MiniCPM-V, InternVL, Idefics3). Eles testaram múltiplas estratégias de entrada:

• Formatos Visuais: Combinados (imagens costuradas) vs. Intercalados (entradas sequenciais).
• Prompting: Zero-Shot, Zero-Shot Cadeia de Pensamento (CoT) e Few-Shot com Diretrizes.
• Representações Intermediárias: Entrada visual direta vs. conversão Gráfico-para-Tabela (usando DePlot e DePlot++).

3. Principais Contribuições

1. Primeiro Benchmark Multinível: O INTERCHART é o primeiro benchmark a abranger contextos de gráficos decompostos, sintéticos e do mundo real, visando especificamente o raciocínio multi-gráfico.
2. Tarefas de Raciocínio Estruturadas: Introduz um sistema em camadas (DECAF, SPECTRA, STORM) para desvendar erros de parseamento visual de falhas de raciocínio, capturando dependências localizadas, correlações de tendências e abstrações temporais.
3. Framework de Avaliação Semântica: O sistema de votação majoritária baseado em LLM melhora o alinhamento com o julgamento humano e permite análise de erros granular, indo além da correspondência rígida de strings.
4. Insights Diagnósticos: O benchmark revela que os modelos atuais lutam significativamente com a integração entre gráficos, particularmente quando os estilos visuais e os contextos semânticos divergem.

4. Principais Resultados e Análise

A avaliação dos VLMs mais avançados revelou declínios consistentes e acentuados na precisão à medida que a complexidade do gráfico aumentava:

• Queda de Desempenho: Os modelos performaram bem no DECAF (gráficos simplificados), mas sofreram quedas significativas de precisão no SPECTRA e um declínio drástico no STORM. Por exemplo, o Gemini-1.5 Pro caiu de ~65% no DECAF para ~35% no STORM.
• Decomposição Ajuda: Converter gráficos complexos em unidades decompostas de variável única (DECAF) melhorou significativamente a precisão, destacando que os modelos lutam com a integração entre gráficos e o desordem visual, em vez da recuperação básica de fatos.
• Sintético vs. Mundo Real: Os modelos generalizam mal de dados sintéticos (SPECTRA) para cenários do mundo real (STORM). A mudança envolve lidar com deslocamentos de domínio, diversidade visual e raciocínio temporal, que os modelos atuais não conseguem transferir efetivamente.
• Estratégias de Prompting: Cadeia de Pensamento (CoT) e prompting Few-Shot com diretrizes melhoraram o desempenho em subconjuntos mais simples (DECAF/SPECTRA), mas ofereceram benefício limitado para o subconjunto altamente complexo STORM, sugerindo que o raciocínio verbal não pode compensar a alta complexidade visual/semântica.
• Representações Intermediárias: Embora converter gráficos em tabelas (Gráfico-para-Tabela) tenha ajudado em dados sintéticos, isso degradou o desempenho em gráficos reais do STORM. Isso indica que as tabelas frequentemente falham em capturar o alinhamento semântico e temporal crítico para o raciocínio através de eixos do mundo real desalinhados.
• Comparação de Modelos: O Gemini-1.5 Pro consistentemente superou outros modelos em todos os níveis, provavelmente devido ao seu treinamento em entradas estruturadas e forte seguimento de instruções. Modelos de código aberto (Qwen2, MiniCPM) mostraram desempenho razoável em tarefas simples, mas lutaram com raciocínio complexo.

5. Significado

O INTERCHART fornece um framework diagnóstico rigoroso que desloca o foco de "o modelo consegue responder?" para "onde e por que o modelo falha?".

• Identifica Modos de Falha: Isola fraquezas específicas, como a incapacidade de lidar com deriva semântica, desalinhamento temporal e heterogeneidade visual.
• Orienta Pesquisa Futura: Os resultados sugerem que os futuros VLMs precisam de melhores mecanismos para atenção cruzada entre visualizações, raciocínio temporal e alinhamento semântico, em vez de apenas parseamento visual aprimorado.
• Aplicabilidade no Mundo Real: Ao focar em cenários multi-gráfico do mundo real (STORM), o benchmark aborda diretamente as necessidades de aplicações em relatórios científicos, análise financeira e políticas públicas, onde a síntese de dados é crítica.

Em conclusão, o INTERCHART demonstra que, embora os VLMs estejam se tornando proficientes na leitura de gráficos individuais, eles permanecem fundamentalmente desafiados pela tarefa de sintetizar informações através de múltiplas visualizações diversas — uma lacuna crítica para a implantação de IA no mundo real.