Beyond Single Plots: A Benchmark for Question Answering on Multi-Charts

Título: Beyond Single Plots: A Benchmark for Question Answering on Multi-Charts

Autores: Azher Ahmed Efat, Seok Hwan Song e Wallapak Tavanapong (Iowa State University)

1. Problema e Motivação

Os gráficos são ferramentas essenciais para apresentar informações complexas em contextos reais, como pesquisa científica, finanças e políticas públicas. Embora os Modelos de Linguagem Multimodais (MLMs) tenham demonstrado desempenho robusto em tarefas de compreensão de gráficos únicos (single-chart), a interpretação de imagens de múltiplos gráficos (multi-chart) permanece um desafio significativo e pouco explorado.

A maioria das pesquisas atuais e conjuntos de dados existentes (como MultiChartQA e CharXiv) focam em:

• Gráficos isolados ou conjuntos simulados que dependem de referências explícitas (ex: "o primeiro gráfico").
• Perguntas que não exigem localização visual autônoma dos sub-gráficos relevantes.
• Falta de anotações detalhadas sobre características estruturais (homogeneidade, tipo de gráfico, contagem de sub-gráficos).

O problema central é que, em cenários reais, os usuários frequentemente enfrentam figuras compostas sem rótulos explícitos indicando qual sub-gráfico deve ser analisado, exigindo do modelo habilidades de localização, integração de informações entre múltiplas visualizações e raciocínio multi-etapa.

2. Metodologia e Proposta: PolyChartQA

Para preencher essa lacuna, os autores introduzem o PolyChartQA, um conjunto de dados de escala média projetado especificamente para perguntas e respostas (QA) sobre imagens de múltiplos gráficos.

Construção do Dataset:

• Fonte: 534 imagens de múltiplos gráficos extraídas de 168 artigos de pesquisa revisados por pares em conferências de ciência da computação de alto nível (EMNLP, ICSE, ICML, SIGCOMM) de 2024.
• Estatísticas: Total de 2.297 sub-gráficos e 2.694 pares de perguntas e respostas (QA).
• Composição das Perguntas:
  • Humanas (519): Criadas manualmente por pesquisadores, focando em clareza e correção.
  • Geradas por MLM (2.175): Geradas via GPT-4.1 e rigorosamente verificadas manualmente para garantir qualidade.
• Anotações Ricas: Diferente de datasets anteriores, o PolyChartQA inclui anotações explícitas sobre:
  • Tipo de gráfico em nível de sub-gráfico.
  • Homogeneidade (todos os sub-gráficos são do mesmo tipo vs. tipos mistos).
  • Contagem de sub-gráficos.
• Categorização:
  • Dificuldade: Fácil (recuperação direta), Médio (comparação/agregação entre 2+ gráficos), Difícil (raciocínio multi-etapa encadeado).
  • Tipo: Estrutural, Recuperação de Dados, Raciocínio.
  • Restrição Crítica: As perguntas não contêm referências explícitas aos gráficos (ex: "no gráfico da esquerda"), forçando o modelo a localizar a informação visualmente.

Pipeline Proposto: VDSP (Visual Decomposition and Self-Verification Pipeline)

Para melhorar o desempenho e a interpretabilidade dos MLMs, os autores propõem um pipeline de 3 etapas baseado em prompting:

1. Estruturação do Gráfico e Decomposição: O modelo analisa a imagem, identifica os sub-gráficos individuais, seus tipos e características, e decompõe a pergunta em subtarefas.
2. Execução de Raciocínio Estruturado: Extração de valores específicos de componentes visuais e execução de cálculos/comparações.
3. Auto-Verificação: O modelo revisa seu próprio raciocínio, verificando a precisão das referências aos gráficos e detectando erros comuns (ex: leitura incorreta de eixos), gerando uma resposta final validada ou corrigida.

3. Avaliação Experimental

Os autores avaliaram 9 modelos de última geração (MLMs), incluindo modelos fechados (Claude-3.7-Sonnet, GPT-4.1, Gemini-2.0-Flash), modelos de código aberto (Pixtral, LLaVA, Llama, Gemma) e modelos especializados em gráficos (ChartGemma, MatCha).

Métricas:

• L-Accuracy: Precisão baseada em um LLM (Claude-3.7-Sonnet) como juiz, validada contra avaliações humanas.
• H-Accuracy: Avaliação humana direta.
• BERTScore: Similaridade semântica.

4. Resultados Principais

Desempenho em Gráficos Únicos vs. Múltiplos (RQ1)

• Há uma queda drástica de desempenho ao passar de gráficos únicos para múltiplos gráficos.
• A precisão (L-Accuracy) caiu entre 26,85% e 36,98% para modelos fechados e até 36,44% para modelos de código aberto.
• Modelos especializados em gráficos (MatCha, ChartGemma) performaram mal, sugerindo que seu pré-treinamento em gráficos únicos não se generaliza bem para composições complexas.

Impacto da Dificuldade e Tipo de Pergunta (RQ2)

• Dificuldade: O desempenho declina consistentemente à medida que a dificuldade aumenta (Fácil > Médio > Difícil), especialmente em perguntas humanas.
• Tipo: Os modelos performam melhor em perguntas Estruturais e pior em Recuperação de Dados (que exigem precisão numérica sob ambiguidade visual).
• Homogeneidade: Surpreendentemente, a maioria dos modelos performou melhor em gráficos não homogêneos (mistura de tipos) do que em homogêneos, possivelmente devido à diversidade visual que facilita a distinção.
• Quantidade de Sub-gráficos: O aumento no número de sub-gráficos geralmente reduz o desempenho, sendo mais pronunciado em perguntas humanas.

Perguntas Humanas vs. Geradas por MLM (RQ3)

• Perguntas humanas são significativamente mais desafiadoras.
• Houve uma queda de 27,4% na L-Accuracy para perguntas humanas em comparação com as geradas por MLM. Isso indica que as perguntas geradas por IA tendem a ser mais simples ou seguir padrões que os modelos já aprenderam, subestimando a capacidade real de raciocínio.

Eficácia do VDSP (RQ4)

• O pipeline VDSP melhorou a L-Accuracy em até 5,39% em comparação com Zero-shot e 4,62% em comparação com Chain-of-Thought (CoT) padrão.
• Interpretabilidade: O VDSP oferece transparência ao decompor o processo, permitindo identificar exatamente onde o modelo falhou (ex: localização errada do gráfico vs. erro de raciocínio), algo que o CoT tradicional não faz de forma estruturada.

5. Contribuições e Significância

1. Novo Benchmark (PolyChartQA): O primeiro dataset de escala significativa focado em QA de múltiplos gráficos com anotações estruturais profundas e perguntas sem referências explícitas, simulando cenários reais.
2. Análise Abrangente: Uma avaliação detalhada de 9 modelos, revelando lacunas significativas no estado da arte para raciocínio visual complexo.
3. Descoberta Crítica: Evidência de que os modelos atuais sofrem uma degradação severa de desempenho quando a localização visual e a integração de múltiplas fontes de informação são necessárias, e que as perguntas geradas por IA podem criar uma falsa sensação de competência.
4. Solução Prática: O pipeline VDSP demonstra que a decomposição visual passo a passo e a auto-verificação são estratégias eficazes para melhorar tanto a precisão quanto a confiabilidade (interpretabilidade) dos modelos em tarefas complexas.

Conclusão

O trabalho destaca que a compreensão de gráficos em contextos reais vai muito além da análise de imagens únicas. O PolyChartQA estabelece um novo padrão para avaliar a capacidade de raciocínio multimodal, mostrando que os modelos atuais ainda têm um longo caminho a percorrer para lidar com a complexidade, ambiguidade e necessidade de localização autônoma inerentes às figuras compostas. A proposta de decomposição visual (VDSP) oferece um caminho promissor para mitigar essas limitações.