Resumo Técnico: CHARTOGRAPHER

Declaração do Problema

Os benchmarks atuais de Perguntas e Respostas (QA) sobre gráficos avaliam principalmente Modelos Visão-Linguagem (VLMs) usando triplos fixos de gráfico-pergunta-resposta. Embora esses benchmarks visem medir o raciocínio visual, frequentemente falham em distinguir entre raciocínio genuíno e comportamentos de "atalho". Os modelos podem chegar a respostas corretas explorando regularidades na formulação das perguntas, dependendo de conhecimento paramétrico adquirido durante o pré-treinamento ou reconhecendo modelos de gráficos familiares, em vez de executar a lógica visual necessária. Consequentemente, permanece incerto se o sucesso de um VLM em um gráfico específico generaliza quando a evidência visual subjacente (dados) muda. Os benchmarks existentes não testam suficientemente se um modelo pode re-ancorar seu raciocínio em dados alterados enquanto mantém a mesma estrutura de tarefa.

Metodologia: O Framework CHARTOGRAPHER

Para abordar isso, os autores introduzem o CHARTOGRAPHER, um framework projetado para gerar famílias de gráficos e perguntas contrafactuais. O objetivo central é desvendar a capacidade de raciocínio visual da dependência de atalhos, variando os dados subjacentes enquanto mantém a tarefa de gráfico-pergunta fixa. O pipeline consiste em quatro etapas principais:

1. Reconstrução de Gráfico para Código:

   • O sistema faz engenharia reversa de uma imagem de gráfico fonte em código de plotagem executável (por exemplo, Python/Matplotlib) e dados semânticos (JSON).
   • Um loop de auto-refinamento é empregado, onde um VLM diagnostica iterativamente discrepâncias entre o gráfico original e a versão re-renderizada, atualizando o código e os dados até que a reconstrução seja aceita.
   • Validação com intervenção humana é aplicada a casos ambíguos (por exemplo, valores ilegíveis ou codificações complexas) para garantir que o gráfico reconstruído preserve a evidência visual relevante para a tarefa.

2. Geração de Dados Contrafactuais:

   • Uma vez aceita uma reconstrução, um gerador de dados controlado por semente cria dez variantes contrafactuais.
   • Essas variantes preservam o esquema do gráfico, restrições de renderização e suposições de domínio, mas alteram os valores de dados subjacentes, classificações ou trajetórias de maneiras significativas.

3. Regeração de QA:

   • Para garantir que os rótulos sejam precisos para os novos dados, o framework gera lógica de QA executável.
   • A pergunta original é mantida se válida; caso contrário, é minimamente reescrita para manter a coerência.
   • As respostas são computadas programaticamente a partir do objeto de dados subjacente, em vez de serem anotadas manualmente, garantindo que a verdade fundamental seja derivada diretamente da evidência visual.

4. Métricas de Avaliação:
   O framework avalia os modelos em quatro dimensões:

   • Precisão Original (OA): Desempenho na distribuição inicial do benchmark.
   • Precisão de Reconstrução (RA): Desempenho na reconstrução base (dados não alterados) para verificar a fidelidade da tarefa.
   • Precisão de Variante (VA): Desempenho médio em variantes contrafactuais com dados alterados.
   • Mudança Relativa de Variante (RVC): Mede a sensibilidade às mudanças de dados ($100 \cdot (VA - OA) / OA$).
   • Precisão de Variante Condicional (CVA): Mede a generalizabilidade especificamente em famílias onde o modelo respondeu corretamente ao gráfico original. Isso isola se o sucesso no original se traduz em sucesso na variante.
   • Resultados de Atualização: Para modelos que têm sucesso no original, as falhas nas variantes são categorizadas como Atualizações Corretas (CU), Previsões Obsoletas (SP) (repetindo a resposta original errada) ou Atualizações Ruidosas (NU) (mudando a resposta mas permanecendo errado).

Contribuições Principais

• Um Pipeline de Gráfico para Código: Um método para converter exemplos individuais de QA de gráficos em famílias contrafactuais por meio de reconstrução iterativa, validação humana e regeneração executável de QA.
• Um Framework de Avaliação Contrafactual: Um novo paradigma de avaliação que vai além do desempenho de gráfico único para medir fidelidade de reconstrução, sensibilidade a variantes e generalizabilidade contrafactual.
• Evidência Empírica de Lacunas de Generalização: A aplicação deste framework a conjuntos de dados existentes (ChartQA, CharXiv, ChartMuseum) revela que alto desempenho em gráficos originais frequentemente falha em generalizar quando a evidência visual é alterada.

Resultados

Os autores avaliaram VLMs proprietários (por exemplo, Claude, Gemini, séries GPT-4/5) e de código aberto (por exemplo, Gemma, InternVL, LLaVA, Qwen) em três conjuntos de dados.

• Fidelidade de Reconstrução: As reconstruções base geralmente mantiveram ou melhoraram ligeiramente o desempenho (RA $\ge$ OA), sugerindo que gráficos gerados por código de alta resolução preservam bem a tarefa e podem até reduzir o ruído encontrado em imagens fonte raspadas.
• Sensibilidade a Mudanças de Dados:
  • ChartQA: Mostrou alta generalizabilidade com RVC negativo pequeno, sugerindo que muitas famílias de gráficos convencionais transferem-se bem.
  • CharXiv: Mostrou resultados mistos; embora o RVC médio estivesse próximo de zero, a CVA foi significativamente menor que 1,0, indicando que modelos que resolvem o original frequentemente falhavam quando os dados mudavam.
  • ChartMuseum: Exibiu a falha mais significativa, com quedas estatisticamente significativas na VA (RVC negativo) e baixa CVA.
• Modos de Falha:
  • Previsões Obsoletas (SP): Modelos frequentemente repetiram sua resposta original correta mesmo quando os dados mudaram, sugerindo dependência de memorização ou conhecimento paramétrico em vez de re-ancoragem visual.
  • Atualizações Ruidosas (NU): Modelos frequentemente mudaram sua resposta em resposta ao novo gráfico, mas falharam em calcular o novo valor correto, indicando falta de raciocínio fundamentado.
  • Dependência do Tipo de Raciocínio: A generalizabilidade foi mais fraca para perguntas que exigem raciocínio puramente Visual ou Síntese (combinando visual e texto). O desempenho foi maior para perguntas solucionáveis apenas via Texto ou combinações Visual/Texto, sugerindo que os modelos dependem de pistas textuais como muletas.
• Comparação de Modelos: Modelos proprietários geralmente demonstraram CVA mais alta e taxas menores de atualizações obsoletas/ruidosas em comparação com modelos de código aberto, embora ambos os grupos tenham exibido falhas significativas de generalização em conjuntos de dados mais difíceis.

Significado e Alegações

O artigo alega que o CHARTOGRAPHER revela um modo de falha crítico nos VLMs atuais: a incapacidade de generalizar o raciocínio visual quando os dados subjacentes mudam, mesmo após resolver com sucesso a tarefa original.

• Desvendar Raciocínio de Memorização: O framework demonstra que altas pontuações em benchmarks em conjuntos de dados padrão (como CharXiv e ChartMuseum) podem confundir o verdadeiro raciocínio visual com a memorização de pares específicos de gráfico-QA ou dependência de conhecimento paramétrico.
• Ferramenta de Diagnóstico: Ao categorizar falhas em previsões obsoletas e atualizações ruidosas, o framework fornece um diagnóstico granular de como os modelos falham, destacando gargalos como rastreamento de trajetória, comparações espaciais e limiares de valor.
• Limitações: Os autores observam que o benchmark é limitado a gráficos onde dados e codificações podem ser recuperados de forma confiável para geração de código. Consequentemente, isola a sensibilidade a evidências visuais alteradas, mas não testa a robustez a mudanças no tipo de gráfico, estilo de pergunta ou design visual.

Em resumo, o CHARTOGRAPHER argumenta que o verdadeiro raciocínio visual exige que os modelos permaneçam fundamentados na evidência visual independentemente das variações de dados, uma capacidade que os VLMs atuais de última geração frequentemente carecem.