Resumo Técnico: Chartography: Um Benchmark para Compreensão Profissional de Gráficos

Declaração do Problema

Profissionais em campos como medicina, engenharia, finanças e manufatura dependem frequentemente de gráficos para tomar decisões consequentes. No entanto, os benchmarks existentes para compreensão de gráficos (ex: ChartQA, CharXiv, ChartMuseum) falham em medir adequadamente as capacidades exigidas para essas tarefas profissionais. Os benchmarks atuais são caracterizados por:

• Limitações de Formato: Uma predominância de gráficos de barras, linhas e setores simples, carecendo de formatos específicos de domínio como curvas de Kaplan-Meier, mapas de contorno, diagramas de Sankey e gráficos de superfície 3D.
• Profundidade de Raciocínio: Dependência de cadeias de raciocínio curtas e formatos de resposta restritos (ex: múltipla escolha) que reduzem o espaço de resposta.
• Saturação: Modelos de fronteira já alcançam 80–90% de precisão nesses benchmarks, com muitos erros atribuídos a defeitos no ground truth em vez de falhas genuínas do modelo.
• Problemas de Avaliação: A avaliação frequentemente depende de rótulos impressos ou tolerâncias percentuais uniformes, em vez de uma estimativa visual calibrada apropriada para a precisão específica de cada gráfico.

Consequentemente, pontuações altas em benchmarks existentes não se correlacionam com a capacidade de interpretar gráficos em cenários profissionais do mundo real, onde os dados não são fornecidos em tabelas estruturadas e convenções de domínio devem ser aplicadas.

Metodologia

O Benchmark Chartography

O Chartography é um benchmark composto por 100 tarefas projetadas para simular a leitura de gráficos profissionais.

• Construção das Tarefas: Cada tarefa pareia uma imagem de gráfico com uma pergunta escrita por um profissional atuante na respectiva área (ex: oncologistas, engenheiros estruturais, operadores financeiros).
• Diversidade de Domínios: O conjunto de dados abrange 12 domínios profissionais, incluindo Saúde, Finanças, Manufatura e vários campos da engenharia STEM. Os tipos de gráficos incluem formatos de nicho, como diagramas de Moody, gráficos de Bode, rosas dos ventos e gráficos de crescimento pediátrico.
• Processo de Autoria:
  • Autoria por Especialistas: As tarefas são elaboradas por especialistas do domínio que fornecem a resposta pretendida, um passo a passo completo de etapas visuais e computacionais, e uma faixa aceitável para quantidades estimadas visualmente.
  • Verificação Independente: Cada tarefa é verificada independentemente por três especialistas adicionais para validar a leitura, esclarecer a redação e confirmar as faixas aceitáveis.
  • Triagem Adversária: As tarefas são filtradas contra modelos de fronteira; uma tarefa só é mantida se provocar uma falha significativa em pelo menos um modelo de fronteira.
• Protocolo de Graduação:
  • Intervalos Calibrados por Especialistas: Diferente de benchmarks que usam tolerâncias genéricas, o Chartography utiliza intervalos definidos por especialistas com base na resolução do gráfico e na densidade das linhas de grade (ex: ±0,5 cm para um gráfico de crescimento vs. 140–150 mph para um mapa de ventos).
  • Pontuação "Tudo ou Nada": Respostas de múltiplas partes são avaliadas rigorosamente; perder um único componente resulta em falha.
  • Mecanismo de Juiz: Um modelo juiz (Gemini 3.5 Flash) avalia as respostas em relação à resposta padrão (golden answer) e aos intervalos aceitáveis sem visualizar a imagem do gráfico, garantindo que ele julgue a equivalência da resposta em vez de resolver novamente a tarefa visual.

Protocolo de Avaliação

• Modelos Avaliados: 30 configurações de 18 modelos de fronteira de oito desenvolvedores (incluindo OpenAI, Google, Anthropic, Meta, xAI, etc.).
• Restrições: Os modelos recebem uma única mensagem do usuário com o prompt e a imagem. Não são permitidos prompts de sistema, exemplos de few-shot, ferramentas (execução de código, zoom) ou normalização de imagem.
• Métricas: Cada configuração passa por 20 tentativas por tarefa (2.000 tentativas no total). A métrica primária é a média do pass@1 (a fração das tentativas onde a resposta final do modelo cai dentro do intervalo aceitável).

Principais Contribuições

1. Definição de Tarefa e Conjunto de Dados: Uma definição de compreensão profissional de gráficos como responder a perguntas usando apenas o gráfico e o conhecimento de domínio existente. O lançamento inclui 100 tarefas elaboradas por especialistas, imagens, metadados de proveniência e código de avaliação.
2. Graduação Calibrada por Especialistas: Um protocolo que substitui tolerâncias numéricas genéricas por intervalos aceitáveis definidos por especialistas e pontuação "tudo ou nada" para respostas de múltiplas partes.
3. Avaliação Abrangente: Uma avaliação de 30 configurações de modelos de fronteira revelando uma lacuna significativa de desempenho em comparação com outros benchmarks.
4. Lançamento Auditado: Transparência total com metadados de composição e proveniência para permitir a verificação independente dos resultados.

Resultados

• Teto de Desempenho: A configuração de melhor desempenho (GPT-5.6 Sol com esforço máximo de raciocínio) alcançou um pass@1 médio de 45,0%. As demais configurações pontuaram entre 9,0% e 39,5%. Isso contrasta fortemente com as pontuações de 80–90% que esses modelos alcançam em benchmarks como ChartQA e CharXiv.
• Esforço de Raciocínio: Aumentar o esforço de raciocínio (ex: modos "max" ou "adaptativo") melhorou o desempenho em 11 de 12 pares de modelos correspondentes, com um aumento mediano de +4,5 pontos percentuais. No entanto, os ganhos foram inconsistentes e, em alguns casos (ex: Grok 4.5), o maior esforço de raciocínio levou a pontuações menores.
• Custo vs. Precisão: A fronteira de Pareto para custo versus precisão é íngreme na extremidade baixa, mas achata significativamente; passar de ~40% para 45% de precisão exige um aumento de várias vezes no custo de inferência. Algumas configurações de alto raciocínio geraram mais de 20.000–30.000+ tokens por tentativa sem ganhos proporcionais de precisão.

Modos de Falha

A análise das falhas identificou quatro categorias principais:

1. Elementos Visuais Perdidos: Os modelos falham em detectar características finas, tênues ou sobrepostas (ex: perdendo fluxos menores em um diagrama de Sankey).
2. Característica Correta, Valor Incorreto: Os modelos identificam a curva ou contorno corretos, mas julgam incorretamente sua posição (ex: lendo um pico duas linhas de grade fora do lugar ou interpretando incorretamente uma escala não linear).
3. Geometria Complexa: Dificuldades significativas com gráficos de superfície 3D e geometria projetada, onde os modelos falham em usar linhas de grade projetadas para interpretar profundidade e coordenadas.
4. Convenções de Domínio: Os modelos falham em aplicar regras profissionais implícitas codificadas no gráfico (ex: usar o valor plotado mais baixo para uma curva quando a consulta está abaixo do intervalo, em vez de extrapolar).

Significância e Alegações

O artigo postula que o Chartography revela uma lacuna crítica nas capacidades atuais de IA multimodal: ancoragem visual (visual grounding). Embora os modelos demonstrem forte reconhecimento semântico (identificar o que um gráfico representa), eles lutam com a ancoragem métrica (ancorar respostas numéricas a posições visuais específicas).

Os autores alegam que:

• Saturação de Benchmark: O alto desempenho em benchmarks acadêmicos atuais não indica prontidão para implantação profissional em contextos clínicos, de engenharia ou financeiros.
• Identificação de Gargalo: A principal limitação para modelos de fronteira neste domínio é a percepção visual, não a profundidade do raciocínio. A deliberação adicional muitas vezes elabora observações visuais incorretas em vez de corrigi-las.
• Pré-requisitos para Implantação: A leitura precisa de gráficos, incluindo a adesão às convenções de domínio e a estimativa visual calibrada, é um pré-requisito para aplicações propostas, como suporte à decisão clínica e revisão de engenharia.
• Direção Futura: Melhorar as capacidades de leitura visual, mantendo o raciocínio fixo, provavelmente produzirá ganhos substanciais de desempenho. O benchmark serve como uma ferramenta para medir o progresso em direção a esses casos de uso profissionais realistas.