ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats

Este artigo apresenta o ChartArena, um benchmark bilíngue abrangente que apresenta oito famílias de gráficos em cenários digitais, impressos e desenhados à mão com um protocolo de avaliação agnóstico ao formato, para avaliar sistematicamente e revelar as capacidades e limitações atuais de 26 principais modelos de linguagem de grande escala multimodais na análise de diversos tipos de gráficos.

O essencial

Imagine que você tem uma biblioteca gigante de gráficos, tabelas e diagramas. Alguns são desenhos de computador perfeitos, outros são fotos de papéis tiradas em um escritório bagunçado e alguns são esboços rústos desenhados em um quadro branco. Agora, imagine que você quer ensinar um robô a ler essas imagens e transformá-las em uma lista de fatos (como uma planilha) ou em um mapa de conexões (como uma árvore genealógica).

Este artigo apresenta o ChartArena, uma nova e massiva "pista de testes" projetada para ver o quão bons diferentes robôs (modelos de IA) são nesta tarefa.

Aqui está a divisão do artigo usando analogias simples:

1. O Problema: A "Barreira Linguística" e a Questão da "Sala Limpa"

Antes deste artigo, testar esses robôs era como tentar comparar corredores em uma corrida onde:

• As Regras Mudavam: Um corredor tinha que escrever sua resposta em inglês, outro em espanhol e um terceiro em código Morse. Você não conseguia comparar facilmente quem era mais rápido porque as respostas pareciam tão diferentes.
• A Pista era Falsa: A maioria dos testes usava apenas gráficos gerados por computador perfeitos. Era como treinar um motorista apenas em uma pista de corrida lisa e vazia, para depois esperar que ele dirigisse perfeitamente na chuva ou em uma estrada de terra acidentada. A vida real tem fotos borradas, ângulos tortos e caligrafia bagunçada, mas os testes antigos ignoravam isso.
• O Escopo era Estreito: Os testes focavam principalmente em gráficos de barras simples e gráficos de pizza. Eles ignoravam diagramas complexos como fluxogramas (árvores de decisão) ou mapas mentais, que são como teias de ideias emaranhadas, em vez de apenas números simples.

2. A Solução: ChartArena (O Obstáculo de Última Geração)

Os autores construíram o ChartArena, um novo teste super abrangente que resolve todos os problemas acima.

• Oito Diferentes "Obstáculos": O teste cobre oito tipos de gráficos, desde gráficos numéricos simples (barra, linha, pizza) até diagramas estruturais complexos (fluxogramas, mapas mentais).
• Três "Condições Climáticas": Cada gráfico é testado de três formas:
  1. Digital: Uma imagem de computador perfeita e nítida.
  2. Impresso: Uma foto de um documento de papel (que pode estar levemente borrada ou inclinada).
  3. Desenhado à Mão: Uma foto de um esboço em um quadro branco ou caderno (tinta borrada, linhas irregulares).
• Dois Idiomas: O teste é bilíngue, cobrindo inglês e chinês.
• A Equipe "Humano-Agente": Para garantir que as respostas estejam corretas, eles usaram uma abordagem de equipe. Uma IA fez um primeiro rascunho da resposta e, em seguida, especialistas humanos verificaram e corrigiram várias vezes. Isso garante que as respostas do "padrão ouro" sejam confiáveis.

3. O Sistema de Pontuação: O "Tradutor Universal"

Como diferentes robôs produzem respostas em formatos diferentes (alguns escrevem código, outros tabelas, outros listas), como pontuá-los de forma justa?

Os autores criaram um Tradutor Universal.

• Para Gráficos Numéricos: Não importa se o robô escreveu um script Python, um arquivo CSV ou uma tabela Markdown, o sistema traduz tudo para uma lista simples de "Quem, O quê, Quanto" (Triplas).
• Para Diagramas: Não importa se o robô usou Mermaid, Graphviz ou PlantUML, o sistema traduz tudo para um mapa de pontos e linhas (um Grafo Direcionado).

Uma vez que tudo é traduzido para essa linguagem comum, o sistema faz a pontuação. Ele não verifica apenas se as palavras coincidem exatamente; ele verifica se a estrutura faz sentido. É como avaliar a redação de um aluno: se eles usarem os sinônimos corretos e acertarem a ideia principal, ganham pontos, mesmo que a ortografia não seja perfeita.

4. Os Resultados: Quem Ganhou a Corrida?

Os autores testaram 26 modelos de IA diferentes nesta nova pista. Aqui está o que descobriram:

• Os Robôs das "Big Techs" estão Liderando: Os modelos mais avançados e pagos (como o Gemini 3.1 Pro) são atualmente os melhores no trabalho. No entanto, os melhores modelos gratuitos e de código aberto estão alcançando-os muito rapidamente.
• Os "Leitores de Documentos" são Especialistas de um Único Truque: Alguns modelos são ótimos em ler documentos e gráficos numéricos simples. Mas quando você mostra a eles um fluxograma complexo ou um mapa mental, eles se perdem. Eles carecem do "conhecimento de mundo" para entender como as ideias se conectam.
• Os "Especialistas" são Especializados Demais: Existem modelos construídos especificamente para gráficos. Embora sejam aceitáveis em gráficos de barras simples, eles muitas vezes falham completamente diante de diagramas ou esboços feitos à mão. Eles não aprenderam variedade suficiente para lidar com o mundo real.
• Os Desafios Mais Difíceis:
  • Gráficos de Radar: Estes gráficos circulares (como uma teia de aranha) são os mais difíceis para todos lerem.
  • Esboços Feitos à Mão: Quando a entrada é uma foto bagunçada de um esboço, o desempenho cai significativamente para todos os modelos.

5. A Conclusão

O artigo conclui que, embora a IA esteja ficando melhor em ler gráficos, ainda existe um grande abismo entre o que eles podem fazer em um ambiente de laboratório perfeito e o que podem fazer no mundo real e bagunçado.

O ChartArena fornece uma maneira justa e unificada de medir o progresso. Ele nos mostra exatamente onde os robôs estão falhando (diagramas complexos, fotos bagunçadas), para que os desenvolvedores saibam onde focar seus esforços para construir uma IA de leitura de gráficos verdadeiramente confiável.

Em resumo: finalmente temos uma pista de corrida justa com obstáculos do mundo real, e agora sabemos exatamente quais robôs estão prontos para o mundo real e quais ainda precisam de mais treinamento.

Resumo técnico

Resumo Técnico: ChartArena

Declaração do Problema

Apesar do rápido avanço dos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) no processamento de gráficos, o campo carece de um framework de avaliação unificado e abrangente. A pesquisa atual é prejudicada por três problemas de fragmentação cumulativos:

1. Incompatibilidade de Saída: Os modelos geram resultados em formatos sintáticos mutuamente incompatíveis (ex: Markdown, JSON, CSV, código Python, SVG, Mermaid), tornando a comparação direta entre modelos intratável.
2. Escopo Limitado de Benchmarks: Os benchmarks existentes concentram-se predominantemente em um conjunto limitado de gráficos numéricos (barras, linhas, pizza) e ignoram amplamente diagramas estruturalmente distintos (fluxogramas, mapas mentais) que exigem compreensão de nível de grafo.
3. Condições de Dados Idealizadas: Os conjuntos de dados são dominados por renderizações digitais imaculadas, falhando em considerar perturbações visuais do mundo real, como fotos impressas (com distorção de iluminação/perspectiva) e esboços feitos à mão (com inconsistências de tinta e ruído).

Essas lacunas impedem que a comunidade obtenha uma avaliação honesta das capacidades dos modelos através de diversos tipos de gráficos, idiomas e cenários visuais.

Metodologia

Para enfrentar esses desafios, os autores introduzem o ChartArena, um benchmark bilíngue abrangente, e um protocolo de avaliação agnóstico ao formato.

1. Benchmark ChartArena

• Cobertura: O benchmark abrange oito famílias de gráficos: seis tipos numéricos (barras, linhas, pizza, radar, gráfico de caixa, gráfico de combinação) e dois tipos diagramáticos (fluxograma, mapa mental).
• Cenários Visuais: Cada tipo de gráfico é avaliado em três condições visuais distintas:
  • Renderizações digitais (limpas).
  • Fotos impressas (capturadas de documentos físicos).
  • Fotos de desenhos à mão (esboçados em quadros brancos/cadernos).
• Idiomas: Todo o conteúdo é fornecido tanto em Inglês quanto em Chinês.
• Construção do Dataset: O dataset compreende 2.400 amostras (50 por configuração). Ele é construído através de um pipeline de anotação colaborativo entre humanos e agentes:
  • MLLMs geram rascunhos grosseiros (Markdown para numéricos, Mermaid para diagramas).
  • Anotadores humanos realizam verificação em múltiplas etapas para corrigir elementos estruturais (nós, arestas, eixos) e conteúdo semântico (rótulos, valores).
  • Desacordos sobre valores ambíguos são reconciliados por múltiplos anotadores para garantir alta confiabilidade.

2. Protocolo de Avaliação Agnóstico ao Formato

Para permitir a comparação justa entre modelos com saídas heterogêneas, o protocolo normaliza todas as previsões em dois espaços semânticos canônicos antes da pontuação:

• Visão de Tripla Normalizada (Gráficos Numéricos): Todas as saídas (Markdown, CSV, JSON, Código, etc.) são mapeadas para um conjunto de triplas semânticas (cabeçalho, entidade, valor). Esta etapa inclui a canonicalização léxica e numérica (ex: tratar "3.0" e "3" como idênticos).
• Visão de Grafo Direcionado (Gráficos Diagramáticos): Linguagens de diagrama (Mermaid, Graphviz, PlantUML, etc.) são normalizadas em um grafo direcionado com nós e arestas rotulados, abstraindo as diferenças sintáticas para capturar estruturas topológicas e hierárquicas.

Métricas de Pontuação:

• Métricas Sensíveis à Estrutura: A pontuação é baseada na correção estrutural, em vez da similaridade de strings.
  • Numérico: Interseção sobre União (IoU) de conjuntos de triplas, utilizando distância de Levenshtein para texto e limiares de erro relativo para números.
  • Diagramático: Correspondência de nós e arestas via algoritmo de Hungaria, com maior peso nas arestas para penalizar erros topológicos.
• Agregação: Os resultados são reportados como Correspondência Exata (EM) e precisão média (mAP) através de três níveis de tolerância (estrito, leve, alto). A métrica principal reportada é mAPhigh.

Resultados Principais

Os autores avaliaram 26 modelos líderes, categorizados em MLLMs de propósito geral, MLLMs de processamento de documentos e Especialistas em Processamento de Gráficos.

1. Proprietários vs. Open-Source: Modelos proprietários de fronteira (ex: Gemini 3.1 Pro) lideram no geral (média de 59.2 EN / 73.2 ZH mAP). No entanto, os sistemas de código aberto mais fortes (ex: Qwen3.5-35B-A3B, Kimi K2.5) estão fechando rapidamente a lacuna, alcançando pontuações competitivas no topo da categoria.
2. Desempenho Numérico vs. Diagramático:
   • MLLMs de Processamento de Documentos (ex: HunyuanOCR) lidam razoavelmente bem com gráficos numéricos, mas caem drasticamente em estruturas diagramáticas (fluxogramas, mapas mentais). Isso sugere que inferir nós implícitos e hierarquias requer um conhecimento de mundo mais amplo encontrado em modelos de propósito geral maiores.
   • Especialistas em Processamento de Gráficos permanecem limitados a famílias de gráficos estreitas. Muitos parsers dedicados (ex: ChartAst, TinyChart) não conseguem lidar com gráficos diagramáticos de forma alguma, e mesmo aqueles que conseguem (ex: RRVF) ficam significativamente atrás dos MLLMs de propósito geral em desempenho geral.
3. Desafios Específicos:
   • Gráficos de Radar: Identificados como a categoria numérica mais difícil em todos os modelos, provavelmente devido à dificuldade de estimar valores angulares e à escassez de dados de treinamento.
   • Cenários Desenvolvidos à Mão: O desempenho degrada substancialmente para entradas desenhadas à mão em comparação com renderizações digitais.
   • Estabilidade de Formato: O protocolo de avaliação prova ser robusto para a maioria dos formatos (Markdown, JSON, Mermaid), mas SVG (para gráficos numéricos) e PlantUML (para fluxogramas) mostram quedas significativas de desempenho, indicando problemas específicos de compatibilidade entre formato e estrutura.

Significância e Alegações

O artigo afirma que o ChartArena fornece a primeira fundação unificada para avaliar o processamento de gráficos em todo o espectro de tipos de gráficos, cenários visuais e idiomas. Sua significância reside em:

• Expor Lacunas de Capacidade: Revela que os "especialistas" atuais ainda não são de propósito geral e que até os modelos líderes lutam com estruturas diagramáticas e condições visuais não ideais.
• Padronizar a Avaliação: Ao introduzir um protocolo de normalização determinístico e agnóstico ao formato, ele permite uma comparação justa entre paradigmas, afastando o campo de benchmarks fragmentados e específicos de formato.
• Avaliação Realista: Ao incluir cenários impressos e desenhados à mão, ele desloca o foco da avaliação de ambientes controlados de laboratório para condições reais de implementação.

Os autores posicionam o ChartArena como um "campo de testes duradouro" destinado a guiar pesquisas futuras em direção a sistemas de compreensão de gráficos mais confiáveis, reproduzíveis e verdadeiramente de propósito geral.