Resumo Técnico: ChartAct: Um Benchmark para Compreensão de Gráficos Dinâmicos

Declaração do Problema

Os benchmarks existentes para compreensão de gráficos focam principalmente em gráficos estáticos, onde todas as informações são apresentadas dentro de uma única imagem imutável. No entanto, a visualização de dados do mundo real frequentemente envolve gráficos dinâmicos e interativos incorporados em páginas web ou painéis de controle. Nesses cenários, informações críticas (por exemplo, valores de dados precisos, detalhes de séries específicas) são frequentemente ocultas e só se tornam visíveis após interações do usuário, como passar o mouse, clicar, ampliar ou arrastar.

Os atuais Modelos de Linguagem Multimodais Grandes (MLLMs) e agentes de GUI lutam com essa natureza dinâmica porque:

1. Requisito de Interação: Eles não devem apenas perceber o conteúdo visual, mas também selecionar ações de interface apropriadas para revelar evidências ocultas.
2. Evolução do Estado: Eles devem raciocinar sobre estados de gráficos em mudança contínua, integrando observações de múltiplos passos de interação.
3. Localização: Eles devem localizar com precisão elementos interativos (por exemplo, dicas de ferramenta, legendas, controles deslizantes) em meio a layouts de página complexos, o que é difícil quando os gráficos estão incorporados em contextos mais amplos de painéis de controle.

Os benchmarks estáticos existentes falham em avaliar essas capacidades, pois não exigem que os modelos executem ações sequenciais ou observem mudanças de estado.

Metodologia

1. O Benchmark ChartAct

Os autores propõem o ChartAct, um benchmark interativo projetado para avaliar a compreensão de gráficos dinâmicos. O benchmark consiste em:

• Coleta de Dados: 673 gráficos dinâmicos foram rastreados a partir de 8 bibliotecas de criação de gráficos do mundo real (por exemplo, Apache ECharts, Highcharts, Plotly, AntV G2). Esses gráficos foram filtrados manualmente para garantir semântica de dados clara, comportamentos interativos ricos e valor analítico.
• Construção de Perguntas: 1.440 pares de perguntas e respostas de alta qualidade foram construídos. As perguntas foram geradas usando GPT-5 e rigorosamente revisadas para garantir que:
  • Não possam ser respondidas apenas a partir da visualização estática inicial (exigindo interação).
  • Não dependam de HTML/dados ocultos que não possam ser acessados através de interações de UI observáveis.
  • Cubram tarefas diversas: QA de estado visível, informações reveladas por interação, comparação entre estados e integração de evidências de múltiplos gráficos.
• Ambientes de Avaliação: Cada amostra é instanciada em dois ambientes distintos para testar diferentes níveis de dificuldade:
  • Gráfico Dinâmico (DC): Um ambiente limpo onde o gráfico é exibido diretamente na página.
  • Gráfico de Painel (DB): O mesmo gráfico é incorporado em uma página de painel gerada contendo títulos, cartões de métricas e outros módulos visuais. Isso testa a capacidade do modelo de localizar o gráfico-alvo e ignorar distratores visuais.

2. Configuração Experimental

O benchmark avalia 11 modelos multimodais avançados e agentes de GUI (incluindo modelos proprietários como Claude-Opus-4.7, GPT-5.5, e modelos de código aberto como Kimi-K2.5, série Qwen e Gemma).

• Framework Unificado: Todos os modelos operam dentro de um ambiente interativo unificado baseado no framework OSWorld. Os modelos observam capturas de tela, executam ações pyautogui (clique, passar o mouse, rolar) e submetem respostas finais.
• Métrica de Avaliação: O desempenho é medido pela Taxa de Sucesso, determinada por um juiz LLM (DeepSeek-v4-pro) que compara a resposta final do modelo com a verdade fundamental. Um mecanismo de votação majoritária (3 votos, 2 necessários) é usado para garantir estabilidade.
• Construção de Subconjunto: Para modelos de alto custo, um subconjunto representativo de 300 amostras foi construído usando um algoritmo de seleção gulosa baseado no desempenho do modelo piloto para preservar a distribuição de dificuldade e a cobertura de tipos de gráficos, reduzindo ao mesmo tempo os custos de avaliação.

Principais Resultados

1. Desempenho Geral

A compreensão de gráficos dinâmicos permanece um desafio significativo para os modelos atuais:

• Melhor Desempenho: Claude-Opus-4.7 alcançou a maior taxa média de sucesso de 84,5%.
• Lacuna de Desempenho: Há uma lacuna clara entre o modelo principal e os demais. GPT-5.5 obteve 58,3%, enquanto a maioria dos modelos de código aberto e outros modelos proprietários obteve menos de 60% (por exemplo, Qwen3.6-Plus em 39,2%, Gemma-4-31B-IT em 23,1%).
• Limitações de Código Aberto: Excluindo o Kimi-K2.5 de grande escala (66,0%), o melhor modelo de código aberto (Qwen3.5-122B-A10B) alcançou apenas 41,9%, indicando um espaço substancial para melhoria na comunidade de código aberto.

2. Impacto do Ambiente (DC vs. DB)

O ambiente Gráfico de Painel (DB) reduziu consistentemente o desempenho em todos os modelos em comparação com o ambiente limpo Gráfico Dinâmico (DC).

• Sensibilidade ao Contexto: Modelos como Gemini-3.1-Pro e Qwen3.6-Plus sofreram quedas massivas (30,0% e 30,8%, respectivamente) no ambiente DB, sugerindo que lutam para transferir habilidades de gráficos limpos para contextos complexos de painéis de controle.
• Robustez: O modelo mais forte, Claude-Opus-4.7, mostrou a maior resiliência, com uma queda de apenas 1,7% no ambiente DB.

3. Análise por Tipo de Gráfico

• Gráficos de Linha: Mostraram a maior queda de desempenho ao passar de DC para DB, provavelmente devido à complexidade de acionar dicas de ferramenta ao longo de eixos contínuos e distinguir linhas adjacentes em layouts desordenados.
• Gráficos de Pizza: Embora geralmente com desempenho mais baixo, mostraram a menor queda no DB. No entanto, muitos modelos falharam em gráficos de Pizza ao adivinhar confiantemente valores a partir de porcentagens visíveis sem interagir para revelar dados precisos.
• Sem Ordem Fixa: A dificuldade dos tipos de gráficos variou conforme a arquitetura do modelo; por exemplo, Claude-Opus-4.7 teve o melhor desempenho em gráficos de Pizza, enquanto GPT-5.5 teve o melhor desempenho em gráficos de caixa.

4. Análise de Falhas

Os autores identificaram três modos de falha primários:

1. Falha em Extrair Evidências: Os modelos responderam diretamente a partir da captura de tela inicial sem acionar as interações necessárias.
2. Interacões Mal Localizadas: Os modelos inferiram corretamente a necessidade de interação, mas miraram no elemento errado (por exemplo, passando o mouse sobre um ponto de dados vizinho).
3. Má Identificação do Objeto Alvo: Em ambientes de painel, os modelos confundiram o gráfico-alvo com componentes circundantes (por exemplo, cartões de métricas ou títulos).

Significado e Alegações

O artigo afirma que o ChartAct fornece um novo campo de teste necessário para estudar a compreensão de gráficos em ambientes interativos reais. Seu significado reside em:

• Preenchendo a Lacuna: Avançar além da análise de imagem estática para avaliar o ciclo completo de interação, observação e raciocínio exigido na análise de dados do mundo real.
• Revelando Limitações: Demonstrar que os modelos mais avançados atuais, mesmo os proprietários mais fortes, têm limitações claras na compreensão de gráficos dinâmicos, particularmente em operações de granularidade fina e aquisição de evidências.
• Padronizando a Avaliação: Oferecer um ambiente controlável, reproduzível e realista (via framework baseado no OSWorld) que preserva a complexidade de gráficos reais enquanto permite a avaliação sistemática.

Os autores concluem que gráficos dinâmicos introduzem requisitos de avaliação que vão além da compreensão de gráficos estáticos, necessitando de modelos capazes de interação estratégica e rastreamento de estado.