ChartEditBench: Evaluating Grounded Multi-Turn Chart Editing in Multimodal Language Models

1. O Problema

Embora os Modelos de Linguagem Multimodal (MLLMs) demonstrem alto desempenho na geração de gráficos em interações únicas (single-turn), sua capacidade de suportar fluxos de trabalho reais de análise exploratória de dados permanece subexplorada. Na prática, usuários refinam visualizações iterativamente através de múltiplas interações, exigindo que o modelo mantenha um "terreno comum" (contexto compartilhado), rastreie edições anteriores e se adapte a preferências em evolução.

Os benchmarks atuais focam predominantemente na geração de gráficos do zero ou na compreensão de gráficos estáticos, ignorando a complexidade de editar especificações existentes. Além disso, as metodologias de avaliação existentes (como LLM-as-a-Judge ou métricas baseadas em embeddings como CLIP) apresentam limitações: tendem a produzir pontuações com baixa variância, dependem de heurísticas superficiais e falham em capturar discrepâncias semanticamente significativas entre o gráfico gerado e o alvo.

2. Metodologia e Dataset (ChartEditBench)

Os autores introduzem o ChartEditBench, um benchmark sintético projetado para avaliar a edição incremental de código de gráficos.

• Estrutura do Dataset:

  • Composto por 5.000 cadeias de modificação controladas por dificuldade, com um subconjunto de 430 exemplos verificados por humanos para garantir precisão.
  • O dataset abrange 37 tipos de gráficos (matplotlib) e 35 tipos de modificações divididas em duas categorias: Estilo (17 tipos, ex: cores, fontes) e Dados (18 tipos, ex: filtragem, agregação, conversão de tipo de gráfico).
  • Cada instância possui uma sequência de 6 turnos (1 inicial + 5 modificações), totalizando 20.710 amostras de modificação.

• Definição das Tarefas:

  1. Modificação de Código para Código (Code-to-Code): Dado o código original, o gráfico original e o gráfico alvo, o modelo deve gerar o código modificado.
  2. Modificação por Delta em Linguagem Natural (NL Delta): Dado o código original, o gráfico original e uma instrução em linguagem natural descrevendo a mudança, o modelo deve gerar o novo código.

• Pipeline de Geração: Um pipeline automatizado gera gráficos iniciais, aplica modificações sequenciais com dificuldade crescente (de mudanças de estilo simples a transformações complexas de dados) e valida a execução do código em um ambiente Python isolado.

3. Contribuições Principais

1. Novo Benchmark: Formalização da edição incremental de código de gráficos como uma tarefa de benchmark, focada em transições de estado fiéis em múltiplos turnos, ao invés de geração única.
2. Framework de Avaliação Híbrido e Robusto: Proposição de uma métrica composta que supera as limitações dos judges de LLM puros, integrando:
   • Verificação de Execução: Garante que o código seja executável e produza um gráfico válido.
   • Asserções Estruturadas: Verifica a aderência a instruções específicas (ex: marker='*') e a qualidade do código (ex: presença de imports, fechamento de figuras).
   • Similaridade Visual Fundamentada: Utiliza um modelo de visão para enumerar explicitamente as diferenças visuais entre o gráfico gerado e o alvo (diferenças maiores e menores), fornecendo feedback interpretável.
3. Protocolo Conversacional: Avaliação em múltiplos turnos onde a saída do modelo em um turno se torna a entrada do próximo, testando a acumulação de erros e a robustez do estado compartilhado.

4. Resultados Experimentais

Os autores avaliaram seis modelos (incluindo GPT-5-mini, Claude Haiku 4.5, Qwen3-VL e InternVL3) no benchmark:

• Desempenho Geral: O Claude Haiku 4.5 obteve a melhor pontuação geral (2.187), destacando-se na similaridade visual. O GPT-5-mini liderou no seguimento de instruções, mas teve desempenho inferior na fidelidade visual. Entre os modelos de código aberto, o Qwen3-VL-30B-A3B (com arquitetura MoE e apenas 3B de parâmetros ativos) mostrou desempenho competitivo.
• Degradação em Múltiplos Turnos: Houve uma queda consistente de desempenho (20–33%) do turno 1 ao turno 5. Modelos menores sofreram mais com a acumulação de erros, e a lacuna de desempenho entre os melhores e piores modelos aumentou ao longo da conversa.
• Dificuldade por Tipo de Modificação:
  • Modificações de estilo (ex: mudar cor, rótulos) foram as mais fáceis para todos os modelos.
  • Modificações centradas em dados (ex: média móvel, transformações matemáticas) foram extremamente desafiadoras, com todos os modelos obtendo pontuações baixas. Erros comuns incluíam cálculos de janela incorretos e manipulação errônea de estruturas de dados.
• Taxa de Sucesso de Renderização: Modelos proprietários alcançaram 85–90% de sucesso na renderização, enquanto modelos de código aberto variaram de 46% a 90%, dependendo da complexidade da tarefa. A complexidade da modificação impactou diretamente a validade do código gerado.
• Avaliação Híbrida: Modelos que se saíram bem em instruções programáticas (assertivas) nem sempre se saíram bem em instruções semânticas (avaliadas por LLM), validando a necessidade de uma abordagem de avaliação mista.

5. Significado e Implicações

O ChartEditBench estabelece um novo padrão para avaliar a capacidade de programação multimodal fundamentada e raciocínio iterativo. Os resultados indicam que, embora os MLLMs atuais sejam proficientes na geração de gráficos em uma única etapa, eles enfrentam limitações substanciais em fluxos de trabalho de edição iterativa, especialmente em operações que exigem raciocínio numérico e manipulação de dados complexos.

O estudo destaca que:

1. A acumulação de erros é um fator crítico em cenários reais de múltiplos turnos.
2. Existe uma lacuna entre a compreensão visual e o raciocínio numérico nos modelos atuais.
3. Arquiteturas eficientes (como MoE) podem oferecer bons compromissos entre capacidade e custo computacional.

Este benchmark serve como um teste desafiador para o desenvolvimento de agentes de edição de gráficos conversacionais e para o avanço do raciocínio multimodal sobre código, imagens e instruções.