Resumo Técnico: VisEditBench

Declaração do Problema

Embora os Modelos de Linguagem de Visão (VLMs) tenham demonstrado fortes capacidades na geração de código de visualização do zero (texto-para-visualização) ou na reconstrução de código a partir de imagens de gráficos (gráfico-para-código), eles têm sido avaliados majoritariamente em tarefas de geração de passo único (one-shot). A autoria de visualizações no mundo real é inerentemente iterativa; usuários frequentemente precisam revisar visualizações existentes para reparar falhas, melhorar a legibilidade ou adaptar estilos com base em feedback multimodal.

Os benchmarks atuais não capturam esse fluxo de trabalho de edição iterativa. Eles não avaliam a capacidade dos modelos de receber um código de visualização existente, uma imagem do gráfico renderizado (frequentemente com falhas visuais ou regiões marcadas) e instruções em linguagem natural para produzir um código revisado e executável que preserve a semântica dos dados enquanto corrige problemas visuais. Essa lacuna deixa o desafio da "edição de código visualmente fundamentada" amplamente inexplorado.

Metodologia

1. Conjunto de Dados VisEditBench

Os autores introduzem o VisEditBench, um benchmark composto por 1.395 tarefas de edição de código de visualização anotadas por humanos. O conjunto de dados é construído a partir de duas fontes primárias para garantir o realismo:

• Problemas do mundo real: 120 casos coletados manualmente do Stack Overflow e de problemas do GitHub (Matplotlib/Vega-Lite) envolvendo bugs relatados por usuários.
• Falhas de modelos: Casos gerados ao executar novamente modelos de fronteira e de código aberto no benchmark Text2Vis, onde os outputs gerados exibiram erros visuais, semânticos ou de apresentação.

Formulação da Tarefa:
Cada tarefa $x_i$ é definida como $(c_i, I_i, u_i, c'_i)$, onde:

• $c_i$: Código de visualização de entrada.
• $I_i$: Imagem do gráfico renderizado (um gráfico com erro/marcado ou um gráfico de referência).
• $u_i$: Instrução de edição em linguagem natural.
• $c'_i$: Código revisado alvo e executável.

Configurações de Edição:
O benchmark cobre dois cenários práticos:

1. Reparo guiado por feedback: O modelo recebe um gráfico falho e feedback textual para reparar a visualização preservando a intenção.
2. Reestilização guiada por referência: O modelo recebe uma imagem de gráfico alvo e deve adaptar o código original para corresponder ao estilo de referência sem alterar a semântica dos dados.

Taxonomia:
As tarefas são categorizadas em oito intenções de edição: Reparo de Correção, Melhoria de Qualidade, Robustez/Generalização, Adaptação de Estilo, Satisfação de Restrições, Harmonização de Consistência, Refatoração/Transformação e Reparo de Erro Sensível ao Estilo. O conjunto de dados abrange diversos tipos de gráficos (Barras, Linhas, Boxplot, Dispersão, etc.) e bibliotecas (Matplotlib e Vega-Lite).

2. Estrutura de Avaliação

Os autores propõem uma avaliação estruturada que mede:

• Execução de Código: Se o código roda e renderiza um gráfico válido.
• Precisão da Tarefa: Se a edição satisfaz a instrução enquanto preserva a semântica.
• Legibilidade e Clareza: Legibilidade de rótulos, legendas e eixos.
• Qualidade Visual: Apresentação geral, layout e polimento.
• Similaridade Visual: Alinhamento com o gráfico alvo/referência.
• Taxa de Aprovação Final (Final Pass Rate): Uma métrica estrita que exige execução bem-sucedida, alta precisão de tarefa (≥4.5), alta legibilidade/qualidade (≥4.0) e alta similaridade visual (≥90).

Um avaliador automático baseado em VLM (GPT-4o, ou Gemini 2.5 Pro para outputs do GPT-4o para evitar viés) é utilizado com uma rubrica fixa, validada contra julgamentos humanos.

3. VisEditAgent

Para estabelecer uma linha de base (baseline) forte e demonstrar o valor do refinamento iterativo, os autores propõem o VisEditAgent. Ao contrário do prompting zero-shot, este framework imita o fluxo de trabalho humano iterativo:

1. Planejamento de Edição: Identifica problemas visuais e regiões de código relevantes.
2. Geração de Candidatos: Gera múltiplas variações de código.
3. Execução e Renderização: Executa os candidatos para produzir outputs visuais.
4. Validação Visual: Avalia os candidatos em relação à instrução e à referência.
5. Refinamento: Refina iterativamente o melhor candidato com base em diagnósticos de execução e feedback visual.

Principais Resultados

Desempenho Zero-Shot

Os autores avaliaram 20 VLMs de última geração (tanto de código aberto quanto de código fechado).

• Lacuna de Desempenho: Existe uma lacuna significativa entre gerar código executável e realizar edições visualmente fiéis. Mesmo o melhor modelo, Claude-4.6-Sonnet, alcançou uma taxa de aprovação geral de 74,46% em configurações zero-shot, enquanto a maioria dos modelos de código aberto permaneceu abaixo de 50%.
• Executabilidade vs. Fidelidade Visual: Modelos fortes frequentemente produzem código executável (ex: Claude-4.6-Sonnet: 96,19% de sucesso de execução), mas falham na similaridade visual (89,42%), indicando que têm dificuldade em preservar a fidelidade do layout e o alinhamento estilístico.
• Dificuldade da Tarefa: O desempenho varia drasticamente conforme a intenção. Os modelos performam relativamente bem em reparo de correção (70,34% para o Claude-4.6-Sonnet), mas lutam significamente com a adaptação de estilo visualmente fundamentada em configurações zero-shot, onde até o melhor modelo alcança apenas 55,71%.

Resultados do VisEditAgent

Usando o GPT-4o como modelo base, o VisEditAgent melhorou a taxa de aprovação geral de 55,75% (zero-shot) para 67,99%.

• Refinamento Iterativo: Os maiores ganhos foram observados em tarefas visualmente fundamentadas. A adaptação de estilo melhorou de 10,00% (GPT-4o zero-shot) para 62,85%, e a harmonização de consistência de 47,46% para 64,41%.
• Ablação: Remover a geração de múltiplos candidatos ou a etapa de refinamento degradou significativamente o desempenho, confirmando que a validação iterativa contra o feedback renderizado é crítica para uma edição bem-sucedida.

Significância e Contribuições

O artigo reivindica quatro contribuições primárias:

1. VisEditBench: O primeiro benchmark especificamente para avaliar a edição de código de visualização a partir de feedback multimodal, cobrindo 1.395 tarefas através de diversas intenções e bibliotecas.
2. Avaliação Estruturada: Um framework abrangente que mede executabilidade, precisão da tarefa, legibilidade, qualidade visual e similaridade visual, indo além de simples métricas de geração de código.
3. Análise Empírica: Avaliações zero-shot de 20 VLMs revelando que, embora os modelos possam gerar código, eles carecem do raciocínio multimodal necessário para uma edição de visualização fiel e iterativa, particularmente na adaptação de estilo.
4. VisEditAgent: Uma baseline fundamentada em renderização demonstrando que a geração iterativa, execução e validação visual melhoram significativamente o desempenho da edição, sugerindo que a autoria de visualizações confiável requer loops de raciocínio multimodal em vez de geração de passo único.

Os autores concluem que o VisEditBench e o VisEditAgent estabelecem uma fundação para o desenvolvimento de sistemas de visualização alinhados ao usuário e conscientes de feedback, destacando que o campo deve ir além da geração de passo único para abordar a natureza iterativa da visualização de dados no mundo real.