🤖 AI

Vector-Bench: Can Models Surgically Edit SVG Code?

O artigo apresenta o Vector-Bench, um benchmark rigoroso de 40 tarefas de reparo de SVG projetado para avaliar a edição vetorial baseada em instruções, revelando que até mesmo os modelos mais fortes têm dificuldade em aplicar mudanças solicitadas de forma cirúrgica sem alterar elementos não solicitados, alcançando apenas 15,0% de sucesso de especificação total.

Autores originais: Yug Aditi Gupta, Prannay Hebbar

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yug Aditi Gupta, Prannay Hebbar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ser um artista digital. Você dá a ele uma imagem feita de código — como um desenho digital construído a partir de instruções, em vez de tinta — e diz: "Ei, o sol nesta imagem está grande demais; diminua-o, mas não toque nas nuvens ou nas montanhas". Este é o mundo dos gráficos vetoriais. Ao contrário de uma foto padrão, que é apenas uma grade de pontos coloridos, uma imagem vetorial é um programa vivo. É uma lista de comandos dizendo a um computador como desenhar linhas, formas e cores. Por ser código, se o robô alterar a linha errada, ele não apenas faz a imagem parecer estranha; ele pode quebrar o arquivo inteiro, tornando impossível abri-lo ou editá-lo mais tarde.

A grande questão que os cientistas estão fazendo é: será que esses modelos de IA conseguem realmente seguir instruções para consertar uma parte específica deste código sem estragar o resto? É um pouco como pedir a um chef para substituir o sal em uma sopa sem alterar a temperatura, a panela ou a receita do pão que acompanha o prato. Se a IA apenas fizer a sopa ter um gosto bom, mas queimar o pão, é uma falha, mesmo que a sopa pareça boa. Este é o desafio da edição baseada em instruções: fazer exatamente o que foi pedido, e apenas o que foi pedido, mantendo a estrutura invisível do código perfeita.

Apresentamos o Vector-Bench, um teste novo e complexo projetado para ver se os modelos de IA podem realmente ser editores cirúrgicos. Os pesquisadores criaram 40 quebra-cabeças específicos onde uma imagem SVG é "corrompida" — talvez a porta de um trem esteja flutuando no lugar errado, ou uma água-viva tenha perdido seus tentáculos. Eles deram aos modelos de IA uma instrução simples, em linguagem humana, como: "O sinal âmbar apagou; conserte-o e deixe a estação em paz". Os modelos tinham que reescrever o código para consertar o sinal sem mover acidentalmente o trem, deletar a plataforma da estação ou quebrar o formato do arquivo.

Os resultados foram um choque de realidade. Os pesquisadores testaram 34 modelos de IA diferentes, variando de modelos pequenos e baratos até os modelos de "fronteira" mais poderosos disponíveis. O modelo com melhor desempenho, o Claude Sonnet 5, conseguiu realizar o trabalho inteiro perfeitamente — consertando o erro, mantendo todo o resto seguro e produzindo um arquivo válido — apenas 15,0% das vezes. Isso mesmo: até o modelo mais inteligente falhou em seguir as instruções completas em mais de 8 de cada 10 tentativas.

No entanto, a história não é apenas sobre falha; é sobre como eles falharam. O artigo descobriu que os modelos eram, na verdade, bastante bons na parte de "consertar". Em média, eles fizeram progressos visíveis nos reparos solicitados cerca de 43,7% das vezes. Eles podiam frequentemente tornar o sinal mais brilhante ou mover a porta para mais perto. Mas eles eram terríveis na parte de "deixar o resto em paz". Eles frequentemente renomeavam coisas que não deveriam, deslocavam objetos não relacionados ou quebravam a estrutura do código, de modo que o arquivo se tornava inválido.

O estudo descarta explicitamente a ideia de que "parecer bom" é o mesmo que "funcionar corretamente". Um modelo pode produzir uma imagem que parece consertada para o olho humano, mas se o código subjacente foi reescrito ou danificado, é uma falha. Os pesquisadores provaram isso usando um juiz computadorizado rigoroso que verifica não apenas a imagem, mas o próprio código. Eles descobriram que, embora os modelos possam fazer alguns reparos, a capacidade de editar o código de forma cirúrgica sem danos colaterais ainda é um enorme obstáculo.

Em suma, o artigo sugere que, embora a IA esteja ficando melhor em desenhar e consertar imagens, ela ainda tem dificuldade em ser uma editora precisa e cuidadosa do código que faz essas imagens funcionarem. A lacuna entre "fazer uma mudança" e "fazer a mudança certa sem quebrar nada mais" permanece ampla. Os autores disponibilizaram todos os seus dados, códigos e resultados, mostrando que mesmo os modelos mais caros e poderosos são atualmente mais como estagiários entusiasmados que consertam o problema, mas acidentalmente derrubam a estante de livros, do que os cirurgiões precisos de que precisamos para a edição de arte digital.

Resumo Técnico: Vector-Bench

Definição do Problema
A edição de vetores baseada em instruções exige que um modelo execute uma mudança específica enquanto preserva toda a estrutura de código circundante. Embora as métricas de geração de imagens rasterizadas frequentemente julguem o sucesso com base na aparência visual final, essa abordagem é insuficiente para Gráficos Vetoriais Estruturados (SVG). No SVG, diferenças "cosméticas" — como renomear elementos, reescrever dados de caminho (path data), deslocar objetos não relacionados ou deletar metadados — alteram a semântica do artefato executável. Os benchmarks atuais frequentemente falham em distinguir entre um modelo que editou com sucesso um defeito visual e um que inadvertidamente corrompeu a estrutura do programa subjacente. O desafio central é definir um sinal de recompensa que verifique simultaneamente os reparos solicitados, imponha a preservação semântica dos elementos não solicitados e garanta que a saída permaneça um SVG válido e utilizável.

Metodologia: Vector-Bench
Os autores introduzem o Vector-Bench, um benchmark compacto e de alta densidade composto por 40 tarefas de reparo de SVG. O benchmark é projetado para testar capacidades de edição "cirúrgica" através dos seguintes componentes:

Estrutura da Tarefa: Cada tarefa $\tau$ pareia um SVG corrompido ( $S_0$ ) com uma instrução em linguagem natural escrita pelo autor ( $x$ ). A instrução descreve defeitos visíveis (ex: "o sinal âmbar ficou escuro") sem expor identificadores de DOM, coordenadas, códigos de cores ou dados de caminho. O ground truth é um SVG alvo oculto ( $S^*$ ).
Anotações: O conjunto de dados inclui 202 reparos anotados em 40 tarefas (média de 5,05 reparos por tarefa) e define um conjunto de "objetos protegidos" (média de 60,55 por tarefa) que devem permanecer inalterados.
Avaliação Executável: Os autores propõem uma recompensa de especificação binária determinística ( $R_{spec}$ $R_{s p ec}$ ) baseada em um sistema de três portões (gates):
1. Portão de Validade: A saída deve ser um SVG bem formado, válido e com referências resolvíveis.
2. Portão de Edição Solicitada: Para cada edição solicitada $e$ , um predicado sensível a atributos verifica a saída contra o alvo. Isso utiliza tolerâncias perceptuais (ex: CIE Lab $\Delta E_{76}$ para cor, RMS para coordenadas e amostragem de caminho) em vez de correspondência exata de strings, permitindo comandos SVG equivalentes que produzem o mesmo resultado visual.
3. Portão de Preservação: A parte não solicitada do documento (mascarada pelas localizações da edição) deve permanecer semanticamente inalterada. Isso verifica a integridade estrutural, a ordem dos elementos e a ausência de modificações não pretendidas nos objetos protegidos.
Métricas Diagnósticas: Além do passar/falhar binário, o framework rastreia o "Progresso do Reparo" (o quão próximo a saída está do alvo dentro das tolerâncias) e a "Taxa de Mudança Não Intencionada" (UCR) para quantificar o dano colateral.

Principais Contribções

Um Corpus Congelado: Um conjunto denso de 40 tarefas de reparo de SVG descritas pelos autores com edições pretendidas explícitas e amplas superfícies de preservação, onde as instruções dependem exclusivamente de descrições visuais.
Um Avaliador Transparente: Um protocolo de avaliação executável que combina verificações de edição tolerantes com preservação semântica estrita e portões de validade, evitando juízes aprendidos ou classificadores baseados em modelos.
Avaliação Abrangente: Um estudo reproduzível de 34 endpoints de modelos (25 de pesos abertos, 5 controles econômicos e 4 modelos fechados de fronteira) sobre 1.360 requisições, liberando todos os prompts, saídas, código de pontuação e custos.
Análise de Lacuna Empírica: Um relato detalhado da divergência entre completar reparos visíveis e preservar a estrutura completa do programa vetorial.

Resultos
A avaliação de 34 modelos revela uma lacuna significativa entre a capacidade de reparo visual e a edição fiel à especificação:

Baixo Sucesso Total: O endpoint mais forte, Claude Sonnet 5, alcançou apenas 15,0% de sucesso total na especificação (satisfazendo os três portões). Em todos os 1.360 resultados, apenas 2,35% passaram por todos os portões.
Alto Progresso Parcial: Apesar do baixo sucesso total, o melhor modelo alcançou 43,7% de progresso médio de reparo, indicando que os modelos frequentemente realizam as mudanças visuais solicitadas, mas falham na preservação ou validade.
Problemas de Validade e Preservação: Muitos modelos produziram SVGs inválidos ou introduziram mudanças não pretendidas. Para o melhor modelo, a validade do SVG foi de 62,5%, e a Taxa de Mudança Não Intencionada (UCR) da saída válida foi de 0,8%.
Modos de Falha: A maioria das falhas deveu-se a saídas incompletas ou inutilizáveis (ex: truncamento, XML inválido) ou mudanças colaterais em objetos protegidos, em vez de uma incapacidade total de editar o objeto alvo.
Custo vs. Capacidade: O estudo não encontrou correlação direta entre o custo do modelo e o desempenho; modelos de fronteira caros não superaram consistentemente alternativas menores ou mais baratas em termos de sucesso total na especificação.

Significância
O artigo afirma que o Vector-Bench expõe uma limitação crítica nos grandes modelos de linguagem atuais: a incapacidade de realizar edições locais em código estruturado sem comprometer a integridade do contexto circundante. Os resultados demonstram que o "progresso de reparo aparente" (corrigir o defeito visual) e a "edição fiel à especificação" (corrigir o defeito enquanto deixa o resto do programa intacto) são capacidades substancialmente diferentes. O benchmark fornece um padrão rigoroso e determinístico para avaliar a edição vetorial que vai além da similaridade visual baseada em raster, destacando a necessidade de os modelos compreenderem e preservarem melhor a estrutura semântica de artefatos executáveis. Os autores enfatizam que suas descobertas são estáveis através de mudanças moderadas de tolerância, sugerindo que a dificuldade é inerente à tarefa e não um artefato de critérios de avaliação estritos.

Mais como este