VectorGym: A Multitask Benchmark for SVG Code Generation, Sketching, and Editing

Resumo Técnico: VectorGym

1. O Problema

Os gráficos vetoriais escaláveis (SVG) são fundamentais na web e em ferramentas de design, pois funcionam como programas que expõem geometria, estilo e estrutura, permitindo edição precisa e renderização escalável. Apesar dos avanços recentes em Modelos de Linguagem e Visão (VLMs), a avaliação da geração de SVG permanece limitada:

• Falta de Benchmarks Realistas: Os conjuntos de dados existentes frequentemente focam em ícones simples ou formas básicas, dependendo de edições sintéticas (geradas por código) que não capturam a complexidade do fluxo de trabalho de design profissional.
• Ausência de Anotações Humanas de Ouro: Poucos benchmarks possuem anotações feitas por humanos para tarefas complexas como edição de instruções ou geração a partir de esboços.
• Dificuldade em Tarefas Específicas: Não há uma avaliação unificada que teste simultaneamente a compreensão visual, a geração de código vetorial e a manipulação estruturada de SVG em cenários do mundo real.

2. Metodologia e o Benchmark VectorGym

O artigo apresenta o VectorGym, uma suíte abrangente de benchmarks de múltiplas tarefas, construída a partir de SVGs reais extraídos do GitHub (via dataset SVG-Stack), cobrindo ícones, diagramas, emojis, fontes e ilustrações complexas. O benchmark consiste em quatro tarefas principais, todas com anotações de alta qualidade feitas por especialistas humanos:

1. VG-Sketch (Sketch2SVG): Converter esboços desenhados à mão (bitmap) em código SVG limpo e escalável. Isso testa o raciocínio espacial e a abstração de formas imperfeitas para primitivas geométricas.
2. VG-Edit (SVG Editing): Aplicar instruções de edição em linguagem natural a um SVG existente. Diferente de benchmarks anteriores que usam edições sintéticas simples, o VG-Edit envolve edições complexas de múltiplos passos, exigindo compreensão semântica (ex: alterar expressões faciais, converter tipos de gráficos, adicionar objetos com lógica de design).
3. VG-Text (Text2SVG): Gerar código SVG completo a partir de descrições textuais, variando de formas geométricas simples a ilustrações complexas.
4. VG-Cap (SVG Captioning): O inverso da geração; analisar o código SVG existente e gerar descrições textuais precisas que capturam o conteúdo visual, estilo e características chave.

Métricas de Avaliação (VLM-as-a-Judge):
Para superar as limitações das métricas tradicionais (como MSE de pixels), os autores introduzem uma métrica específica VLM-as-a-Judge (VLMAJ). Eles validaram que modelos de linguagem visual (como Gemini 3 Pro e GPT-5.1) podem atuar como juízes confiáveis, correlacionando-se fortemente com avaliações humanas para avaliar fidelidade visual, aderência à instrução e correção estrutural.

3. Contribuições Principais

1. Novo Benchmark Multitarefa: Introdução do VectorGym, o primeiro benchmark a cobrir geração, edição e compreensão de SVG com anotações humanas de padrão ouro em todas as tarefas.
2. Tarefa e Dataset Inovadores: Lançamento da tarefa Sketch2SVG e do primeiro dataset de edições de SVG complexas e autoradas por humanos, que exigem raciocínio de múltiplos passos e intenção de design, indo além de transformações geométricas simples.
3. Método de Aprendizado por Reforço (RL): Proposição de uma abordagem de Aprendizado por Reforço com Feedback de Renderização (RLRF).
   • O modelo Qwen3-VL 8B é treinado simultaneamente nas quatro tarefas.
   • Utiliza o algoritmo GRPO (Group Relative Policy Optimization) com curriculum learning (ordenando amostras por complexidade/longitudinalidade).
   • As recompensas são calculadas renderizando o SVG gerado e comparando com o ground truth usando métricas perceptuais (LPIPS, DINO) e de similaridade de texto (BGE-M3).
4. Avaliação Abrangente: Análise extensiva de modelos de ponta (proprietários e open-source), revelando lacunas significativas de desempenho e estabelecendo novos padrões de referência.

4. Resultados

Os experimentos foram realizados em uma variedade de modelos, incluindo proprietários (Gemini 3 Pro, GPT-5.1, Claude 4.5) e open-source (Qwen2.5/3, GLM4.5).

• Desempenho Geral: O Gemini 3 Pro liderou o ranking geral com uma pontuação de 73.17, seguido pelo GPT-5.1 (71.36), estabelecendo-se como o modelo mais capaz para raciocínio código-visual multimodal.
• Superação do Open-Source: O modelo Qwen3-VL 8B Gym (treinado com RL no VectorGym) alcançou resultados notáveis:
  • VG-Sketch: Pontuação de 70.72, superando o GPT-4o (69.55) e o modelo muito maior Qwen3-VL 235B (67.52).
  • VG-Edit: Pontuação de 82.81, superando o GPT-4o (82.35) e aproximando-se dos modelos proprietários de ponta.
  • VG-Text: Pontuação de 63.60, empatando com o GPT-4o (63.09) e superando o Qwen3-VL 235B.
  • Conclusão: O treinamento com RL e curriculum learning permitiu que um modelo pequeno (8B) superasse modelos muito maiores e modelos proprietários em tarefas específicas de geração de código vetorial.
• Hierarquia de Dificuldade: Os resultados estabeleceram uma ordem de dificuldade clara: Text2SVG (mais fácil) > SVG Editing > Sketch2SVG > SVG Captioning (mais difícil).

5. Significado e Impacto

O VectorGym representa um marco significativo para o campo de geração de código visual:

• Padrão de Avaliação Rigoroso: Estabelece um novo padrão para avaliar a capacidade de VLMs de entender e manipular código vetorial complexo, indo além da simples reconstrução de imagens.
• Validação de RL para Código: Demonstra que o Aprendizado por Reforço baseado em renderização é uma estratégia eficaz para alinhar modelos de linguagem com tarefas de geração de código estruturado, permitindo que modelos menores alcancem desempenho de ponta.
• Aplicabilidade Prática: Ao focar em edições complexas e esboços reais, o benchmark reflete melhor as necessidades de designers profissionais, facilitando o desenvolvimento de assistentes de IA mais úteis para fluxos de trabalho de design vetorial.
• Disponibilidade: O dataset e os modelos treinados estão publicamente disponíveis no HuggingFace, promovendo pesquisa reprodutível e avanços futuros na área.

Em suma, o VectorGym preenche uma lacuna crítica ao fornecer um ambiente de avaliação realista e desafiador, impulsionando o desenvolvimento de modelos capazes de realizar tarefas complexas de design vetorial assistido por IA.