Resumo Técnico: VCG-Bench

Declaração do Problema

Apesar dos avanços rápidos nos Modelos Visão-Linguagem (VLMs), uma lacuna crítica de capacidade persiste no manuseio de tarefas diagramáticas estruturadas e controláveis, essenciais para fluxos de trabalho profissionais (por exemplo, fluxogramas, arquiteturas de sistemas, mockups de interface de usuário). As abordagens existentes dependem predominantemente de paradigmas "Diagrama-como-Pixels", utilizando pipelines de geração e edição rasterizados (por exemplo, modelos de difusão). Esses métodos operam em espaços de pixels probabilísticos, levando a limitações inerentes:

• Falta de Editabilidade: Modificações frequentemente exigem a regeneração de toda a imagem, causando desvio estrutural, linhas desfocadas, distorção de texto e elementos alucinados.
• Baixa Fidelidade: Eles lutam para preservar semânticas precisas, topologia lógica e saídas vetoriais exatas, necessárias para ferramentas profissionais como o Draw.io.
• Estocasticidade: O processo de geração é inerentemente estocástico, tornando difícil garantir conformidade com instruções e resultados determinísticos.

Os benchmarks atuais focam amplamente na geração de domínio único (por exemplo, gráficos, plots científicos) ou na compreensão visual, falhando em abordar os requisitos duplos de gerar código estruturado editável a partir de imagens e editar esse código com base em instruções em linguagem natural.

Metodologia

Os autores propõem um paradigma "Diagrama-como-Código", deslocando-se da manipulação de pixels para a lógica simbólica usando Linguagem de Marcação Extensível (XML) mxGraph. Este formato representa diagramas como entidades semânticas (nós e arestas) com restrições topológicas e geométricas explícitas, permitindo modificações precisas, de baixo custo e determinísticas.

Estrutura VCG-Bench

O VCG-Bench é um benchmark unificado projetado em torno de uma estrutura "Dados-Tarefa-Avaliação":

1. Construção do Conjunto de Dados

• Escala e Diversidade: Um conjunto de dados taxonomizado de 1.449 diagramas diversos abrangendo 6 domínios principais (Acadêmico, Software, Negócios, Gestão, UI/UX, Geral) e 15 subdomínios.
• Fontes: Os dados são curados de repositórios de código aberto (40%), artigos acadêmicos de acesso aberto (30%), diagramas corporativos anonimizados (20%) e diagramas da web com licença permissiva (10%).
• Garantia de Qualidade: Um pipeline "Geração por Máquina, Verificação por Humano" assegura completude estrutural, precisão de texto (>95% de correspondência OCR) e fidelidade de renderização (similaridade de cosseno >0,85 via SigLIP2).
• Estratificação de Dificuldade: As amostras são estratificadas por complexidade (Fácil, Médio, Difícil) com base na contagem de tokens para geração e no número de operações atômicas para edição.

2. Definições de Tarefa
O benchmark formaliza duas tarefas complementares que exigem saída XML mxGraph válida e analisável:

• Tarefa 1: Geração Visão-para-Código: Dada uma imagem rasterizada e uma legenda estruturada, o modelo gera uma string XML mxGraph válida que aproxima a fonte em estrutura, semântica e layout.
• Tarefa 2: Edição Instrução-para-Patch: Dado um XML mxGraph fonte, sua renderização e uma instrução em linguagem natural, o modelo prevê um Patch Diferencial (uma substituição baseada em JSON de fragmentos XML originais/modificados). Isso emprega uma Estratégia de Modificação Incremental para evitar regeneração completa dispendiosa em tokens e desvio estrutural.

3. Protocolo de Avaliação
Os autores introduzem um conjunto de avaliação multidimensional além da simples correspondência de texto:

• Executabilidade: A Taxa de Sucesso de Execução (ESR) mede validade sintática e capacidade de renderização.
• Fidelidade Visual:
  • Pontuação de Consistência de Estilo (SCS): Uma métrica baseada em VLM (escala 0-10) que avalia estilo visual, consistência de layout e qualidade estética.
  • Similaridade Visual SigLIP2: Similaridade de cosseno entre os embeddings de imagens renderizadas para capturar alinhamento estrutural de alto nível.
• Conformidade Semântica:
  • CodeXQA (Tarefa 1): Avalia a preservação topológica via perguntas e respostas sobre o XML gerado (Contagem, Identificação, Relação).
  • XDRFR (Tarefa 2): Razão de Seguimento de Requisitos Decompostos baseada em XML. As instruções são decompostas em perguntas de verificação Yes/No atômicas verificadas diretamente contra a estrutura XML modificada, evitando ambiguidades visuais.

Principais Contribuições

1. VCG-Bench: O primeiro benchmark unificado que preenche a lacuna entre visão e geração estruturada editável, visando especificamente o formato XML mxGraph usado em ferramentas profissionais de diagramação.
2. Conjunto de Dados Taxonomizado de Alta Qualidade: Uma coleção curada de 1.449 diagramas com proveniência, diversidade estrutural e estratificação explícita de dificuldade em múltiplos domínios.
3. Protocolo de Avaliação Abrangente: Métricas inovadoras (ESR, SCS, CodeXQA, XDRFR) que avaliam conjuntamente executabilidade, consistência de estilo e seguimento de instruções, permitindo a comparação rigorosa dos Modelos Visão-Linguagem (VLMs) de Estado da Arte (SOTA).
4. Mudança de Paradigma: Demonstra a eficácia da abordagem "Diagrama-como-Código" sobre "Diagrama-como-Pixels", mostrando que a representação simbólica permite edições precisas e localizadas que são inviáveis no espaço de pixels.

Resultados Experimentais

O benchmark avaliou modelos líderes de código fechado (Gemini-3-Pro, GPT-5.2, Claude-4.5) e de código aberto (série Qwen3-VL, GLM-4.6V, etc.).

• Visão-para-Código (Tarefa 1):

  • Domínio de Código Fechado: Modelos de código fechado (por exemplo, Gemini-3-Pro) alcançaram alta ESR (>0,96) e fortes pontuações perceptivas.
  • Limitações de Código Aberto: Modelos de código aberto falharam frequentemente na executabilidade (ESR frequentemente 0,00–0,35), apesar de compreensão semântica moderada (CodeXQA). O principal modo de falha foi o alinhamento de instância (contagem de elementos), levando a grafos topologicamente incorretos.
  • Sensibilidade à Dificuldade: O desempenho em modelos de código aberto degradou-se abruptamente à medida que a dificuldade da tarefa aumentava, enquanto modelos de código fechado mostraram degradação controlada.

• Edição Baseada em Instruções (Tarefa 2):

  • Alta Fidelidade: Quando fornecido com código estruturado, todos os modelos (tanto de código aberto quanto fechado) alcançaram ESR quase perfeita (>0,99) e SCS elevada.
  • Seguimento de Instruções: O XDRFR tornou-se a métrica discriminativa chave. O Gemini-3-Pro liderou com 0,9405, enquanto modelos de código aberto como Qwen3-VL-235B alcançaram 0,9312, estreitando a lacuna observada na Tarefa 1.
  • Validação de Paradigma: Os resultados confirmam que, uma vez que um diagrama é representado como código, a edição incremental restrita é um paradigma robusto e preciso, superando significativamente as linhas de base de edição baseadas em pixels (que caíram para 0,649 DRFR em tarefas difíceis).

Significado e Alegações

O artigo afirma que o VCG-Bench expõe limitações significativas nos VLMs SOTA atuais quanto ao parsing visual fino e satisfação de restrições sintáticas em fluxos de trabalho de engenharia profissional.

• Separação de Capacidades: O benchmark revela uma lacuna aguda entre "visão-para-código" (gerar estrutura a partir de pixels) e "código-para-código" (editar estrutura). Os modelos frequentemente falham em inferir estrutura a partir de imagens, mas podem editar efetivamente o código fornecido.
• Prontidão Profissional: Ao deslocar o foco da percepção passiva para a geração ativa de código editável, o VCG-Bench fornece um ambiente de teste reprodutível para avaliar a prontidão prática de agentes multimodais para tarefas de diagramação do mundo real.
• Motor de Dados: Além da avaliação, a estrutura serve como um motor de dados escalável para gerar pares visual-código de alta qualidade e verificados, abordando a escassez de dados diagramáticos estruturados para treinamento de VLMs.

Os autores enfatizam que, embora o paradigma "Diagrama-como-Código" ofereça superior controle e editabilidade, os modelos atuais ainda lutam com a tradução inicial de pixels não estruturados para representações simbólicas estruturadas, particularmente em diagramas complexos e intensivos em lógica.