Resumo Técnico: Vision2Code

Declaração do Problema

A geração de imagem para código avalia se um Modelo Visão-Linguagem (VLM) pode reconstruir a estrutura de uma imagem em código executável. Diferentemente da geração baseada em pixels, a saída em código é editável, verificável e reutilizável. No entanto, os benchmarks existentes sofrem de três limitações primárias:

1. Escopo Restrito: A maioria dos benchmarks foca em domínios visuais únicos (por exemplo, apenas gráficos ou apenas interfaces de usuário web).
2. Dependência de Código de Referência: Muitos exigem código de referência executável emparelhado para avaliação, limitando a aplicabilidade a conjuntos de dados onde os programas-fonte não estão disponíveis (por exemplo, documentos digitalizados, diagramas de livros didáticos).
3. Avaliação Genérica: Métricas existentes frequentemente dependem de rubricas genéricas ou similaridades de incorporação que falham em capturar erros de reconstrução específicos do domínio (por exemplo, ligações químicas incorretas, profundidade 3D colapsada ou topologia de gráfico errada).

Metodologia

Os autores introduzem o Vision2Code, um benchmark e framework de avaliação sem código de referência, projetado para avaliar a geração de imagem para código em 15 conjuntos de dados-fonte abrangendo seis domínios visuais: gráficos/diagramas, geometria, grafos, imagens científicas, documentos e cenas espaciais 3D.

Construção do Benchmark

• Escala: O benchmark contém 2.169 exemplos de teste (mais um subconjunto "test-mini" de 539 exemplos para avaliação de menor custo).
• Domínios: Os seis domínios são selecionados para expor desafios distintos de reconstrução:
  • Gráficos/Diagramas: Escalas de eixo, espaçamento de marcas e vinculação de legendas.
  • Geometria: Rotulagem de vértices/ângulos e adjacência espacial.
  • Grafos: Identidade de nós, conectividade de arestas e direcionalidade.
  • Imagens Científicas: Notação especializada (química, física, circuitos).
  • Documentos: OCR denso, estrutura de colunas e ordem de leitura.
  • Cenas Espaciais 3D: Identidade de objetos, ordenação de profundidade e relações espaciais.
• Fonte de Dados: Os exemplos são extraídos de conjuntos de dados públicos (por exemplo, ChartQA, DocVQA, ChemVQA-2K) onde os programas de renderização originais frequentemente não estão disponíveis.

Framework de Avaliação

Em vez de comparar o código gerado a um programa de referência, o Vision2Code avalia a saída renderizada do código gerado contra a imagem de origem.

1. Execução: O código Python gerado (usando Matplotlib/NumPy por padrão) é executado em um ambiente isolado. Código que falha na execução, expira o tempo ou não produz uma imagem válida recebe uma pontuação de 0,0.
2. Avaliador VLM: Renderizações bem-sucedidas são pontuadas por um avaliador VLM (Qwen3.5-122B) usando rubricas específicas do conjunto de dados.
   • Cada conjunto de dados possui uma rubrica única com quatro categorias ponderadas (somando 1,0).
   • As pontuações são atribuídas em uma escala de 0 a 5.
   • Controles de Segurança: Limites determinísticos são aplicados para prevenir altas pontuações para falhas semânticas graves (por exemplo, estrutura molecular errada, cenas 3D achatadas ou orientação de gráfico incorreta).
3. Diagnósticos: O framework separa o "sucesso da renderização" (execução do código) da "qualidade da reconstrução" (fidelidade visual).

Validação

Os autores validam o protocolo de avaliação contra julgamentos humanos e baselines automáticas:

• Alinhamento Humano: A rubrica específica do conjunto de dados alcança uma correlação de Pearson de 0,723 e Spearman de 0,703 com as classificações humanas.
• Baselines: Isso supera uma rubrica genérica (0,626/0,633) e baselines de similaridade de incorporação (0,407/0,498), demonstrando que critérios específicos do domínio são essenciais para uma avaliação precisa.

Resultados Principais

Os autores avaliaram nove modelos (cinco de pesos abertos, quatro proprietários) no benchmark.

• Desempenho Geral: O melhor modelo, GPT-5.4 Mini com raciocínio, alcançou uma pontuação média macro de 4,06/5,0 no conjunto de teste completo. Mesmo modelos de ponta mostram espaço significativo para melhoria.
• Dependência do Domínio: O desempenho varia drasticamente por domínio.
  • Os modelos se destacam em gráficos e grafos regulares (por exemplo, o GPT-5.4 pontua ~4,7 no DVQA e GraphVQA).
  • Os modelos lutam com domínios espaciais e simbólicos. A melhor pontuação no conjunto de dados 3D SpatialVLM-QA é apenas 2,42/5,0, e as pontuações de química (ChemVQA-2K) caem para ~0,74 em alguns modelos.
• Raciocínio: Habilitar capacidades de raciocínio melhora as pontuações em todos os modelos (por exemplo, o Qwen3.5-397B melhora de 2,27 para 2,95), mas não resolve completamente falhas nos domínios mais complexos (espacial, química).
• Análise de Erros:
  • Falhas de Execução: Variam por modelo; modelos menores frequentemente falham devido a sintaxe/truncamento, enquanto modelos maiores falham devido a APIs alucinadas ou incompatibilidades de forma.
  • Erros de Reconstrução: Uma vez que o código é executado, os erros deslocam-se para o conteúdo semântico (por exemplo, texto ausente, topologia errada).
• Auto-treinamento: Usar o avaliador para filtrar as saídas do modelo para auto-treinamento melhora o desempenho. O ajuste fino do Qwen3.5-9B em dados "filtrados pelo avaliador" (onde o modelo reconstrói bem uma vez, mas de forma inconsistente) melhorou sua pontuação de 1,60 para 1,86 sem código-fonte emparelhado.
• Escalonamento em Tempo de Teste: Refinamento repetido no momento da inferência produz ganhos limitados e pode introduzir deriva semântica.

Significado e Alegações

O artigo afirma que o Vision2Code fornece um ambiente de teste reprodutível para medir, diagnosticar e melhorar a geração de imagem para código em cenários onde o código de referência emparelhado não está disponível. Suas contribuições primárias são:

1. Um Benchmark Multi-Domínio: Permitindo avaliação em 15 conjuntos de dados e 6 domínios visuais, indo além do escopo restrito de benchmarks anteriores apenas de gráficos ou apenas de UI.
2. Um Framework de Avaliação Consciente do Domínio: Demonstrando que rubricas específicas do conjunto de dados e controles de segurança determinísticos são necessários para alinhar a avaliação automática ao julgamento humano, particularmente para detectar erros semânticos específicos do domínio.
3. Uma Fonte de Sinal de Treinamento: Mostrando que saídas filtradas pelo avaliador podem servir como supervisão eficaz para melhorar as capacidades dos VLMs sem exigir código ground-truth.

Os autores concluem que, embora os VLMs atuais possam reconstruir primitivos visuais regulares, eles permanecem fracos em tarefas que exigem preservação precisa de estruturas específicas do domínio (relações espaciais, símbolos químicos, topologia de circuitos). O benchmark destaca que altas pontuações agregadas podem mascarar falhas significativas em domínios específicos e críticos.