VFIG: Vectorizing Complex Figures in SVG with Vision-Language Models

Resumo Técnico: VFig

1. O Problema

Os Gráficos Vetoriais Escaláveis (SVG) são fundamentais para ilustrações técnicas e design digital devido à sua independência de resolução e editabilidade semântica. No entanto, na prática, os arquivos vetoriais originais de figuras complexas (comuns em artigos científicos, engenharia e educação) são frequentemente perdidos ou inacessíveis, restando apenas versões rasterizadas "planas" (PNG, JPEG).

• Desafio: Reconstruir manualmente essas figuras é extremamente trabalhoso e exige especialistas.
• Limitação das Soluções Atuais: Métodos clássicos de rastreamento de contornos (como Potrace) geram caminhos (paths) complexos e não editáveis. Modelos de IA existentes (LLMs/VLMs) geralmente falham em figuras complexas, sendo treinados apenas em ícones simples ou diagramas pequenos, resultando em perda de estrutura hierárquica, alinhamento impreciso e falta de coerência semântica.

2. Metodologia

O VFig propõe uma família de Modelos Visão-Linguagem (VLMs) treinados especificamente para converter imagens rasterizadas complexas em código SVG editável e de alta fidelidade. A abordagem é dividida em três pilares principais:

A. Dados: VFig-Data
Para superar a falta de dados de alta qualidade e complexidade, os autores criaram o VFig-Data, um conjunto de dados em larga escala com 66.000 pares figura-SVG.

• Fontes: Inclui figuras reais de artigos científicos (coletadas do arXiv) e diagramas gerados proceduralmente.
• Filtragem Rigorosa:
  • Filtro de Imagem: Remove imagens naturais, tabelas, gráficos de dados (plots) e equações matemáticas densas, mantendo apenas diagramas estruturados.
  • Filtro de Código: Elimina SVGs dominados por elementos <path> (que geram sequências longas e não editáveis), priorizando primitivas semânticas (<rect>, <circle>, <line>, <text>) para garantir editabilidade e reduzir o número de tokens.
• Composição: O conjunto de treinamento mistura dados do VFig-Data com datasets acadêmicos existentes (SVG-Diagrams, Molmo2-Diagram) após filtragem similar.

B. Treinamento: Curriculo de "Grossa para Fina" e RL
O treinamento segue uma estratégia de duas etapas para lidar com a complexidade composicional:

1. Ajuste Fino Supervisionado (SFT) com Curriculo:
   • Fase 1: Treinamento em diagramas estruturalmente simples (ícones, formas básicas) para aprender a geração de primitivas atômicas e layouts básicos.
   • Fase 2: Ajuste fino em figuras científicas complexas para aprender raciocínio composicional, hierarquia e fidelidade estrutural.
2. Aprendizado por Reforço (RL) com Feedback Visual:
   • Utiliza o algoritmo GRPO (Group Relative Policy Optimization).
   • Recompensa: Em vez de apenas métricas de pixel (como L2 ou SSIM), o modelo é recompensado por um Juiz VLM (Gemini-3-Flash) que avalia o SVG renderizado contra a imagem original com base em quatro critérios:
     • Presença: Todos os elementos existem?
     • Layout: O posicionamento e alinhamento estão corretos?
     • Conectividade: As setas e linhas conectam os pontos corretos?
     • Detalhes: Precisão de texto, fontes e estilos finos.
   • Isso permite que o modelo otimize a fidelidade estrutural e topológica, não apenas a similaridade visual bruta.

C. Avaliação: VFig-Bench
Foi introduzido o VFig-Bench, um conjunto de testes abrangente focado em figuras complexas, utilizando métricas híbridas:

• Métricas de nível de pixel (SSIM, LPIPS).
• Métricas de nível de componente (correspondência de regras para setas e formas).
• Julgamento de nível de imagem por VLMs (Gemini e GPT) para avaliar a qualidade composicional holística.

3. Resultados Principais

Os experimentos demonstram que o VFig supera significativamente as abordagens anteriores:

• Desempenho Geral: O VFig alcança o estado da arte (SOTA) entre modelos de código aberto e compete de perto com sistemas proprietários massivos (como o GPT-5.2).
• Métricas no VFig-Bench: O modelo VFig-4B (SFT + RL) atingiu uma pontuação de 0.829 no VLM-Judge, superando modelos base como Qwen3-VL e OmniSVG.
• Eficácia do Treinamento:
  • O currículo de duas etapas (SFT) melhorou a estabilidade composicional e a taxa de renderização bem-sucedida.
  • O RL com feedback visual (baseado em regras semânticas) melhorou a fidelidade geométrica e a precisão de detalhes finos, superando o uso de apenas perda de pixel.
• Qualidade do Código: O modelo gera SVGs mais limpos ("Clean"), com maior proporção de primitivas semânticas e menos caminhos (paths) desnecessários, facilitando a edição humana posterior.

4. Contribuições Chave

1. VFig-Data: O primeiro conjunto de dados em larga escala (66k pares) especificamente curado para a geração de diagramas científicos estruturados, com foco em editabilidade.
2. Estratégia de Treinamento Híbrida: A combinação de um currículo de SFT (de simples para complexo) com RL baseado em recompensas semânticas (juiz VLM) para otimizar a estrutura do diagrama.
3. VFig-Bench e Métricas: Um novo protocolo de avaliação que vai além da similaridade de pixels, incorporando métricas de integridade estrutural e julgamento semântico.
4. Desempenho Competitivo: Demonstra que, com curadoria de dados e treinamento estruturado, modelos de código aberto podem rivalizar com sistemas proprietários muito maiores em tarefas de geração de vetores complexos.

5. Significado e Impacto

O trabalho do VFig estabelece uma base fundamental para a automação da reconstrução de figuras técnicas. Ao permitir a conversão eficiente de imagens rasterizadas em SVGs editáveis, o método:

• Acelera fluxos de trabalho de revisão e atualização de diagramas científicos.
• Reduz a barreira de entrada para visualização profissional, permitindo que pesquisadores e educadores modifiquem figuras sem precisar de ferramentas de design vetorial manuais.
• Permite reutilização fiel de conteúdo visual em diferentes plataformas e formatos.
• Abre caminho para futuras pesquisas em geração de gráficos vetoriais complexos, demonstrando que a otimização baseada em feedback visual estrutural é superior à otimização puramente baseada em pixels para este domínio.

Em resumo, o VFig resolve um problema prático crítico na comunidade científica e de design, transformando imagens estáticas em ativos digitais dinâmicos e editáveis com alta precisão.