Scientific Graphics Program Synthesis via Dual Self-Consistency Reinforcement Learning

1. O Problema

A síntese de programas gráficos visa reverter imagens raster estáticas em código vetorial editável (como TikZ/LaTeX), facilitando a modificação e reutilização de dados visuais. Embora o TikZ seja o padrão de facto para esquemas científicos de alta fidelidade devido à sua flexibilidade programática, ele impõe desafios rigorosos para os Modelos de Linguagem Multimodal (MLLMs):

• Precisão Espacial Rigorosa: Diferente de bibliotecas de plotagem estatística que toleram aproximações, o TikZ exige coordenadas precisas, primitivas simbólicas explícitas e definições topológicas rigorosas.
• Falhas de Compilação: Erros triviais (como dependências ausentes, sintaxe incorreta ou alinhamento geométrico falho) resultam em falhas de compilação ou artefatos visuais degenerados.
• Gaps Existentes:
  1. Qualidade de Dados: Corpora existentes (image-TikZ) frequentemente carecem de executabilidade estrita e alinhamento visual confiável.
  2. Avaliação: Falta de benchmarks robustos que avaliem simultaneamente a fidelidade visual e a lógica estrutural do código.

2. Metodologia Proposta

Os autores apresentam um framework de ciclo fechado que integra curadoria de dados de alta qualidade e uma nova paradigma de Aprendizado por Reforço (RL).

A. Motor de Dados Centrado na Execução (Execution-Centric Data Engine)

Para superar a escassez de dados confiáveis, foi construído o conjunto de dados SciTikZ-230K (230.000 pares imagem-código) a partir de fontes heterogêneas (HuggingFace, arXiv, StackExchange). O processo envolve:

• Remediação Ativa: Uso de MLLMs (Qwen3-VL) para reestruturar fragmentos não compiláveis em documentos standalone e corrigir erros de sintaxe com base em logs de compilação.
• Purificação Fina a Fina: Filtragem heurística (removendo redundâncias e dependências externas) seguida de julgamento por MLLM em cinco dimensões: Correção, Layout, Legibilidade, Plausibilidade Científica e Complexidade Visual.
• Resultado: Um corpus estritamente compilável e alinhado visualmente, cobrindo 11 disciplinas científicas.

B. Benchmark SciTikZ-Bench

Um novo benchmark com 611 figuras científicas verificadas manualmente, cobrindo desde primitivos geométricos básicos até esquemas hierárquicos complexos, para avaliar fidelidade visual e qualidade do código.

C. Paradigma de Aprendizado por Reforço de Dupla Auto-Consistência (Dual Self-Consistency RL - DSC)

Esta é a contribuição algorítmica central. O treinamento ocorre em duas etapas progressivas para estabilizar a otimização multi-objetivo:

1. Etapa 1: Alinhamento de Fidelidade Visual (Visual Fidelity Alignment):
   • Utiliza GRPO (Group Relative Policy Optimization).
   • A recompensa é baseada na Execução (compilação bem-sucedida) e no Alinhamento Visual (usando SigLIP para semântica e LPIPS para precisão estrutural).
   • Objetivo: Garantir que o código gerado seja executável e pixel-perfect.
2. Etapa 2: Refinamento de Auto-Consistência (Self-Consistency Refinement):
   • Introduz um mecanismo de Verificação de Ida e Volta (Round-Trip Verification).
   • O modelo gera código $\hat{y}$ a partir da imagem $I$, renderiza a imagem $\hat{I}$, e depois tenta reconstruir o código $\hat{y}'$ a partir de $\hat{I}$.
   • Recompensa de Consistência: Penaliza a geração de código degenerado se $\hat{y}$ e $\hat{y}'$ não forem estruturalmente consistentes (medido por Token Edit Distance e CrystalBLEU).
   • Portão de Fidelidade (Fidelity Gate): A recompensa de consistência só é ativada se a fidelidade visual inicial superar um limiar, evitando que o modelo otimize para imagens triviais que são fáceis de reconstruir, mas visualmente ruins.

3. Principais Contribuições

1. SciTikZ-230K: O maior e mais rigoroso conjunto de dados de síntese TikZ até o momento, garantido por um motor de dados que prioriza a executabilidade.
2. SciTikZ-Bench: Um benchmark abrangente para avaliação padronizada de síntese gráfica científica.
3. Dual Self-Consistency (DSC) RL: Um novo paradigma de RL que une fidelidade visual e lógica estrutural através de verificação de ciclo fechado, eliminando a dependência de ground-truth para dados não rotulados e prevenindo "hacking" visual.
4. SciTikZer-4B/8B: Modelos de código aberto que atingem desempenho State-of-the-Art (SOTA).

4. Resultados Experimentais

O modelo SciTikZer-8B demonstrou desempenho superior em comparação com modelos proprietários gigantes (como Gemini-2.5-Pro) e modelos de código aberto massivos (como Qwen3-VL-235B).

• Taxa de Sucesso de Compilação: O SciTikZer-8B alcançou 97.2% no SciTikZ-Bench, superando o Qwen3-VL-235B (92.1%) e o DeTikZify-V2.5-8B (93.1%).
• Fidelidade Visual: Obteve os melhores resultados em métricas como SigLIP (93.8) e LPIPS (29.7, onde menor é melhor), indicando melhor alinhamento semântico e estrutural.
• Generalização: No conjunto de testes externo DaTikZ-v3, o modelo manteve a liderança, com 94.46% de taxa de compilação e a menor distância de distribuição (KID: 1.14).
• Avaliação Humana: Em uma avaliação cega com 300 exemplos, o SciTikZer-8B foi preferido em 59% dos casos, superando significativamente os baselines em fidelidade visual e correção estrutural.
• Análise de Ablação: A curadoria de dados (SciTikZ-230K vs. dados brutos) trouxe ganhos consistentes. A adição da Etapa 2 (DSC) melhorou a taxa de compilação e a precisão estrutural, mesmo com uma leve troca no BLEU, indicando que o modelo aprendeu a gerar código logicamente consistente em vez de apenas maximizar a sobreposição de n-gramas.

5. Significado e Impacto

Este trabalho representa um avanço significativo na síntese de programas visuais para a comunidade científica:

• Viabilidade Prática: Ao garantir que o código gerado seja compilável e editável, o SciTikZer torna viável a automação da criação e edição de diagramas científicos complexos.
• Novo Paradigma de Treinamento: A abordagem de Dupla Auto-Consistência oferece uma solução elegante para o problema de "alucinação estrutural" em RL, demonstrando que a verificação de ciclo fechado (código $\to$ imagem $\to$ código) pode alinhar representações simbólicas e visuais sem necessidade de dados rotulados adicionais.
• Padrão de Avaliação: O lançamento do SciTikZ-Bench estabelece um novo padrão para a avaliação de tarefas de síntese gráfica, movendo-se além de métricas de similaridade simples para avaliações de lógica estrutural e executabilidade.

Em resumo, o paper resolve o gargalo da síntese de gráficos científicos ao combinar dados de alta qualidade com uma estratégia de RL inovadora que prioriza a consistência lógica e visual, superando modelos muito maiores e mais complexos.