Resumo Técnico: DisciplineGen-1M

Definição do Problema

Os atuais modelos de geração e edição de imagens alcançaram um sucesso notável na produção de imagens naturais esteticamente agradáveis. No entanto, eles permanecem pouco confiáveis quando incumbidos de gerar ou editar diagramas intensivos em conhecimento (ex: em matemática, física, química, biologia, etc.). Nestes contextos disciplinares, a correção depende de estruturas simbólicas precisas, relações espaciais e conceitos acadêmicos, em vez de apenas plausibilidade visual. Um erro menor em um símbolo, rótulo ou grupo molecular pode invalidar o resultado inteiro.

Os conjuntos de dados existentes para geração e edição de imagens focam majoritariamente em imagens naturais, obras de arte ou conhecimento de mundo geral (ex: WISE, RISE). Embora existam alguns conjuntos de dados especializados (ex: StructVisuals, TextAtlas5M), eles frequentemente carecem de abrangência multidisciplinar, supervisão conjunta de texto-para-imagem (T2I) e edição, ou raciocínio e anotações de conhecimento explícitos. Há uma escassez crítica de conjuntos de dados em larga escala e estruturados projetados para treinar modelos a lidar com as rigorosas restrições da criação visual acadêmica.

Metodologia

1. Construção de Dados: DisciplineGen-1M

Os autores introduzem o DisciplineGen-1M, um conjunto de dados de escala de um milhão contendo 1,2 milhão de amostras abrangendo dez disciplinas: matemática, física, química, biologia, geografia, ciência da computação, economia, história, música e esportes. O conjunto de dados suporta tanto a geração T2I quanto a edição de imagem.

Para abordar a heterogeneidade das imagens acadêmicas, os autores projetaram um framework escalável combinando quatro pipelines complementares:

• Renderização de Gráficos Vetoriais (SVG & TikZ):
  • Ramo SVG: Utilizado para biologia, física e economia. Ele constrói instâncias semânticas estruturadas (nós, relações, curvas) mapeadas para templates e renderizadas como SVG. Isso permite a re-renderização determinística e o controle explícito sobre edições semânticas (ex: remover rótulos, deslocar curvas). Também utiliza inicialização de imagem web onde o Gemini-3-Flash gera código SVG a partir de imagens candidatas.
  • Ramo TikZ: Visa biologia, geografia, física, química, CS e economia. Utiliza uma biblioteca de sementes de 1.346 pontos de conhecimento expandidos em plantas de desenho e traduzidos em código TikZ compilável. Um processo de reparo "compilador no loop" corrige erros de LaTeX, e um juiz de Modelo de Linguagem-Visão (VLM) filtra por correção, clareza e completude. A edição é alcançada substituindo rótulos por placeholders e recompilando.
• Edição Baseada em OCR:
  • Visa figuras educacionais com rótulos informativos. Usando PP-OCR v5, instâncias de texto e caixas delimitadoras são extraídas. Um VLM seleciona regiões adequadas para mascaramento (rejeitando texto ambíguo ou sem importância). A imagem mascarada serve como entrada, a original como ground truth, e o VLM gera a instrução de edição.
• Filtragem de Dados T2I em Larga Escala:
  • Filtra pools de imagens educacionais de código aberto (ex: K12, MV-MATH). O pipeline aplica deduplicação pHash, filtragem de resolução e pré-triagem por OCR para remover imagens dominantes em texto ou dependentes de linguagem. As imagens restantes são pontuadas pelo Qwen3-VL-8B em dimensões como relevância disciplinar, natureza diagramática, complexidade visual e conhecimento de domínio.
• Síntese Programática Especializada:
  • Utiliza motores específicos de domínio para sintetizar dados onde os dados da web são escassos.
    • Matemática: Matplotlib, MathCanvas, GeoGebra para gráficos de funções, geometria e transformações de sólidos.
    • Química: RDKit e Indigo para geração de moléculas e equações de reação.
    • Ciência da Computação: Graphviz e Matplotlib para árvores, grafos e máquinas de estados finitos.
    • História: Wikimedia Commons e basemaps para linhas do tempo e mapas.
    • Música: IrishMAN ABC tunes e LilyPond para partituras e piano rolls.
    • Esportes: Registros de Xadrez/Xiangqi, Go SGF e dados de nutrição para jogos de tabuleiro e táticas.

2. Arquitetura do Modelo

Construído sobre o DisciplineGen-1M, os autores introduzem um modelo de geração-raciocínio informado pela disciplina:

• Módulo de Raciocínio: O Qwen3-VL-8B converte solicitações disciplinares implícitas em planos de raciocínio explícitos, identificando conhecimento relevante, elementos alvo e mudanças estruturais.
• Módulos de Geração:
  • T2I: Qwen-Image-2512.
  • Edição: Qwen-Image-Edit-2511.
• Estratégia de Treinamento: Os modelos são adaptados usando LoRA (Low-Rank Adaptation) no backbone DiT. O treinamento utiliza uma perda FlowMatch SFT com carregamento de resolução dinâmica. O módulo de raciocínio é mantido congelado, enquanto os geradores de imagem são ajustados (fine-tuned).

Principais Contribuições

1. Framework Escalável: Um novo framework de construção de dados combinando renderização vetorial, edição baseada em OCR, síntese programática e filtragem em larga escala para produzir visuais acadêmicos estruturados de alta qualidade.
2. Dataset DisciplineGen-1M: O primeiro conjunto de dados de geração visual multidisciplinar de escala de um milhão (1.2M), cobrindo T2I e edição através de dez campos acadêmicos distintos com supervisão estruturada.
3. Desempenho de Estado da Arte (SOTA): Demonstração de que a adaptação de geradores de código aberto com este dataset produz resultados SOTA entre modelos de código aberto em benchmarks específicos de disciplina, com generalização significativa para tarefas de raciocínio mais amplas.

Resultados Experimentais

Benchmarks Específicos de Disciplina

• GenExam (Geração T2I): O modelo alcançou uma pontuação relaxada total de 51.4, ocupando o primeiro lugar entre modelos de código aberto. Superou o Qwen-Image-2512 em 15.6 pontos e o FLUX.2 dev por 8.5 pontos. As melhorias foram consistentes em todas as dez disciplinas, com ganhos notáveis em química, economia, música, CS e história.
• GRADE (Edição de Imagem): O modelo de edição alcançou uma pontuação relaxada total de 58.7, superando o melhor baseline de código aberto (DreamOmni) em 14.4 pontos e o Qwen-Edit-2511 em 28.7 pontos. Os ganhos foram amplos em física, química, matemática, geografia, biologia, CS e história.

Benchmarks de Raciocínio Geral

• WISE (T2I de Conhecimento de Mundo): O modelo pontuou 0.66, superando o Qwen-Image-2512 em 0.16. Os ganhos foram mais fortes nas categorias espacial, biologia, física e química, indicando transferência de conhecimento estrutural para tarefas de conhecimento de mundo envolvendo restrições científicas.
• RISE (Edição Informada por Raciocínio): O modelo alcançou 26.4 de acurácia, superando o Qwen-Image-Edit-2511 em 7.0 pontos e o BAGEL (thinking) em 10.8 pontos. Superou notavelmente o baseline de código fechado mais forte em pontuação geral, impulsionado por melhorias em raciocínio temporal, causal e espacial.

Análise Qualitativa

Comparações visuais mostram que o modelo proposto preserva melhor as restrições estruturais chave (ex: conectividade molecular, topologia de grafo, notação musical) em comparação com os baselines, que frequentemente produzem saídas visualmente plausíveis, mas estruturalmente incorretas.

Significância e Alegações

O artigo afirma que dados visuais acadêmicos estruturados em larga escala são um ingrediente chave para mover a geração de imagens da "plausibilidade estética" para a "criação visual verificável e fundamentada em conhecimento".

Os autores afirmam que:

1. O treinamento em dados multidisciplinares e estruturados melhora não apenas a fidelidade visual, mas também a capacidade de seguir restrições específicas de disciplina (ex: notação simbólica, relações espaciais).
2. Os benefícios desta supervisão estruturada estendem-se além de domínios acadêmicos específicos para a geração e edição informada por raciocínio geral, particularmente em tarefas que exigem raciocínio espacial, causal ou científico.
3. Embora permaneça uma lacuna entre modelos de código aberto e de código fechado, o DisciplineGen-1M reduz significativamente essa lacuna, validando a utilidade de restrições de conhecimento explícitas e supervisão estruturada pareada para a criação visual acadêmica.

Os autores disponibilizam publicamente o dataset, os modelos treinados e o código fonte do pipeline de curadoria de dados para garantir a reprodutibilidade.