CreatiParser: Generative Image Parsing of Raster Graphic Designs into Editable Layers

Resumo Técnico: CreatiParser

1. O Problema

O design gráfico profissional é inerentemente composto por camadas editáveis (texto, fundos, adesivos/elementos decorativos). No entanto, a proliferação de designs gerados por IA (modelos generativos) resulta em imagens rasterizadas (baseadas em pixels) que são "achatadas" e não possuem estrutura de camadas.

• Limitações Atuais:
  • Edição Difícil: Designers precisam usar ferramentas manuais (como Photoshop) para separar elementos, um processo demorado e propenso a erros.
  • Falhas em Métodos Existentes:
    • Abordagens Multimodais (MLLM): Tendem a usar pipelines em cascata (previsão de layout -> recorte -> inpainting), o que causa acúmulo de erros e inconsistências visuais.
    • Abordagens Generativas Naturais: Focam na separação binária (fundo vs. primeiro plano), o que é inadequado para design gráfico que exige a distinção semântica entre texto, fundos e elementos decorativos (adesivos).

O objetivo é desenvolver um sistema de "Raster-to-Layer" (Raster para Camadas) que decompõe uma imagem rasterizada em camadas editáveis e semanticamente distintas: Texto, Fundo e Adesivos (Stickers).

2. Metodologia: Framework Híbrido

O CreatiParser propõe um framework generativo híbrido que trata componentes de texto e não-texto de forma diferenciada para maximizar a fidelidade e a editabilidade.

A. Arquitetura Geral
O sistema possui três componentes principais:

1. Módulo de Parsing de Texto (Baseado em VLM): Usa um Modelo de Linguagem e Visão (VLM) para prever um "protocolo de renderização de texto".
2. Módulo de Geração de Fundo e Adesivos (Difusão Multi-ramo): Usa uma arquitetura de difusão para gerar camadas de fundo e adesivos com suporte a transparência (RGBA).
3. Otimização Guiada por Recompensa (GRPO): Alinha a previsão do protocolo de texto com preferências humanas de design.

B. Detalhes Técnicos

• Parsing de Texto via Protocolo de Renderização:

  • Em vez de reconstruir texto pixel a pixel, o modelo (baseado no Qwen3-VL) prevê um protocolo estruturado (JSON) contendo atributos geométricos (posição, curvas Bézier), semânticos (texto Unicode) e de aparência (fonte, cor, sombra, alinhamento).
  • Um motor de renderização converte esse protocolo de volta em uma camada de texto editável, permitindo alterações futuras de fonte ou conteúdo sem perda de qualidade.

• Geração de Fundo e Adesivos (Difusão Multi-ramo):

  • Utiliza o Stable Diffusion XL (SDXL) como backbone.
  • Arquitetura de 3 Ramos: Um ramo de condição (entrada), um ramo para o Fundo (RGB) e um ramo para Adesivos (RGBA com canal alfa explícito).
  • Mecanismo LTA (Layer Token Attention): Introduz uma atenção cruzada entre os ramos em cada bloco do U-Net. Isso permite que os ramos troquem informações espaciais específicas (ex: onde termina o fundo e começa o adesivo) sem misturar globalmente todas as tokens, preservando a disjunção das camadas.
  • Suporte a LoRA (Low-Rank Adaptation) em cada ramo para especialização sem degradar os priores generativos originais.

• Otimização com GRPO e ParserReward:

  • Para melhorar a precisão do texto, o modelo é refinado usando Group Relative Policy Optimization (GRPO).
  • ParserReward: Uma função de recompensa específica da tarefa que avalia a fidelidade do texto gerado em três dimensões:
    1. RPIX (Pixel): Similaridade de máscara e cor.
    2. RLOC (Localização): Interseção sobre União (IoU) da máscara.
    3. RSEM (Semântica): Similaridade do texto (Levenshtein).
  • O GRPO amostra múltiplos protocolos candidatos, calcula a recompensa e atualiza apenas os pesos LoRA do VLM, mantendo o backbone congelado.

3. Principais Contribuições

1. Framework Híbrido Inovador: Combina a precisão estrutural de VLMs para texto com a capacidade generativa de difusão para fundos e adesivos, superando as limitações de pipelines em cascata.
2. Protocolo de Renderização de Texto: Permite a extração de texto editável (fonte, cor, curvatura) em vez de apenas uma imagem de texto, resolvendo o problema da perda de editabilidade.
3. Arquitetura de Difusão RGBA Multi-ramo: Capacidade de gerar camadas de adesivos com transparência nativa e separação clara do fundo, algo não abordado em métodos anteriores de decomposição de imagens.
4. Otimização via RL Específica: Integração de ParserReward com GRPO para alinhar a geração de texto às preferências de design humano, melhorando a fidelidade semântica e visual.
5. Generalização Zero-Shot: O modelo demonstra robustez ao ser aplicado em datasets não vistos durante o treinamento (como o Crello).

4. Resultados Experimentais

Os experimentos foram conduzidos em dois datasets: Parser-40K (criado pelos autores, com designs profissionais) e Crello (dataset de templates reais, usado para teste zero-shot).

• Desempenho Quantitativo:

  • O CreatiParser superou os métodos Baseline e LayerD em todas as métricas.
  • Parser-40K: Melhoria média global de 23,7% em todas as métricas.
  • IoU de Camadas: Alcançou 0,896 para Texto (T-IoU) e 0,862 para Adesivos (S-IoU) na versão com GRPO.
  • Editabilidade: Obteve 87,3% de precisão na identificação de fontes e 91,2% na precisão de atributos de estilo, métricas onde métodos baseados apenas em pixels falham.
  • Zero-Shot (Crello): O modelo manteve ou superou o desempenho no dataset de treinamento, demonstrando forte capacidade de generalização para estilos e layouts não vistos.

• Estudos de Ablação:

  • A remoção do VLM causou uma queda drástica na qualidade do texto (T-IoU caiu de 0,896 para 0,715).
  • A remoção do mecanismo LTA degradou severamente a separação entre fundo e adesivos (S-IoU caiu pela metade).
  • O uso de GRPO com tamanho de grupo (K=16) e pesos de recompensa balanceados (1:1:1) mostrou-se o ponto ótimo de desempenho.

5. Significado e Impacto

O CreatiParser representa um avanço significativo na interseção entre design gráfico e inteligência artificial. Ao transformar imagens rasterizadas em arquivos de camadas editáveis, ele:

• Democratiza a Edição: Permite que designers (ou não designers) editem designs gerados por IA sem precisar de ferramentas complexas de manipulação de pixels.
• Preserva a Intenção de Design: A separação semântica correta (texto vs. adesivo vs. fundo) garante que a estrutura lógica do design seja mantida.
• Abre Novas Possibilidades: Facilita a reutilização de ativos, a personalização em massa e a criação de templates dinâmicos a partir de imagens estáticas geradas por IA.

Em resumo, o trabalho resolve o gargalo da "edição pós-geração" em design gráfico, oferecendo uma solução robusta, editável e de alta fidelidade para a decomposição de imagens complexas.