Resumo Técnico: CreatiPoster

Declaração do Problema

O design gráfico é um componente crítico da comunicação moderna, mas a produção de composições de alta qualidade e editáveis continua sendo uma tarefa demorada que exige perícia significativa. As abordagens atuais baseadas em IA enfrentam um compromisso fundamental: elas têm dificuldade em satisfazer simultaneamente quatro critérios essenciais:

1. Precisão do Texto: Ortografia e tipografia corretas.
2. Fidelidade dos Ativos: Preservação fiel e posicionamento de imagens, logotipos ou fotos fornecidos pelo usuário.
3. Editabilidade: A capacidade de o usuário modificar o texto e substituir ativos após a geração.
4. Apelo Estético: Qualidade visual profissional.

Os métodos de código aberto atuais frequentemente falham ao não incorporar os ativos do usuário ou ao não atingir padrões profissionais, enquanto sistemas comerciais (ex: Canva, Adobe Express) dependem de vastas bibliotecas de templates proprietários que são difíceis de serem replicados por indivíduos ou pequenas organizações. Além disso, a maioria dos modelos generativos produz imagens de pixels "achatadas", tornando a saída não editável e destruindo a fidelidade dos ativos.

Metodologia

Os autores introduzem o CreatiPoster, um framework aberto que reformula a geração de design gráfico como síntese de programa de design editável, em vez de síntese de imagem achatada. O sistema opera através de um pipeline de dois estágios que desacopla a geração do primeiro plano (texto e ativos) do plano de fundo.

1. Gerador de Protocolo em Camadas ($P_M$)

O primeiro estágio utiliza um modelo multimodal de grande escala (baseado em InternLM2.5) para sintetizar um programa de design JSON executável.

• Entrada: Prompts do usuário ($p$), ativos RGBA opcionais ($I$), tamanho da tela ($s$) e restrições opcionais ($C$).
• Saída: Um protocolo estruturado $P = \{L, c_{bg}\}$, onde:
  • $L$ é uma lista ordenada de camadas. Cada camada $\ell_j$ contém quatro grupos de atributos: identidade semântica ($a_{sem}$), geometria ($a_{geo}$, ex: posição, tamanho, rotação), estilo ($a_{sty}$, ex: fonte, cor) e ordenação ($o_j$).
  • $c_{bg}$ é uma legenda concisa descrevendo o plano de fundo.
• Estratégia de Treinamento: O modelo é treinado sob um objetivo de conclusão de protocolo único. Em vez de cabeças específicas para tarefas, ele aprende a recuperar um protocolo completo a partir de uma versão parcialmente mascarada ($\hat{P}$). Esta abordagem unificada suporta geração apenas por prompt, geração condicionada a ativos e edição de tela sem mudanças arquitetônicas.
• Renderização: O programa JSON gerado é renderizado em uma imagem de primeiro plano totalmente editável ($I_{fg}$) usando motores gráficos padrão (ex: Skia), garantindo que o texto e os ativos permaneçam como camadas distintas.

2. Sintetizador de Plano de Fundo Consciente do Primeiro Plano ($B_M$)

O segundo estágio gera apenas a camada de plano de fundo ($I_{bg}$), condicionada ao primeiro plano renderizado e à legenda do plano de fundo.

• Arquitetura: Construído sobre um backbone de Transformer de Difusão Multimodal (MM-DiT).
• Condicionamento: O modelo concatena três fluxos de tokens:
  1. Tokens de primeiro plano ($h_f$): Codificados a partir do primeiro plano RGBA em uma tela cinza neutra.
  2. Tokens de legenda ($h_b$): Codificados a partir da legenda do plano de fundo.
  3. Tokens de imagem ruidosa ($h_z$): Amostrados no espaço latente.
• Mecanismo: Os blocos MM-DiT realizam atenção conjunta entre esses fluxos, permitindo que a geração do plano de fundo se harmonize com o primeiro plano em cor, layout e estilo sem corromper o texto ou os ativos.
• Treinamento: O backbone de difusão é congelado; apenas módulos LoRA e camadas AdaLN são treinados usando objetivos de correspondência de fluxo (flow matching). O sistema passa por um processo de treinamento de dois estágios (resoluções de 512px e 1024px) para equilibrar a sensibilidade ao primeiro plano com a adaptabilidade de alta resolução.

Modos Controláveis Unificados

Devido ao fato de o sistema ser baseado em conclusão de protocolo, um único modelo suporta diversos modos de geração:

• Apenas Prompt: Gera um design completo a partir de texto.
• Condicionado a Ativos: Preserva ativos carregados e prevê seu posicionamento e estilização.
• Condicionado à Tela: Completa camadas ou atributos ausentes com base em elementos travados pelo usuário.
• Re-layout: Regenera o layout para um novo tamanho de tela preservando o conteúdo e o estilo.

Principais Contribuições

1. Síntese de Programa de Design Editável: O artigo propõe formular o design gráfico como a geração de programas JSON editáveis em vez de imagens estáticas, garantindo a editabilidade nativa das camadas.
2. Geração de Protocolo em Camadas: Desenvolvimento de um modelo multimodal RGBA que especifica o conteúdo, geometria, estilo e ordem de cada camada, aliado a uma legenda de plano de fundo.
3. Síntese de Plano de Fundo Consciente do Primeiro Plano: Introdução de um sintetizador baseado em MM-DiT que gera planos de fundo condicionados ao primeiro plano renderizado, preservando a precisão do texto e a fidelidade dos ativos.
4. Avaliação e Recursos: Os autores lançam um novo benchmark com métricas automatizadas, um conjunto de dados de 100.000 amostras multi-camadas livres de direitos autorais, e o código/modelos, demonstrando desempenho superior em relação aos sistemas existentes.

Resultados

O CreatiPoster foi avaliado em um novo benchmark composto por 45 casos de apenas prompt, 39 casos de ativo único e 6 casos de múltiplos ativos. As dimensões de avaliação incluíram Layout, Cor, Estilo Gráfico e Conformidade, pontuadas pelo GPT-4.1 e voluntários humanos.

• Desempenho: O CreatiPoster (variantes S e F) alcançou pontuações de topo ou próximas ao topo em quase todas as dimensões comparado ao OpenCOLE (código aberto), Microsoft Designer e Canva Magic Design (comerciais).
• Manipulação de Ativos: Em configurações condicionadas a ativos, o CreatiPoster superou significativamente os baselines em Conformidade e Estilo Gráfico, pois os sistemas comerciais frequentemente falhavam em integrar corretamente os ativos do usuário ou reutilizavam esqueletos de templates.
• Limitações: Os autores observam que o Layout continua sendo a dimensão mais desafiadora para todos os sistemas (nenhum método excedeu uma pontuação de 3.0), indicando uma lacuna persistente em relação aos designers humanos em composições complexas e interligadas com texto. Os modos de falha incluem distorção de ícones pequenos e desalinhamento ocasional entre texto e ativos.

Significância

O artigo afirma que o CreatiPoster avança a democratização do design gráfico assistido por IA ao remover a dependência de bibliotecas de templates proprietários. Ao representar designs como programas editáveis, o framework garante que os ativos do usuário permaneçam intactos e que cada elemento permaneça editável após a geração. A abordagem unificada de conclusão de protocolo permite diversas aplicações — incluindo edição de tela, sobreposição de texto, redimensionamento responsivo, adaptação multilíngue e pôsteres animados — sem a necessidade de pipelines específicos para cada tarefa. O lançamento do framework, do dataset e do benchmark visa catalisar novas pesquisas em design gráfico editável impulsionado por IA.