LaDe: Unified Multi-Layered Graphic Media Generation and Decomposition

1. O Problema

A geração de conteúdo por modelos generativos (como Difusão) tem avançado rapidamente, mas a maioria dos sistemas trata o design gráfico como uma imagem plana única (raster). No entanto, na prática profissional de design (cartazes, logotipos, banners), os designs são compostos por camadas semânticas distintas (fundo, formas gráficas, tipografia, logotipos) que devem ser editáveis e substituíveis individualmente.

Os métodos existentes enfrentam limitações significativas:

• Restrição de Camadas Fixas: Alguns modelos geram apenas um número fixo de camadas (ex: 3 ou 4), independentemente da complexidade do design.
• Regiões Espacialmente Contínuas: Outros métodos exigem que cada camada contenha apenas regiões contínuas. Isso força designs com muitos elementos repetidos (ex: 30 estrelas espalhadas) a serem divididos em 30 camadas diferentes, destruindo a hierarquia visual e tornando a edição difícil.
• Falta de Controle Fino: Modelos de "Texto para Imagem" geram o resultado final em uma única passagem, sem permitir a manipulação de elementos individuais pós-geração.

O objetivo é criar um sistema capaz de gerar designs de mídia como composições estruturadas e em camadas, com um número flexível de camadas que não escala linearmente com a complexidade do design, mantendo a semântica correta.

2. Metodologia (LaDe)

O LaDe (Layered Media Design) é um framework unificado baseado em Difusão Latente que realiza três tarefas: geração de texto para camadas, geração de texto para imagem e decomposição de imagem para camadas. A arquitetura consiste em três componentes principais:

A. Expansor de Prompt (LLM-based)

• Utiliza um Modelo de Linguagem (LLM) para transformar um prompt curto do usuário em uma descrição estruturada.
• O prompt expandido é dividido em seções: Descrição da Cena (geral), Legendas por Camada (descrições específicas do conteúdo de cada camada) e Tipo (estilo).
• Isso fornece ao modelo de difusão instruções precisas sobre o conteúdo de cada camada, permitindo controle fino sem impor layouts rígidos.

B. Modelo de Difusão Latente (Latent Diffusion Transformer)

• Arquitetura: Baseada em um Transformer de Difusão treinado com predição v-prediction.
• Codificação Posicional 4D RoPE: Introduz um mecanismo inovador de codificação posicional em 4 dimensões $(H, W, F, R)$:
  • $H, W$: Coordenadas espaciais (altura e largura).
  • $F$: Índice da camada (atuando como coordenada de profundidade/ordem).
  • $R$: Papel do token (0 para prompt, 1 para tokens denoisable/saída, 2 para tokens congelados/condição).
• Mecanismo de Unificação:
  • Geração: O modelo recebe ruído e o prompt, gerando o design completo e as camadas RGBA simultaneamente.
  • Decomposição: O design completo é fornecido como condição (tokens congelados, $R=2$, $t=0$), e o modelo apenas denoisa as camadas para separá-las.
• Otimização de Memória: Utiliza técnicas de bucketing (agrupamento de amostras de tamanhos similares) e packing (empacotamento linear de tensores) para lidar com diferentes proporções de aspecto e números de camadas sem desperdício excessivo de memória GPU.

C. VAE RGBA (Variational Autoencoder)

• Diferente de modelos que geram apenas RGB, o LaDe opera no espaço RGBA para suportar transparência e mistura (alpha-blending).
• Utiliza um VAE pré-treinado em RGB, que é adaptado e fine-tuned para decodificar em RGBA, garantindo bordas suaves e sombras corretas.
• A função de perda combina erros L1 nos canais RGB e Alpha, além de uma perda LPIPS na versão mesclada em cinza.

3. Principais Contribuições

1. Geração de Camadas Flexível: O LaDe é capaz de gerar um número ilimitado e flexível de camadas semanticamente significativas, agrupando elementos relacionados na mesma camada independentemente de sua distribuição espacial (resolvendo o problema de "estrelas espalhadas" em camadas separadas).
2. Modelo Unificado: É o primeiro modelo unificado capaz de realizar três tarefas distintas com uma única arquitetura:
   • Texto para Camadas (Text-to-Layers).
   • Texto para Imagem (Text-to-Image).
   • Imagem para Camadas (Image-to-Layers / Decomposição).
3. Codificação Posicional 4D: A introdução do RoPE 4D permite uma ligação precisa entre as descrições do prompt e as camadas específicas que elas descrevem, melhorando a aderência ao texto e a coerência estrutural.

4. Resultados e Avaliação

O modelo foi avaliado no conjunto de dados Crello (500 prompts de usuários com seus designs correspondentes) e comparado com o estado da arte, especificamente o Qwen-Image-Layered.

• Geração Texto para Camadas:

  • O LaDe superou consistentemente a abordagem de dois passos do Qwen (Geração de Imagem + Decomposição).
  • Métricas: Avaliado por "VLM-as-a-judge" (GPT-4o mini e Qwen3-VL) em critérios de alinhamento com o prompt, validade da camada e consistência. O LaDe obteve pontuações superiores (ex: ~3.94 vs ~2.63 para 4 camadas com GPT-4o mini).
  • A qualidade visual melhorou à medida que o número de camadas aumentava, indicando que o modelo consegue organizar elementos complexos de forma coerente.

• Decomposição Imagem para Camadas:

  • O LaDe alcançou um PSNR de 32.65 para a decomposição em 2 camadas, superando o Qwen-Image-Layered (31.59).
  • Em tarefas de decomposição complexa (4-5 camadas), o LaDe manteve desempenho competitivo e superior em métricas de julgamento visual (VLM), demonstrando melhor capacidade de reconstruir áreas ocluidas e evitar duplicação de texto ou elementos, problemas comuns nos modelos concorrentes.

• Ablação:

  • O treinamento com um número variável de camadas foi crucial para o desempenho.
  • O uso do VAE RGBA foi essencial para a qualidade visual de bordas e sombras, embora não fosse totalmente capturado pelas métricas automáticas de VLM.
  • A Equação 2 (mapeamento de partes do prompt para índices de camadas via RoPE) eliminou a duplicação de conteúdo entre camadas.

5. Significado e Conclusão

O LaDe representa um avanço significativo na interseção entre IA generativa e design gráfico profissional. Ao permitir a criação de documentos editáveis (como arquivos PSD) diretamente a partir de prompts de texto, ele preenche a lacuna entre a geração de imagens "prontas" e o fluxo de trabalho real de designers.

Sua capacidade de lidar com um número variável de camadas e de decompor imagens existentes em camadas editáveis torna-o uma ferramenta poderosa para automação criativa. As limitações mencionadas incluem a dependência da qualidade da expansão do prompt por LLMs e o alto consumo de VRAM para gerar muitos camadas simultaneamente, o que pode restringir a escalabilidade em hardware limitado.

Em suma, o LaDe estabelece um novo estado da arte na geração unificada de mídia em camadas, oferecendo controle semântico e estrutural superior aos métodos atuais.