Workflow-Aware Structured Layer Decomposition for Illustration Production

1. O Problema

Os métodos recentes de edição e geração de imagens baseados em IA tendem a tratar imagens rasterizadas (como ilustrações de anime) como saídas monolíticas de RGB. Embora esses modelos gerem resultados visualmente impressionantes, eles entrelaçam informações de contorno geométrico, cor e efeitos de sombreamento em um único espaço de características.

Isso cria desafios significativos para a produção profissional de anime, onde o fluxo de trabalho tradicional exige a separação de componentes funcionais distintos:

• Arte de linha (Line Art): Contornos estruturais.
• Cor plana (Flat Color): Tons base.
• Sombra (Shadow) e Realce (Highlight): Elementos de iluminação.

Abordagens existentes de decomposição de imagem focam em segmentação baseada em objetos (separar cabelo, pele, roupas) ou em modelos físicos de iluminação (albedo vs. sombreamento). No entanto, essas técnicas falham em capturar as convenções de iluminação estilizada (cel-shading) do anime, resultando em camadas semanticamente confusas ou bordas de estilo quebradas, o que impede edições controladas, como re-iluminação ou recolorização sem distorcer a estrutura.

2. Metodologia

Os autores propõem um framework de decomposição de camadas estruturadas e consciente do fluxo de trabalho, alinhado especificamente com o pipeline de produção de arte de anime.

Arquitetura Principal

O modelo é baseado no Qwen-Image-Layered (um Transformer de Difusão ou DiT), adaptado para representar todas as camadas em um espaço latente compartilhado.

Componentes Chave da Metodologia:

1. Decomposição Funcional: Em vez de segmentação semântica, o modelo decompõe a imagem em quatro camadas funcionais específicas: Line Art, Flat Color, Shadow e Highlight.
2. Embeddings Semânticos de Camada (Layer Semantic Embeddings - LSE):
   • Para evitar interferência entre camadas durante a mistura de tokens no Transformer, o método introduz embeddings leves e aprendíveis.
   • Cada segmento de tokens correspondente a uma das quatro camadas recebe um viés aditivo específico que atua como um "ID de camada". Isso permite que o mecanismo de atenção distinga o papel de renderização de cada token sem alterar a topologia do modelo.
3. Ajuste Fino com LoRA (Low-Rank Adaptation):
   • O modelo base é congelado. Apenas os adaptadores LoRA e os embeddings semânticos são otimizados, garantindo eficiência de parâmetros e estabilidade no aprendizado das camadas.
4. Supervisão por Camada (Layer-Wise Supervision):
   • Reconhecendo que diferentes camadas possuem propriedades estatísticas distintas, o modelo utiliza uma função de perda diferenciada:
     • Arte de Linha: Usa perda L1 para preservar bordas nítidas e detalhes de alta frequência (evitando o desfoque comum em MSE).
     • Cor Plana, Sombra e Realce: Usam perda MSE (Erro Quadrático Médio).
     • Regularização de Esparsidade: Uma perda L1 adicional é aplicada às previsões de sombra e realce para encorajar decomposições esparsas e evitar vazamento de luz entre camadas.
     • Consistência Composicional: Uma restrição garante que a soma das camadas decompostas seja fiel à imagem original globalmente.

Dataset

Devido à falta de dados reais com camadas separadas (problema de direitos autorais e complexidade de produção), os autores construíram um dataset de alta qualidade contendo 45 amostras de ilustrações de anime. Cada amostra foi criada manualmente por artistas profissionais, decompondo a imagem final em suas quatro camadas constituintes (Linha, Cor, Sombra, Realce) em arquivos PSD, garantindo alinhamento preciso.

3. Contribuições Principais

• Representação Consciente do Fluxo de Trabalho: Formaliza a decomposição de anime em quatro camadas de renderização funcionais, alinhadas com a prática profissional, em vez de heurísticas baseadas em objetos ou física.
• Modelo DiT Desacoplado por Camadas: Desenvolvimento de um modelo que utiliza embeddings semânticos de camada e supervisão específica para permitir a decomposição controlada e estável.
• Dataset Especializado: Criação e disponibilização de um dataset de ilustrações de anime com camadas funcionais alinhadas, preenchendo uma lacuna crítica para pesquisas futuras em decomposição estruturada de imagens.

4. Resultados

• Qualitativos: As comparações mostram que o método proposto gera linhas de arte limpas (sem ruído de sombreamento) e camadas de cor/iluminação consistentes. Métodos concorrentes (como Ref2Sketch, Informative Drawings e Flux Kontext) tendem a produzir linhas sujas ou sofrer com mudanças de cor e bordas difusas nas camadas de luz/sombra.
• Quantitativos: O método superou os baselines em todas as métricas de reconstrução:
  • PSNR: 27.79 (vs. ~11.4 nos baselines).
  • SSIM: 0.9254 (vs. ~0.69).
  • LMSE (Erro Local): 0.0017 (vs. ~0.079).
• Estudo Ablativo: A remoção dos Embeddings Semânticos ou da Supervisão por Camada resultou em interferência entre camadas (ex: linhas aparecendo na camada de sombra) e perda de fidelidade estrutural, provando a eficácia de ambos os componentes.

5. Significado e Aplicações

A principal contribuição deste trabalho é habilitar a edição controlada e a reutilização de ativos no pipeline de produção de anime. Ao desacoplar a estrutura, a cor e a iluminação, o método permite:

• Recolorização e Re-iluminação: Alterar cores base ou ajustar sombras/luzes sem afetar os contornos ou outras camadas.
• Inserção de Texturas: Aplicar padrões complexos em roupas mantendo a iluminação original intacta.
• Animação 2.5D: Facilitar a deformação de personagens com sombras e luzes que se comportam corretamente, além de permitir a manipulação independente da espessura da linha.

Em suma, o trabalho preenche a lacuna entre a geração de imagens generativa e as necessidades rigorosas e estruturadas da indústria de animação e ilustração japonesa, oferecendo uma ferramenta prática para criadores de conteúdo.