From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition

Título: Da Inpainting para Decomposição de Camadas: Reutilizando Modelos Generativos de Preenchimento para Decomposição de Camadas de Imagem

1. Problema e Motivação

A decomposição de imagem em camadas (separar um objeto de primeiro plano do fundo, recuperando oclusões e gerando um fundo limpo) é uma tarefa fundamental para edição criativa, recombinação de conteúdo e recuperação baseada em componentes. No entanto, essa tarefa permanece desafiadora devido à escassez de dados rotulados de alta qualidade e à complexidade de treinar modelos generativos do zero.

A maioria dos modelos existentes exige:

• Grandes conjuntos de dados curados e caros.
• Recursos computacionais massivos para fine-tuning completo (como no método LAYERDECOMP).
• Ou dependem de dados sintéticos de baixa qualidade.

Os autores observam uma conexão conceitual forte entre decomposição de camadas e as tarefas de inpainting (preenchimento de regiões mascaradas) e outpainting (extensão de conteúdo além dos limites originais). O problema central é: Como adaptar modelos de inpainting pré-treinados para realizar decomposição de camadas de forma eficiente, sem re-treinamento em larga escala?

2. Metodologia Proposta

O artigo apresenta o Outpaint-and-Remove, uma abordagem que adapta um modelo de difusão pré-treinado para inpainting (baseado em DiT - Diffusion Transformer) para realizar a decomposição simultânea de primeiro plano e fundo.

Arquitetura e Componentes Chave:

1. Formulação do Problema:

   • O fundo é tratado como uma tarefa de inpainting: preencher a região mascarada (onde o objeto estava) com conteúdo plausível.
   • O primeiro plano é tratado como uma tarefa de outpainting com restrições de transparência: extrair o objeto visível e recuperar as partes ocluídas, gerando um canal alfa (transparência) onde o objeto não existe.

2. Tokenização de Contexto Multimodal:

   • Para preservar detalhes finos no espaço latente, o modelo utiliza mapas de borda, segmentação e profundidade como condições de entrada.
   • Para evitar a complexidade quadrática da atenção padrão ($O(K^2)$) devido ao aumento de tokens, os autores introduzem um módulo de Fusão Latente Multimodal baseado em atenção linear. Isso resume os tokens multimodais em um número constante e pequeno de tokens latentes, reduzindo a complexidade para $O(KN)$.

3. Design de Contexto Imagem-Máscara (Image-Mask Context):

   • Diferente dos modelos de inpainting padrão que usam apenas o contexto do fundo ($c^b_{I-M}$), a proposta introduz um contexto duplo:
     • $c^f_{I-M}$: Contexto do primeiro plano (para guiar a extração e preservação do objeto).
     • $c^b_{I-M}$: Contexto do fundo (para guiar a remoção do objeto).
   • Essa distinção é crucial para evitar "alucinações" (alteração indevida do objeto) e garantir a fidelidade na extração.

4. Ajuste Fino Eficiente de Parâmetros (PEFT):

   • Utiliza a estratégia LoRA (Low-Rank Adaptation) para congelar os pesos do modelo base e ajustar apenas camadas de projeção de entrada e camadas de atenção/feed-forward.
   • Um rank de LoRA cuidadosamente selecionado (256) equilibra a capacidade de aprendizado da nova tarefa com a preservação dos priores generativos do modelo original.

5. Curadoria de Dados Híbrida:

   • Como não há grandes conjuntos de dados reais de camadas, os autores criaram um dataset sintético combinando:
     • Objetos Reais (MULAN): Alta fidelidade de textura, mas formas incompletas devido a oclusões.
     • Objetos Gerados (LayerDiffuse): Formas completas, mas texturas suavizadas.
   • A fusão dessas duas fontes cria um conjunto de treinamento balanceado e robusto.

3. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados MULAN (o padrão da área) e em imagens reais de alta qualidade.

• Desempenho Quantitativo (Remoção de Objetos/Fundo):
  • O modelo proposto superou todos os baselines de ponta (incluindo SD-XL Inpainting, PowerPaint, BrushNet e o próprio modelo base FLUX.1-Fill-dev).
  • Métricas: Alcançou 27.30 PSNR, 0.93 SSIM e 25.97 FID, superando o modelo base em +1.71 dB de PSNR e reduzindo o FID em quase 10 pontos.
• Desempenho Quantitativo (Extração de Primeiro Plano):
  • Comparado a métodos de matting (como DiffMatte), o modelo obteve a maior taxa de preferência em estudos com usuários (59.51%), demonstrando superioridade na fidelidade visual e na recuperação de oclusões.
• Estudos de Ablação:
  • Confirmaram que o uso do contexto duplo (primeiro plano + fundo) é essencial para evitar a alteração do objeto extraído.
  • O contexto multimodal (profundidade, bordas) reduziu significativamente alucinações.
  • Um rank de LoRA muito baixo (128) não aprendeu a tarefa, enquanto um muito alto (1024) sobrescreveu os priores do modelo, causando degradação.

4. Contribuições Principais

1. Nova Perspectiva: Estabelece que a decomposição de camadas é uma extensão natural das tarefas de inpainting e outpainting, permitindo a reutilização de modelos existentes.
2. Eficiência: Propõe o primeiro método que adapta modelos de inpainting pré-treinados para decomposição de camadas usando apenas dados públicos e fine-tuning leve (LoRA), eliminando a necessidade de re-treinamento massivo.
3. Arquitetura Inovadora: Introduz um módulo de fusão de contexto multimodal com complexidade linear e um mecanismo de contexto imagem-máscara duplo para controle preciso entre geração e preservação.
4. Desempenho de Estado da Arte: Alcança resultados superiores em tarefas de remoção de objetos e extração de camadas, democratizando o acesso a essa tecnologia.

5. Significado e Impacto

Este trabalho é significativo porque democratiza a decomposição de camadas. Antes, essa capacidade exigia recursos computacionais e dados proprietários massivos. Ao provar que modelos de inpainting genéricos podem ser reutilizados com adaptações leves, os autores permitem que desenvolvedores e pesquisadores apliquem essa tecnologia em cenários de edição criativa, realidade aumentada e recuperação de conteúdo sem a barreira de entrada de custos de treinamento.

Além disso, a metodologia de curadoria de dados híbrida (real + sintético) oferece um roteiro para treinar modelos generativos em tarefas onde dados rotulados reais são escassos.

Limitações

O método ainda enfrenta dificuldades em cenários extremamente complexos, como objetos muito entrelaçados, oclusões massivas ou objetos segurados por dedos, devido à falta de exemplos específicos desse tipo no conjunto de dados sintético de treinamento. Os autores sugerem que isso pode ser mitigado com dados de treinamento mais diversificados no futuro.