CPAM: Context-Preserving Adaptive Manipulation for Zero-Shot Real Image Editing

Título: CPAM: Manipulação Adaptativa com Preservação de Contexto para Edição de Imagens Reais em Zero-Shot

1. O Problema

A edição de imagens reais utilizando modelos de difusão texto-para-imagem (T2I) enfrenta desafios significativos, especialmente na edição de objetos não rígidos e complexos. As principais limitações das abordagens existentes incluem:

• Perda de Identidade e Textura: Métodos que invertem a imagem para um espaço latente frequentemente resultam na perda da textura original, identidade e detalhes do objeto.
• Interferência no Fundo: Técnicas atuais tendem a alterar o fundo ou objetos não intencionais quando editam um objeto específico, devido à dependência global dos pixels em relação ao prompt de texto nos mecanismos de atenção cruzada.
• Dependência de Ajuste Fino (Fine-tuning): Muitos métodos exigem treinamento ou ajuste fino extensivo para cada imagem ou conceito, o que é computacionalmente custoso e inviável em cenários com recursos limitados.
• Falta de Controle Localizado: Dificuldade em editar objetos específicos dentro de uma cena sem afetar o restante da imagem, especialmente em tarefas como remoção de objetos ou alteração de pose.

2. Metodologia: CPAM

O CPAM é uma framework zero-shot (sem ajuste de pesos do modelo) que opera diretamente sobre modelos de difusão pré-treinados (como Stable Diffusion 1.5, 2.1 e XL). A metodologia baseia-se na manipulação inteligente dos mecanismos de atenção auto (self-attention) e atenção cruzada (cross-attention) dentro do U-Net do modelo de difusão.

A arquitetura do CPAM consiste em três componentes principais:

• A. Módulo de Adaptação de Preservação (Preservation Adaptation - PA):

  • Objetivo: Manter as propriedades do objeto original (forma, textura, identidade) e preservar o fundo sem distorções.
  • Funcionamento: Ajusta a self-attention para controlar independentemente o objeto e o fundo.
    • Para o fundo: Mantém as características semânticas originais, garantindo que o cenário não seja distorcido.
    • Para o objeto (foreground): Adapta o conteúdo semântico original para se ajustar a novas formas, poses ou vistas, mas apenas após certos passos e camadas de difusão para permitir a transformação desejada.
  • Mecanismo: Utiliza máscaras para separar as consultas de query, key e value, permitindo que o fundo e o objeto sejam processados de forma isolada durante a síntese.

• B. Módulo de Extração Localizada (Localized Extraction - LE):

  • Objetivo: Impedir que o prompt de edição influencie regiões que não devem ser alteradas.
  • Funcionamento: Modula a cross-attention.
    • Os pixels da região alvo (definida pela máscara) atendem ao prompt de texto desejado.
    • Os pixels do fundo (fora da máscara) atendem a um texto nulo (null text).
  • Resultado: Isso garante que apenas a região específica seja alterada, evitando que o fundo sofra alterações indesejadas devido à semântica do novo prompt.

• C. Estratégias de Guia por Máscara (Mask-Guidance Strategies):

  • O sistema suporta diversas tarefas (substituição, remoção, adição, mudança de pose) apenas ajustando as máscaras de origem ($M_s$) e alvo ($M_t$).
  • Refinamento de Máscara: Durante o processo de difusão, a máscara alvo é refinada dinamicamente (agregando mapas de atenção cruzada) para acompanhar a evolução da forma do objeto, permitindo edições não rígidas.

3. Principais Contribuições

1. Método Zero-Shot Universal: Introdução do CPAM, que não requer ajuste de pesos do modelo e funciona em diferentes backbones de difusão (SD1.5, SD2.1, SDXL).
2. Separação Objetos/Fundo: Desenvolvimento de um processo de adaptação que permite o controle independente da preservação do fundo e da modificação do objeto, resolvendo o problema de distorção de contexto.
3. Mecanismo de Extração Localizada: Uma nova abordagem na atenção cruzada que isola a influência do prompt, permitindo a edição de objetos específicos sem "vazamento" de alterações para o restante da imagem.
4. BenchMark IMBA: Criação do Image Manipulation BenchmArk (IMBA), um novo conjunto de dados derivado do TEdBench, mas enriquecido com anotações detalhadas (máscaras de alteração, prompts de objeto e preferências de edição) para avaliação mais rigorosa de edição em nível de objeto.
5. Estratégias de Agendamento: Definição de agendamentos de passos e camadas (step and layer scheduling) para equilibrar a preservação da estrutura original com a flexibilidade da transformação.

4. Resultados

Os experimentos foram conduzidos no novo dataset IMBA e comparados com o estado da arte (SDEdit, MasaCtrl, PnP, DiffEdit, Imagic, etc.).

• Avaliação Quantitativa:
  • O CPAM obteve os melhores resultados na preservação de fundo (menores valores de LPIPS, DreamSim e RMSE) em comparação com métodos concorrentes.
  • Mantém alta alinhamento texto-imagem (CLIPScore), especialmente nas versões SD2.1 e SDXL.
  • O CPAM-SDXL alcançou o melhor desempenho geral, com LPIPS de 0.118 e RMSE de 18.90.
• Avaliação Qualitativa:
  • Visualmente, o CPAM produz edições mais coerentes, preservando a estrutura da cena e detalhes de fundo que outros métodos distorcem.
  • Suporta tarefas complexas como remoção de objetos, troca de objetos e mudança de pose/visão sem necessidade de prompts originais da imagem.
• Estudo com Usuários:
  • Em um estudo com 20 participantes, o CPAM obteve as maiores médias de satisfação em Retenção de Objeto, Retenção de Fundo e Realismo, superando até mesmo métodos de ajuste fino como o Imagic (que, embora tenha alta satisfação no prompt, falha na retenção de fundo e exige muito tempo de otimização).

5. Significância e Impacto

O CPAM representa um avanço significativo na edição de imagens reais porque:

• Elimina a necessidade de treinamento: Torna a edição de alta qualidade acessível sem custos computacionais de fine-tuning.
• Resolve o dilema "Objeto vs. Fundo": Oferece uma solução robusta para o problema de manter o fundo intacto enquanto se altera drasticamente um objeto, algo que métodos anteriores (baseados apenas em troca de mapas de atenção) não conseguiam fazer com flexibilidade.
• Generalização: Demonstra que a manipulação de mecanismos de atenção pode ser generalizada para diferentes arquiteturas de modelos de difusão, sugerindo que a arquitetura interna do modelo pode ser explorada de forma mais granular para controle criativo.
• Aplicabilidade Prática: A capacidade de realizar edições complexas (como remover objetos ou mudar poses) apenas com máscaras e prompts simples torna a tecnologia mais intuitiva para usuários finais.

Em resumo, o CPAM estabelece um novo padrão para edição de imagens zero-shot, equilibrando com sucesso a fidelidade ao prompt de edição com a preservação rigorosa do contexto original da imagem.