PANDORA: Pixel-wise Attention Dissolution and Latent Guidance for Zero-Shot Object Removal

1. O Problema

A remoção de objetos de imagens naturais é uma tarefa complexa que exige não apenas a eliminação do objeto, mas também a síntese de conteúdo semanticamente coerente que se integre perfeitamente ao fundo.

• Limitações dos Métodos Atuais:
  • Métodos Baseados em GANs ou Patches: Frequentemente resultam em inconsistências de textura e mistura não natural com as regiões circundantes.
  • Modelos de Difusão Ajustados (Fine-tuned): Como o Stable Diffusion Inpainting, exigem ajuste fino extensivo, engenharia de prompts complexa ou otimização no momento da inferência. Mesmo assim, muitas vezes falham na remoção completa, deixando artefatos ou resíduos do objeto.
  • Métodos Zero-Shot Existentes: Abordagens como CPAM e Attentive Eraser lutam para lidar com a remoção de múltiplos objetos ou objetos similares em massa, frequentemente falhando na dissociação completa do objeto do contexto devido a "atenção residual" ou estratégias de atenuação muito uniformes.

2. Metodologia: PANDORA

O PANDORA é um framework de remoção de objetos zero-shot que opera diretamente em modelos de difusão texto-para-imagem pré-treinados (como Stable Diffusion v1.5 e v2.1), sem necessidade de ajuste fino (fine-tuning), prompts de texto ou otimização durante a inferência. O processo ocorre em uma única passagem (single pass) e baseia-se em três módulos principais:

A. Adaptação de Preservação de Fundo (BPA - Background Preservation Adaptation)

Para garantir que as regiões não mascaradas permaneçam inalteradas:

• Utiliza a inversão DDIM para mapear a imagem de entrada para o espaço de ruído latente, armazenando os estados latentes intermediários.
• Durante o processo de remoção, injeta as características de Key (K) e Value (V) originais das regiões de fundo nos mecanismos de atenção, garantindo que o contexto semântico do fundo seja preservado e não degradado.

B. Dissolução de Atenção Pixel a Pixel (PAD - Pixel-wise Attention Dissolution)

Este é o núcleo da remoção do objeto. O objetivo é "dissolver" as conexões semânticas do objeto no fluxo de atenção:

• Mecanismo: Identifica os keys (K) mais correlacionados com as queries (Q) dos pixels mascarados (o objeto).
• Ação: Aplica um limiar baseado em percentil para anular (definir para $-\infty$) os top-k (geralmente 2-5%) de conexões mais fortes na matriz de atenção.
• Resultado: Isso desconecta os pixels mascarados das regiões de primeiro plano dominantes, forçando o modelo a reconstruir a área mascarada apenas com base no contexto do fundo circundante, eliminando efetivamente a informação do objeto.

C. Guia de Desemaranhamento de Atenção Localizada (LADG - Localized Attentional Disentanglement Guidance)

Este módulo refina a trajetória de remoção no espaço latente:

• Mecanismo: Atua como um guia espacial que empurra a distribuição latente dentro da máscara para longe da trajetória original (não condicionada ao objeto), enquanto mantém a trajetória condicional fora da máscara.
• Fórmula: Combina a previsão de ruído condicional e não condicional, ponderada por um fator $\alpha_t$ apenas dentro da máscara.
• Objetivo: Acelerar a remoção do objeto e suprimir artefatos residuais, garantindo uma síntese mais limpa e coerente.

3. Principais Contribuições

1. Framework Zero-Shot Eficiente: PANDORA remove objetos em uma única passagem sem re-treinamento, prompts ou otimização, superando a dependência de engenharia de prompts.
2. Dissolução de Atenção (PAD): Introduz uma técnica de controle granular que desconecta pixels mascarados de suas chaves de atenção mais correlacionadas, resolvendo o problema de "atenção residual" que afeta outros métodos zero-shot.
3. Guia de Desemaranhamento (LADG): Um mecanismo de orientação espacial que refina a trajetória de desruído para evitar a reconstrução de artefatos do objeto.
4. Novo Benchmark: Os autores criaram um novo conjunto de dados de avaliação com 186 amostras (75 objetos únicos, 17 múltiplos e 94 objetos similares em massa), cobrindo cenários desafiadores de remoção.

4. Resultados e Avaliação

Os experimentos foram conduzidos comparando o PANDORA com métodos de fine-tuning (LaMa, PowerPaint, SD2-Inpaint) e métodos zero-shot existentes (CPAM, Attentive Eraser).

• Desempenho Quantitativo:
  • O PANDORA alcançou o maior pontuação CLIP (indicando melhor eliminação semântica do objeto) entre os métodos zero-shot.
  • Mantém valores competitivos de LPIPS e MSE para o fundo, demonstrando alta fidelidade visual.
  • Em comparação com métodos ajustados, o PANDORA oferece uma remoção mais limpa sem depender de prompts específicos ou treinamento pesado.
• Desempenho Qualitativo:
  • O método demonstra superioridade na remoção de múltiplos objetos e objetos similares em massa (ex: grupos de pássaros ou frutas), onde outros métodos falham em remover todos os alvos ou deixam resíduos.
  • Preserva detalhes finos do fundo e coerência estrutural global.
• Estudo com Usuários:
  • Em um estudo com 20 participantes, o PANDORA obteve a Taxa de Preferência do Usuário (UPR) mais alta (47,50%), superando significativamente métodos ajustados e outras abordagens zero-shot.
• Ablação: A remoção do módulo PAD causa uma degradação severa no desempenho (falha na remoção), enquanto a remoção do LADG reduz levemente a precisão, confirmando que a dissolução de atenção é o componente crítico.

5. Significado e Impacto

O PANDORA representa um avanço significativo na edição de imagens generativa, demonstrando que é possível realizar tarefas complexas de remoção de objetos com alta fidelidade sem a necessidade de recursos computacionais intensivos para treinamento ou ajuste fino.

• Escalabilidade: Por não exigir prompts ou treinamento, o método é altamente escalável e acessível para diversas aplicações.
• Generalização: Funciona robustamente em diferentes backbones de difusão (v1.5 e v2.1) e em cenários complexos (objetos únicos, múltiplos e densamente agrupados).
• Futuro: O trabalho abre caminho para métodos de edição de imagem que exploram a capacidade latente dos modelos pré-treinados de forma mais direta e controlada, reduzindo a barreira de entrada para aplicações de edição de imagem de alta qualidade.

Em resumo, o PANDORA redefine o estado da arte para a remoção de objetos zero-shot, oferecendo uma solução precisa, sem prompts e capaz de lidar com desafios que métodos anteriores não conseguiam superar.