AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression

Resumo Técnico: AdaEraser

Declaração do Problema
A remoção de objetos em imagens exige não apenas a eliminação precisa de um alvo especificado pelo usuário, mas também a reconstrução plausível do fundo nas regiões vacantes. Embora métodos recentes sem treinamento, que utilizam modelos de difusão pré-treinados, tenham demonstrado promessa, eles frequentemente enfrentam um conflito fundamental: remover efetivamente um objeto versus gerar conteúdo de fundo de alta qualidade. Abordagens existentes, como o AttentiveEraser, tipicamente empregam a supressão indiscriminada da autoatenção dentro das regiões do objeto mascarado. Embora isso remova com sucesso o alvo, interrompe inadvertidamente o processo de geração do fundo. Como a reconstrução do fundo depende das capacidades generativas do modelo pré-treinado — que assume autoatenção não modulada —, bloquear totalmente a atenção nessas regiões leva a artefatos estruturais, distorções visuais e síntese de fundo de baixa qualidade.

Metodologia: AdaEraser
Para resolver esse conflito, os autores propõem o AdaEraser, um framework sem treinamento que modula dinamicamente a supressão de atenção com base na presença estimada do conceito do objeto alvo durante o processo de remoção de ruído. A ideia central é que a remoção de objetos e a geração de fundo são objetivos concorrentes que exigem uma abordagem equilibrada e adaptativa, em vez de uma supressão estática e binária.

O método opera através de três etapas principais:

1. Extração de Atenção de Referência e Alvo:

   • Referência: Para uma imagem de origem $I_{src}$, o modelo gera mapas de autoatenção de referência ($SAsrc$) aplicando um esquema de "t passos de difusão + 1 passo de remoção de ruído". Isso preserva as informações de características da imagem original sob condições ruidosas sem exigir um processo de inversão completo.
   • Alvo: Simultaneamente, o modelo realiza o processo padrão de remoção de ruído para remoção de objetos em um latente alvo inicializado a partir da imagem de origem, gerando mapas de autoatenção de alvo ($SAtgt$).

2. Estimativa de Pontuação de Presença Token a Token:

   • Os autores observam que os mapas de autoatenção codificam relações contextuais e características semânticas. Eles hipotetizam que a similaridade entre o mapa de referência (contendo o objeto) e o mapa de alvo (onde o objeto está sendo removido) correlaciona-se com a presença residual do objeto.
   • Uma pontuação de presença token a token $p(i)$ é computada para cada token $i$ dentro da máscara do objeto usando similaridade de cosseno entre $SAtgt(i)$e$SAsrc(i)$.
   • À medida que o processo de remoção de ruído progride e o objeto é removido, o conteúdo semântico da região alvo diverge da referência, fazendo com que a pontuação de similaridade diminua. Essa pontuação serve como um proxy heurístico para o nível de presença do objeto.

3. Supressão Adaptativa de Atenção:

   • Em vez de supressão fixa, o AdaEraser calcula um coeficiente de supressão $\eta(i)$ para cada token com base em sua pontuação de presença: $\eta(i) = 1 - p(i)$ para tokens na máscara, e $1$ caso contrário.
   • Esse coeficiente modula as pontuações de autoatenção no UNet de remoção de ruído. Quando o objeto está claramente presente (alta similaridade), a supressão é forte. À medida que o objeto é removido e o fundo começa a se formar (baixa similaridade), a supressão é relaxada, permitindo que o modelo utilize sua capacidade generativa completa para reconstruir o fundo naturalmente.
   • Finalmente, o primeiro plano (alvo removido de ruído) e o fundo (origem original) são mesclados usando a máscara em cada passo de tempo para garantir consistência nas regiões não removidas.

Principais Contribuições

• Estratégia de Regulação Adaptativa: O artigo identifica que a remoção de objetos de alta qualidade exige regulação adaptativa da supressão de atenção com base na presença residual do objeto, em vez de supressão estática.
• Heurística Token a Token: Propõe o uso da similaridade de mapas de autoatenção token a token como um proxy eficaz e sem treinamento para estimar a presença do objeto no espaço latente, superando a dificuldade da detecção direta de objetos em latentes ruidosos.
• Framework AdaEraser: Os autores introduzem um framework completo sem treinamento que integra essa estratégia adaptativa, alcançando um equilíbrio entre eliminação de objetos e restauração de fundo.

Resultados Experimentais
Extensos experimentos foram conduzidos nos conjuntos de dados Mulan e OABench usando Stable Diffusion XL (SDXL) como base, com validação adicional em SD1.5, SD2.1 e FLUX.

• Desempenho Quantitativo: O AdaEraser superou tanto métodos baseados em treinamento (por exemplo, PowerPaint, RORem, SmartEraser) quanto métodos sem treinamento de última geração (por exemplo, AttentiveEraser, OmniPaint) em todas as métricas, incluindo FID, LPIPS, PSNR, ReMOVE e CFD. Notavelmente, alcançou o maior Ranking Humano Médio (AHR) em estudos com usuários.
• Desempenho Qualitativo: Comparações visuais demonstraram que o AdaEraser remove objetos efetivamente enquanto preserva o contexto da cena e evita as distorções estruturais e artefatos comuns em métodos que usam supressão total de atenção.
• Estudos de Ablação: Os autores validaram que a supressão adaptativa token a token supera significativamente estratégias de supressão baseadas em passo de tempo ou baseadas em região. Eles também confirmaram que o uso de uma referência dinâmica ($x_{src}^t$) alinhada com o nível de ruído atual produz resultados superiores em comparação com referências de ruído fixo.

Significado e Alegações
O artigo alega que o AdaEraser oferece uma nova perspectiva sobre a remoção de objetos, demonstrando que métodos sem treinamento podem superar abordagens baseadas em treinamento quando o prior generativo é aproveitado de forma mais inteligente. Ao ajustar dinamicamente a força de supressão, o AdaEraser evita as desvantagens da supressão indiscriminada de atenção, preservando assim a capacidade generativa do modelo pré-treinado para a reconstrução de fundo. Os autores posicionam este trabalho como um passo significativo em direção à edição de imagens de alta qualidade e eficiente em dados, que não requer a aquisição custosa de conjuntos de dados especializados ou ajuste fino de modelos.

Limitações e Direções Futuras
O artigo reconhece que o desempenho depende da qualidade da máscara; embora robusto a máscaras ligeiramente frouxas, enfrenta dificuldades com máscaras incompletas que falham em cobrir efeitos colaterais induzidos pelo objeto (por exemplo, sombras). Além disso, o método pode enfrentar desafios em cenas com texturas altamente similares ou conteúdo semanticamente ambíguo, onde o prior generativo sozinho é insuficiente para reconstrução complexa. Os autores sugerem que trabalhos futuros poderiam envolver a incorporação de orientação estrutural mais forte ou a identificação automática de efeitos colaterais para melhorar a robustez. Eles também observam que o método é menos compatível com modelos destilados altamente acelerados (por exemplo, SDXL-Lightning) devido à reduzida informatividade das dinâmicas de atenção em menos passos de remoção de ruído.