Resumo Técnico: ClickRemoval

Declaração do Problema

As ferramentas existentes para remoção de objetos na criação de conteúdo multimídia e proteção de privacidade frequentemente apresentam barreiras significativas para usuários não especialistas. Os métodos atuais de última geração, como AttentiveEraser, PowerPaint e a série SD-Inpaint, geralmente dependem de máscaras manuais de alta granularidade, prompts de texto ou pipelines de treinamento especializados. Essas dependências resultam em altos custos de interação e limitam a usabilidade em cenas complexas, frequentemente levando à remoção incompleta de objetos ou à conclusão artificial do fundo. Há uma necessidade de uma solução que permita a remoção precisa de objetos sem exigir máscaras manuais, descrições textuais ou treinamento adicional de modelos.

Metodologia

O ClickRemoval é uma ferramenta interativa de remoção de objetos de código aberto, construída sobre modelos Stable Diffusion pré-treinados (SD1.5, SD2.1 e SDXL1.0). Ele opera exclusivamente com cliques do usuário, eliminando a necessidade de máscaras desenhadas à mão ou prompts de texto. O sistema funciona convertendo cliques do usuário em mapas semânticos suaves e utilizando esses mapas para redirecionar mecanismos de autoatenção dentro do modelo de difusão durante o processo de remoção de ruído.

O framework consiste em três componentes principais:

1. Extração de Mapa de Distância Semântica M2N2:

   • Cliques do usuário são convertidos em mapas de distância semântica usando a abordagem M2N2. Isso envolve uma única passagem forward de remoção de ruído em um modelo Stable Diffusion congelado para agregar mapas de autoatenção multi-cabeça em uma matriz de transição.
   • A propagação de Markov é realizada começando da posição clicada para determinar a distância semântica de cada pixel.
   • Mapa de Objeto ($M_{ob}$): Gerado aplicando Flood Fill ao mapa semântico para suprimir mínimos locais e aprimorar a consciência de instância, definindo a região a ser removida.
   • Mapa de Fundo ($M_{bg}$): Um mapa de Markov normalizado (sem Flood Fill) que mede a distância semântica do objeto clicado, onde valores menores indicam maior similaridade ao objeto. Este mapa guia a restauração do fundo.

2. Redirecionamento e Agendamento de Autoatenção Guiada (SGAR & SGAS):

   • SGAR (Redirecionamento de Autoatenção Guiada): Modula os logits de autoatenção ($S_{self}$) durante a inferência. Suprime entradas de chave relacionadas ao objeto usando uma penalidade negativa grande ($P_{ob}$) e repondera entradas de chave de fundo usando um fator agendado ($G_{bg}(t)$) derivado de $M_{bg}$.
   • SGAS (Agendamento de Autoatenção Guiada): Controla o timing e a força do SGAR para garantir uma conclusão natural do fundo. O processo de remoção de ruído é dividido em etapas:
     • Etapa inicial (primeiros ~20%): Nenhuma modificação.
     • Etapa inicial-intermediária: O SGAR é ativado, com a orientação de fundo decaindo gradualmente.
     • Etapa intermediária: A orientação de fundo é desativada, mas a supressão de objetos permanece ativa.
     • Etapa final: Toda orientação é desativada, permitindo que o modelo complete os detalhes restantes autonomamente.

3. Orientação de Redirecionamento de Atenção (ARG):

   • Para fornecer orientação controlável no nível de saída, a ARG combina linearmente a previsão de ruído original ($\epsilon(x,t)$) e a previsão de ruído modulada ($\epsilon'(x,t)$).
   • A previsão final é calculada como $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$, onde $r$ é um coeficiente especificado pelo usuário. Um $r$ menor retém mais do comportamento do modelo original, enquanto um $r$ maior adere mais estritamente à orientação de remoção.

O sistema suporta tanto cliques positivos (para indicar objetos a serem removidos) quanto cliques negativos (para indicar regiões a serem preservadas), permitindo interações complexas, como remover objetos oclusos enquanto se preservam elementos de primeiro plano.

Contribuições Principais

1. Ferramenta Interativa de Remoção de Objetos: A introdução do ClickRemoval, uma ferramenta que não exige máscaras, descrições textuais ou treinamento adicional. Suporta interações de cliques positivos e negativos, reduzindo significativamente a barreira de uso para usuários não especialistas.
2. Mecanismo de Redirecionamento de Atenção Extensível: Um framework baseado em cliques compreendendo M2N2, SGAR, SGAS e ARG. Este mecanismo não está rigidamente acoplado a um backbone de difusão específico e foi implementado com sucesso em SD1.5, SD2.1 e SDXL1.0.
3. Entrega Completa de Código Aberto: O lançamento de um pacote de software abrangente sob a licença Apache-2.0, incluindo código-fonte, arquivos de configuração, ambientes Docker, documentação, interfaces de demonstração e scripts de avaliação.

Resultados Experimentais

Os autores avaliaram o ClickRemoval contra bases fortes, incluindo SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2 e AttentiveEraser, usando um conjunto de testes unificado derivado do Pico-Banana-400K.

• Métricas Quantitativas: O ClickRemoval alcançou resultados competitivos sem treinamento adicional.
  • Na resolução 1024×1024 (SDXL1.0), alcançou um FID de 8,05 e Local-FID de 15,56, comparável ao AttentiveEraser (7,98 / 15,74).
  • Na resolução 512×512 (SD1.5), obteve o melhor desempenho geral entre métodos de mesma resolução com um FID de 9,35, KID de 0,899 e Local-FID de 17,27.
• Estudo com Usuários: Em um estudo envolvendo 25 participantes não especialistas, o ClickRemoval ficou em primeiro lugar em ambas as configurações de resolução, recebendo 30,48% dos votos na resolução 512 e 41,89% na resolução 1024.
• Validação Assistida por LLM: Usando um avaliador multimodal baseado em GPT, o ClickRemoval ficou em primeiro lugar na resolução 512 (28,85%) e em segundo na resolução 1024 (39,21%), ficando atrás do AttentiveEraser por apenas 1,97 pontos percentuais.
• Eficiência: A ferramenta demonstrou sobrecarga de inferência aceitável, com tempo de execução na resolução 1024 comparável a bases fortes e eficiência prática para tarefas na resolução 512 em hardware de consumidor (RTX 3090).

Significado

O artigo posiciona o ClickRemoval como um passo significativo em direção à democratização da remoção de objetos de alta qualidade. Ao remover a dependência de máscaras manuais e prompts de texto, oferece um fluxo de trabalho de "apontar e remover" acessível a não especialistas, mantendo ao mesmo tempo uma qualidade de restauração competitiva. Os autores enfatizam que sua abordagem alcança esses resultados sem a necessidade de treinamento adicional, confiando, em vez disso, nas capacidades inerentes de modelos de difusão pré-treinados, aprimorados por seu framework de redirecionamento de atenção. O lançamento do pacote completo de código aberto visa apoiar pesquisas reprodutíveis e aplicações práticas de edição de conteúdo.